미국 남동부를 강타한 초대형 허리케인 ‘헐린’으로 수백 명의 사상자가 발생했다. 이런 가운데 수해 참상을 전한 어린 소녀 사진이 X(옛 트위터) 등 소셜미디어에서 화제였다. 보트 위 소녀는 구명조끼 차림으로 빗물에 홀딱 젖어 있었다. 강아지를 품에 안은 채 절망스러운 듯 서럽게 울고 있었다. 당시 이 사진은 조 바이든 정부의 무능력함을 비판하는 이미지로 사용됐다.

어린이가 불행을 겪도록 방치한 현 정부에 대한 분노를 표출해달라는 권유로 해석됐다.

그러나 소녀는 실제가 아닌 AI가 생성한 딥페이크(deepfake)였다. 자세히 보면 한 사진에서 소녀 손가락이 5개가 아닌 비정상적인 모습이었다. 사진마다 조금씩 다른 옷을 입고 있고 타고 있는 보트 종류도 달랐지만, 자세히 보지 않으면 간파하기 어려웠다.

포브스는 “재난을 묘사하는 조작 이미지는 재난 대응 능력을 복잡하게 만들고 위기 상황에서 대중의 신뢰를 약화시킬 수 있다”며 “가짜 이미지에 반복적으로 노출되면 정작 실제 재난 상황에서는 ‘피로감’으로 적절하게 대응하지 못할 수 있다”고 설명했다.

허리케인에 절망하는 소녀의 사진은 AI가 생성한 딥페이크였다. 자세히 관찰하지 않으면 실제 사진인지 구분하기 쉽지 않다. (X(옛 트위터) 제공)

<이미지를 클릭하시면 크게 보실 수 있습니다>

추석 때 내비 믿고 따라가다 ‘대혼란’

AI는 거들 뿐…최종 판단은 인간의 몫

국내에서도 AI 맹신의 위험성을 보여주는 사태가 있었다. 추석 당일이었던 지난 9월 17일, 국내 1위 내비게이션 애플리케이션 ‘티맵’ 안내에 따라 이동하던 차량 백여 대가 충남 아산 일대의 농로에서 발을 묶이는 사건이 발생했다. 고속도로가 정체하자 이용자들이 모두 ‘다른 길’을 주문했다. 이에 내비게이션이 인근 농로를 안내했으나 정작 해당 도로의 정체 상황을 계산하지 못했다. 모두 논길로 와서 앞으로도 뒤로도 갈 수 없는 상황이 만들어졌다. 합류 구간 지체와 막힘을 예측하지도 못했다. 농로로 들어선 차들은 3㎞를 이동하는 데 10시간이 걸렸다. 내비게이션은 스마트폰 이용자가 가장 많이 설치하는 앱 중 하나다. 앱 충성도가 높아 잘 지우지도 않는다. 내비게이션과 길찾기 기능이 보편화하며 사람들은 더 이상 길을 외우고 다니는 일이 줄어들었다. 그러나 지난 추석의 ‘농로 지옥’ 사태는 AI에만 의존하는 인류 문명이 처할 수 있는 ‘디스토피아’의 단초를 보여줬다는 평가가 나온다.

네이버 파파고, DeepL 같은 번역 서비스도 AI가 깊숙이 침투한 영역이다. 홈페이지 등 웹사이트, SNS 글은 물론 통화까지도 번역이 활용된다. 기술이 진화하며 사람들은 단순한 번역조차 직접 하지 않고 번역기를 사용하고는 한다. 그 결과물을 원본과 대조조차 안 하고 실무에 사용할 때가 많다. 하지만 실상 원문의 의미와는 다른 번역이 적지 않다.

지난 9월 17일 추석 연휴 내비게이션을 따라왔다가 농로에 갇힌 차량 모습. (스레드 ‘its.tours’ 제공)

<이미지를 클릭하시면 크게 보실 수 있습니다>

편향된 양적 데이터, 오판 불러

가트너 “AI가 인간 의사 결정 대체 못해”

AI가 인간 의사 결정에 점점 더 관여할 것이라는 점을 부인하는 이는 없다. 세계적인 석학 유발 하라리 예루살렘히브리대 교수는 “현대 사회에서는 방대한 양의 데이터를 분석하는 AI에 모든 의사 결정 권한을 위임했다”고 말했다. “더 많은 데이터가 더 큰 진실로 이어진다고 믿고 인간 이성은 데이터 규모 앞에 무너지곤 한다”고 덧붙였다. 데이터가 종교이자 권력이 된 셈이다.

그러나 많은 전문가들이 또한 최종 결정은 ‘인간’의 몫이라는 점을 잊어서는 안 된다고 주문한다. AI 기반 시스템은 데이터에 따라 결과가 얼마든지 바뀔 수 있어서다. 채용 적합도를 판단하는 아마존의 AI 시스템이 엔지니어 직무에서 백인 남성을 우대하는 편향된 결과를 보였다는 사실은 이미 알려졌다. MIT 미디어랩 연구에 따르면, AI를 활용한 화상 인터뷰에서 지원자 피부색과 성별에 따라 얼굴 분석 소프트웨어가 인식하는 정확도가 다르다. 피부색이 어두운 여성의 경우 성별을 잘못 식별하는 비율이 최대 34%에 달했다. 반면 피부색이 밝은 남성은 0.8%에 불과했다. AI 신약 개발 플랫폼을 연구하는 송상옥 스탠다임 대표는 “AI 분석을 위한 데이터의 ‘질(Quality)’을 높이는 노력이 필요하다”며 “데이터 분석에서는 5만명의 부정확한 데이터보다 500명의 정확한 데이터가 중요하다”고 말했다.

가트너는 ‘의사 결정 증강을 위한 인간-AI 위임(AI Delegation) 프레임워크’ 보고서에서 “일반적으로 AI를 활용한 의사 결정 방법은 ‘AI가 인간의 의사 결정을 대체한다’는 것이지만 이런 접근법은 틀렸다”고 주장했다. 가트너에 따르면, AI로부터 발생하는 문제는 감독이 약한 AI를 사용하며 발생한다. 인간과 AI의 상호작용이 적절하게 조정되면 AI를 빠르고 안전하게 이용할 수 있다는 설명이다. 가트너는 ▲AI가 분석하면 인간이 결정 ▲AI가 인간에게 의사 결정을 제안 ▲AI가 결정을 내리고 인간이 사후 감독하는 세 가지 범주로 인간과 AI의 의사 결정 방법에 접근해야 한다고 강조했다. 구체적으로 가트너는 AI에 위임하는 방식을 7가지로 제안한다. 인간이 최종 결정을 내리지만 단계가 높아질수록 AI의 역할은 커진다.

1단계. 인간 의사 결정자는 완전한 재량권을 갖고, 적절한 방법으로 데이터를 사용한다.

2단계. AI가 맥락에 맞게 분석하지만 최종 결정은 인간이 내린다(AI는 권고).

3단계. AI가 권장하지만 인간은 이를 수정하거나 거부할 수 있다. 예를 들어 콜센터 상담원이 고객에게 추천 상품을 제안하려는데, 고객이 화가 나 있다면 AI가 추천하는 상품을 무시할 수 있다(AI는 추천).

4단계. AI가 최선의 행동 방향을 식별하지만, 인간이 승인해야 한다(인간이 승인).

5단계. AI가 결정을 내리지만, 인간은 필요한 경우 결정을 뒤집는다. 이 단계에서 인간은 AI의 실수를 막는다(의사 결정의 가역성).

6단계. AI가 결정을 내리고, 인간은 조치 후 이를 검토한다(인간의 감사).

7단계. AI가 결정을 내리고, 인간은 예외만 검토한다(AI에 상당한 자율성 부여).

AI는 올해 노벨상의 핵심 키워드였다. 물리학상을 수상한 존 홉필드 미 프린스턴대 교수와 제프리 힌턴 캐나다 토론토대 교수는 인공신경망과 딥러닝 개념으로 AI 시대를 열었다고 평가받는다. 또한 바둑 AI ‘알파고’를 개발한 구글 딥마인드의 데미스 하사비스 CEO 등은 단백질 3차원 구조를 예측하는 AI를 개발한 공로로 화학상을 수상했다. 물리학상과 화학상 모두 AI 대부들이 수상했다.

노벨 물리학상을 받은 두 석학은 수상소감에서 AI 기술의 위험성부터 경고하고 나섰다. 존 홉필드 교수는 “물리학과 컴퓨터과학에서 나온 신경망 기술들은 이제 절대적인 경이로움처럼 보이는데, 그것이 어떻게 작동하는지는 인간이 이해하지 못하고 있다”며 “매우 불안하다”고 말했다.

특히 제프리 힌턴 교수는 종종 그의 일생의 연구에 대해 회의감을 드러내기도 했다. 현재 개발 중인 AI가 인간 지능과는 매우 동떨어져 있다는 설명이다. 힌턴은 AI가 악의적인 사용자에 의해 가짜 정보를 대량으로 생산하는 데 쓰일 수 있다는 점을 우려했다. 정치인들이 인공지능 챗봇을 이용해 인터넷 여론을 조작할 가능성에 대해서도 언급했다.

“AI와 관련된 치명적인 시나리오를 언급하는데 현재로서는 이를 피하는 방법을 모른다. 그렇기 때문에 더 많은 연구가 시급히 필요하다. AI 안전 연구에 더 많은 자원을 투입하도록 정부나 세계 기구가 강제해야 한다.”

제프리 힌턴 교수의 수상 소감이자 경고의 목소리였다.

[명순영 기자 myoung.soonyoung@mk.co.kr]

[본 기사는 매경이코노미 제2280호 (2024.10.16~2024.10.22일자) 기사입니다]

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]