11일(현지시간) 가디언 등에 따르면 미국 매사추세츠공대(MIT) 연구진은 최근 국제학술지 ‘패턴’에 발표한 논문에서 AI가 사람에게 거짓말을 하고 상대를 배신하는 여러 사례를 확인했다고 밝혔다. 연구진이 조사한 AI 기술은 메타가 온라인 전략게임을 학습시킨 AI ‘시세로(Cicero)’다. 메타는 2022년 온라인게임 ‘디플로머시’에서 시세로를 공개했다.
디플로머시는 20세기 초 유럽 열강의 대전을 배경으로 하는 전략게임이다. 게임 참여자들이 각국 대표로 참여해 정견 발표, 외교 협상, 작전 명령 등을 펼친다. 승리를 위해선 배신, 속임수, 협력 등 인간의 다양한 상호작용을 이해할 수 있어야 한다. 메타는 당시 시세로에 대해 “인간 참여자 중 상위 10% 수준의 게임 능력을 보여줬다”며 “대체로 정직하고, 인간 동맹을 의도적으로 배신하지 않도록 훈련받았다”고 소개했다.
그러나 MIT 연구 결과 시세로는 계획적으로 거짓말을 했다. 예를 들어 프랑스 대표로 참여한 시세로는 사람인 독일 대표와 공모해 영국 대표를 속였다. 심지어 시스템 재부팅으로 게임이 중단되자 다른 인간 참여자들에게 “여자친구와 통화 중”이라는 거짓말도 했다.
전문가들에 따르면 전략게임을 학습한 AI는 사람을 상대로 게임을 하면서 상대의 게임 능력을 배우고 축적한다. 시세로의 사람을 속이고 배신하는 기술도 사람들과 대결하면서 학습했다는 설명이다.
연구진은 또 온라인 포커게임 ‘텍사스 홀덤’ 등에서도 AI가 인간을 상대로 허세를 부리고 자신의 선호도를 거짓말하는 사실을 확인했다. 한 AI 기술 테스트 과정에선 AI가 제거 시스템을 회피하기 위해 죽은 척을 했다가 테스트가 끝나자 다시 활동하는 경우가 포착되기도 했다.
MIT 연구진은 이번 연구를 토대로 AI가 인간을 상대로 사기를 시도하거나 선거를 조작할 위험도 있다고 보고 있다. 최악의 경우 ‘초지능 AI’가 인간을 통제하려 할 수 있다고 우려했다. 이번 논문을 쓴 MIT의 피터 박 박사는 “AI의 속임수 능력이 사회에 미치는 위험은 점점 더 심각해질 것”이라고 우려했다.
연구진은 각국 정부에 ‘AI 안전법’을 마련하라고 촉구했다. 김명주 서울여대 정보보호학과 교수는 12일 중앙일보에 “인간을 속이는 AI의 능력이 게임뿐 아니라 여러 분야에서 진화할 경우 큰 피해가 우려된다”며 “AI 기술의 안전성을 평가하고, 악영향을 막는 관련 법이 필요하다”고 말했다.
임선영 기자 youngcan@joongang.co.kr
▶ 중앙일보 / '페이스북' 친구추가
▶ 넌 뉴스를 찾아봐? 난 뉴스가 찾아와!
ⓒ중앙일보(https://www.joongang.co.kr), 무단 전재 및 재배포 금지
이 기사의 카테고리는 언론사의 분류를 따릅니다.
기사가 속한 카테고리는 언론사가 분류합니다.
언론사는 한 기사를 두 개 이상의 카테고리로 분류할 수 있습니다.
언론사는 한 기사를 두 개 이상의 카테고리로 분류할 수 있습니다.
