<이미지를 클릭하시면 크게 보실 수 있습니다>

[주간경향] n번방 사태가 생성형 인공지능(AI)과 만나 더 악랄하게 돌아왔다. 딥페이크(AI 기반 이미지 합성) 성범죄가 기업과 군대 등의 일터를 넘어 전국 초·중·고등학교까지 확산했다. 가디언과 월스트리트저널 등 주요 외신은 “몰카를 근절하려 분투한 한국이 이제는 딥페이크와 전투를 벌이고 있다”며 “한국이 세계적 (딥페이크 성착취물) 문제의 진앙”이라고 집중적으로 보도했다.

AI 발전으로 딥페이크를 악용한 부작용 사태는 이미 ‘예견된’ 일이었다. 세계 각국은 작년 선거철을 맞아 딥페이크를 악용한 가짜뉴스 등으로 몸살을 앓았다. 한국도 지난해 12월 선거를 앞두고 딥페이크를 악용한 사례가 늘자 공직선거법을 개정해 선거운동 목적의 딥페이크 영상을 제작·편집·유포·상영·게시할 수 없게 했다. 정부와 국회의 관심은 선거에서 끝났다. AI를 악용한 딥페이크 성범죄가 발생해도 느슨한 제재와 처벌로 방치했다.

IT(정보기술) 전문가들은 기술적인 접근만으로는 딥페이크 성범죄를 원천적으로 차단할 수 없는 만큼 교육을 비롯한 제도적 보완 조치가 선행돼야 한다고 입을 모은다. 아동 성범죄로 한정된 디지털 위장 수사 범위를 성인까지 확대하는 등의 실효성 있는 대책도 필요하다고 주문한다. 딥페이크 불법 생성물 탐지 기술은 사후 조치로 사전에 범죄를 예방하지 못하는 데다, 탐지 기술을 우회하는 신기술이 계속 발전하고 있어서다.

■ 단속 비웃는 텔레그램 흥행 신기록, 수사 응할까

지난 9월 5일 앱 분석 서비스 모바일인덱스에 따르면 성착취물 유포의 온상이 된 메신저 텔레그램의 국내 이용자가 지난 8월 역대 최대 규모로 급증했다. 8월 텔레그램의 월간 활성 이용자(MAU)는 347만1421명으로 전월 대비 31만1130명 늘었다. 2021년 앱 마켓 집계가 시작된 이후 최대 증가폭이다. 노이즈 마케팅과 호기심으로 이용이 급증한 것으로 추정된다. 특히 증가폭의 30%인 10만명이 10대 이하로 집계돼 딥페이크 범죄가 계속 이어질 수 있다는 우려도 나온다.

일부 온라인 커뮤니티 등에서는 “보안이 철저한 텔레그램 특성상 경찰 단속에 잡히지 않는다”, “한국 정치인들이 가장 많이 쓰고 있어 수사가 제한적일 수밖에 없다” , “잠깐 시끄럽다가 끝날 것”이라는 말이 나온다. 실제로 경찰은 수사의 어려움을 인정하면서 텔레그램의 성범죄 방조 혐의를 두고 내사에 착수했다.

텔레그램이 수사에 응할지는 미지수다. IT 업계 관계자는 “경찰의 집중단속에도 텔레그램 이용자가 급증하는 것을 보면, 수사에 응하지 않아도 한국서 사업을 하는데 불이익을 받을 게 없다고 판단할 것”이라며 “강력한 제재가 없는 한 ‘보안’을 경쟁력으로 내세우는 텔레그램이 전략을 바꾸지 않을 것으로 보인다”고 말했다. 이어 그는 “표현의 자유를 지키는 것과 범죄를 방조하는 것은 다른 차원의 문제”라면서 “안전이 보장된 서비스가 한국에서 지속가능성을 갖고 안착할 수 있다는 신호를 공적 규제로 보여줘야 한다”고 했다.

국회에서는 텔레그램 같은 빅테크 기업에 불법 콘텐츠 삭제 의무를 부여하는 내용의 법안들이 발의되고 있다. 딥페이크 성착취물 제작을 사전에 막는 게 사실상 불가능한 만큼 유통 진원지인 빅테크 기업에 범죄를 방조하지 않도록 사회적 책임을 지우자는 것이다.

IT 업계 관계자들 말을 종합하면 폐쇄형 이미지 생성 AI는 프롬프트 입력 단계에서 부적절한 단어 차단 등으로 사전 필터링을 하거나, 생성 단계에서 불법 콘텐츠를 일부 차단할 수 있다. 반면 오픈소스(개방형) 방식을 채택한 딥페이크 생성과 합성은 막을 방법이 아직 없다.

오픈소스 AI 모델은 기술의 발전과 함께 누구나 쉽게 몇번의 클릭으로 딥페이크 성착취물을 만들 수 있게 했다. 기술의 고도화로 딥페이크는 얼굴과 목소리까지 위조해 진짜와 가짜를 구분하기조차 쉽지 않다. 누구나 자신의 피해 사실조차 모른 채 다양한 딥페이크 범죄의 표적이 될 수 있어 심각성이 크다.

딥페이크 성착취물 생성 방지와 출처 확인을 위해 AI 생성물에 워터마크(표식) 부착을 의무화하는 기술이 개발되고 있지만, 워터마크를 지우는 AI 기술도 빠르게 발달하고 있다. 또 범죄자가 작정하고 만들어 유포하는 악의적인 생성물엔 워터마크가 들어갈 수 없는 한계가 있다. IT 보안업계 관계자는 “AI로 만든 불법 콘텐츠를 사전에 검사해 걸러내는 것도 AI로, AI와 딥페이크 모두 가치 중립적인 기술”이라며 “디지털 공간이라는 특성상 사람이 악의적으로 만든 불법 콘텐츠를 사전에 막는 건 불가능해 기술이 범죄에 쓰이지 않게 제도를 정비하고 유통을 차단하는 방향으로 가야 한다”고 당부했다.

지난 8월 30일 대구 수성구 시지중학교에서 학교전담경찰관(SPO)이 학생들을 대상으로 딥페이크 성착취물 범죄 예방 교육을 하고 있다. 연합뉴스

<이미지를 클릭하시면 크게 보실 수 있습니다>

■ 탐지 AI 있지만 한계, 빅테크 법적 개입 근거 필요

미국과 영국 등 주요 국가들은 빅테크에 대한 법적 의무를 강화하고 있다. 빅테크 기업들이 성착취물 방치로 사람들을 끌어모으며 광고 수익을 올리고 있는 만큼 불법 콘텐츠 유통에 책임을 져야 한다는 취지다. 미국에서는 빅테크 기업의 본고장인 캘리포니아를 비롯해 27개 주 정부에서 딥페이크를 규제하는 법안을 마련했다. 영국은 빅테크 기업에 아동 안전을 위협하는 콘텐츠가 게재된 사실을 알고도 적절한 조처를 하지 않으면 경영진 개인을 처벌할 수 있도록 한 온라인 안전법을 지난해 제정했다.

유럽연합(EU)과 프랑스 등은 이미 법을 제정해 플랫폼에 불법·유해 콘텐츠에 대한 삭제, 감시, 감독 의무를 부과했다. 프랑스가 파벨 두로프 텔레그램 창업자를 지난 8월 체포한 것도 법적 근거가 있어서 가능했다. 프랑스 검찰은 미성년자 성착취물과 관련한 사건을 수사하면서 텔레그램에 용의자 신원을 알려달라고 요청했지만, 텔레그램이 응답하지 않자 지난 3월 두로프에 대한 체포영장을 발부했다.

한국은 앞선 국가들처럼 해외 빅테크 사업자에게 책임을 물을 수 있는 법적 근거가 없다. 그간 한국은 미국과 외교 분쟁 우려 등으로 빅테크 기업에 대한 규제 법안을 마련하지 못했다. 또 텔레그램처럼 국내에 대리인이나 사무소가 없는 국외 사업자에게는 콘텐츠 삭제를 요청할 수 없다.

다만 공직선거법에 한해 선거일 90일 전부터 선거일까지 딥페이크 영상 등을 제작, 편집, 유포, 상영 또는 게시하는 행위를 금지하고 있을 뿐이다. 딥페이크 성착취물의 유통을 제한하거나 플랫폼이 의무적으로 자체 삭제하도록 하는 법은 없다.

김명주 서울여자대학교 정보보호학부 교수(국제인공지능윤리협회 회장)는 “해외 빅테크 기업들이 범죄를 방조하고 그에 따른 막대한 광고 수입 등으로 돈을 버는 영리행위를 하는 만큼 불법 콘텐츠 유통에 책임을 촉구할 필요가 있다”면서도 “다만 국내 플랫폼의 경우 자율 규제로 사전에 불법 콘텐츠가 걸러져 국내 기업들이 피해를 보지 않도록 정교한 접근이 필요하다”고 말했다.

딥페이크 성범죄 문제가 심각한 만큼 국회와 업계 전문가들의 합의를 이끌어낼 수 있는 최소한의 ‘원포인트 입법’ 부터 속도감 있게 진행해야 한다는 주문도 나왔다. 임종인 고려대학교 정보보호대학원 명예교수(대통령실 사이버 특별보좌관)는 “방심위가 불법 콘텐츠 삭제를 요청하려 해도 법적 근거가 있어야 빅테크 기업이 협력을 한다”며 “표현의 자유를 침해한다는 논란에 휩싸이지 않도록 아동성착취와 리딩방 사기 등 모두가 인정하는 사회적 범죄에 대한 영상을 규제하는 원포인트 법을 만들고 향후 보완작업을 해야 한다”고 말했다.

이어 “한국은 시장 규모가 작아 텔레그램 접속 금지 등의 제재를 해도 실효성이 없다. 아동 성범죄로 한정된 디지털 위장 수사 범위를 성인까지 확대하는 등의 실효적인 대책도 필요하다”며 “한국에 대리인을 둬 접촉 창구를 만들도록 강제하고 국제 사회와 공동 대응하는 방안 마련도 시급하다”고 주문했다.

AI 기술 발전을 막을 수 없는 만큼 이용자의 의식 전환 교육이 먼저라는 지적도 나온다. 김명주 교수는 “국회는 입법을 미뤘고 법원은 집행유예 등의 느슨한 처벌로 딥페이크 성범죄의 위험성을 방치했다. 어른과 국가의 직무 유기 속 피해자인 10대들이 아무 교육 없이 AI에 노출돼 딥페이크 참사가 빚어졌다”며 “아이들은 물론 기술을 모르는 학부모 등의 성인도 함께 디지털 윤리에 대한 교육을 받아야 피해가 확산하지 않을 것”이라고 강조했다.

김은성 기자 kes@kyunghyang.com

▶ 매일 라이브 경향티비, 재밌고 효과빠른 시사 소화제!
▶ 해병대원 순직 사건, 누가 뒤집었나? 결정적 순간들!

©경향신문(www.khan.co.kr), 무단전재 및 재배포 금지