[탐사보도 뉴스프리즘] 딥페이크 음란물 다음에 올 '초대형 쓰나미'는

[오프닝: 이광빈 기자]

안녕하십니까 이광빈입니다. 우리 사회의 문제점을 진단하고, 지속 가능한 사회를 모색하는 뉴스프리즘 시작합니다.

[영상구성]

[이광빈 앵커]

인공지능 기술을 활용한 딥페이크 기술이 발전하면서 지난해부터 국제사회가 먼저 경계한 건 가짜뉴스였습니다. 두 개의 전쟁이 진행 중인 가운데 세계 각국에서 치러지는 중요한 선거를 앞두고 혼란을 일으킬까 우려한 건데요. 폭탄은 다른 곳에서 터졌습니다. 성인과 아동, 일반인과 유명인을 가리지 않는 성착취물의 확산이었습니다. 전 세계적으로 소셜미디어에서 AI로 만든 유해물 확산을 막기 쉽지 않은 현실인데요. 이제 AI 부작용을 예상하고 사전에 대처해야 한다는 경고음이 커지고 있습니다. AI 중독 현상 등은 이미 예견된 부작용으로 꼽히고 있습니다. 먼저 딥페이크 성착취물 확산 현상 등을 한미희 기자가 정리했습니다.

[올 초 '스위프트 딥페이크물' 논란…쓰나미는 한국으로 / 한미희 기자]

[기자]

지난해 여름, 미국 한 고등학교에서 남학생 여러 명이 같은 학교 여학생들의 딥페이크 나체 사진을 만들어 유포했습니다. 남학생들은 그룹 채팅으로 이를 공유했고, 두세 달 뒤에야 한 남학생이 일부 여학생에게 알려주면서 범죄 행위가 드러났습니다.

<도로타 마니 / 딥페이크 피해 학생 어머니>

사건 관련자들은 여전히 학교에 있고 아무도 정학 당하지 않았어요. 다른 여학생들과 일상 활동에 참여하고 있습니다. 딸은 학교에도 배신감을 느끼죠.

올해 초에는 팝스타 테일러 스위프트의 얼굴 사진을 합성한 딥페이크물이 소셜미디어 엑스에서 확산했습니다. 엑스는 일시적으로 스위프트의 이름을 검색하는 것을 차단했지만, 효과적인 대응책은 아니었습니다.

<벤 데커 / 디지털 조사 컨설팅 업체 메메티카 CEO>

새로운 보안정책이 시행되더라도 계속해서 우회 방법을 찾아내는 경우가 많습니다. 인간의 독창성이 만들어낸 비극적인 이야기죠.

전 세계적으로 딥페이크 성범죄물이 폭발적으로 확산할 것이며 대응이 쉽지 않을 것임을 알려주는 전조 현상이었습니다. 온라인에서의 성 착취물 신고가 사상 최고치를 기록하는 등 상황이 심각해지자 미국 연방의회는 메타와 엑스 등 주요 기술 기업 최고경영자들을 불러 청문회를 개최했습니다. 딥페이크를 차단하기 위한 연방 차원의 법이 미비한 상황에서 백악관은 '책임있는 행동'이 절실하다며 업계에 협조를 촉구했습니다. 지난주에야 캘리포니아주가 가장 먼저 미성년자를 성착취하는 딥페이크 제작을 금지하는 법안을 마련했습니다. 제작한 사람은 물론 소지하거나 배포한 사람도 처벌 대상이 되고, 딥페이크 속 인물이 실존 인물이 아니더라도 처벌할 수 있도록 했습니다. 생성 AI 서비스가 시작된 미국에서 딥페이크 성착취물이 먼저 사회적 문제로 대두됐지만, 막상 '쓰나미'는 한국으로 밀려왔습니다.

미국의 한 보안업체는 전 세계에 유포된 딥페이크 성착취물 피해자의 53%가 한국인이라는 보고서를 내놨습니다.피해자 대부분이 여성 연예인이었는데, 가장 많은 표적이 된 개인 10명 중 8명이 한국인 가수였습니다.

최근 국내에서 딥페이크 성 착취물이 지역과 나이를 가리지 않고 텔레그램을 통해 확산한 것으로 드러나자 외신들도 주목했습니다. 월스트리트저널은 이 사건을 보도하면서 "한국이 전 세계적 문제의 진앙임을 시사한다"고 지적했습니다.

하지만 성 착취물을 공유하는 플랫폼에 대한 규제도, 성 착취물을 제작하거나 공유하는 행위에 대한 처벌도 여전히 한계가 있다는 지적입니다. 기술은 빠르게 진화하는데, 억제력이 될 수 있는 법률 시스템이 현상을 따라잡지 못하기 때문입니다.

<안드레아 히커슨 / 미시시피대 뉴미디어 학장>

(딥페이크물 제작 행위를 범죄화해 처벌하는 것은) 억지력을 발휘할 수 있지만, 법 체계는 엄청나게 느립니다. 당신 얼굴이 포르노 딥페이크에 사용됐다면 적절한 시기에 해결하기가 매우 어려울 수 있다는 겁니다.

연합뉴스 한미희입니다.

#딥페이크 #성착취물 #텔레그램 #인공지능_AI

[진행자 코너]

딥페이크 성착취물 등 소셜미디어를 통해 유포되는 불법·유해 콘텐츠들에 대한 단속은 전 세계적인 고민입니다. 글로벌 소셜미디어 플랫폼의 자체적인 관리 소홀이 첫 번째 원인인데, 각국에서 이미 이런 문제점을 진단한 지 오래됐지만, 해결은 잘 안 되고 있습니다.

유럽연합(EU)은 지난해 8월부터 디지털서비스법(DSA)을 통해 초대형 온라인 플랫폼을 상대로 혐오·불법 콘텐츠에 대해 책임지도록 했는데요. 위반 시 과징금이 글로벌 매출의 최대 6%까지 부과할 수 있을 만큼, 처벌 조항이 강력합니다.

다만, 아직 유럽에서도 이 법에 따른 실질적인 조치와 그 효과는 아직 증명이 안 된 상태라, 유해 콘텐츠의 급속한 확산에 대해선 경계심을 놓지 않고 있습니다. 더구나 텔레그램은 EU에 신고한 사용자 수가 규제 대상 기준에 못 미쳐 EU에서도 규제망을 피해 가고 있습니다.

미국은 통신품위법 제230조에서 온라인 유해 콘텐츠에 대해 해당 서비스 사업자의 책임을 면책하고 있는데요. 1996년에 제정된 법인 만큼, 현실에 맞지 않다는 지적이 잇따르고 있습니다. 미국 사법부도 거대 온라인 플랫폼의 면책권에 제동을 걸기 시작했는데요.

미국 필라델피아 항소법원은 동영상 공유 플랫폼 틱톡에서 유행한 '기절 챌린지'로 10세 딸을 잃은 미국 여성이 틱톡을 상대로 낸 항소심에서 틱톡의 책임을 물을 수 없다는 원심을 뒤집었습니다. '기절 챌린지'는 기절할 때까지 스스로 목을 조르는 것인데, 질식 방법 등이 알고리즘을 타고 추천된 데 대해 틱톡의 책임을 물은 것입니다.

소셜미디어에선 플랫폼사가 만들어 낸 알고리즘 없이는 콘텐츠를 추천받기 어렵죠.

우리나라에서도 글로벌 플랫폼의 유해 콘텐츠를 규제할 수 있는 행정 조치나 법적 근거의 필요성이 커져 왔는데요.

유튜브 등이 최근 우리 기관의 유해 콘텐츠 삭제 요청에 응하고 있지만, 그 속도 및 자체적인 필터링 노력은 부족하다는 지적은 끊이지 않습니다. 특히 텔레그램은 아시다시피 유해 콘텐츠의 사각지대인데, 상황이 이렇게 되도록 방치한 책임은 우리에게도 있습니다.

우리나라에서의 딥페이크 성착취물 확산사태가 전 세계적으로도 주목받은 가운데, 텔레그램은 최근 방송통신심의위원회로부터 받은 성범죄 영상물 25건의 삭제 요청에 응했다고 합니다. 앞으로 텔레그램과도 핫라인 구축 가능성이 커진 것으로 보이는데요. 다행스러운 일이지만, '소 잃고 외양간 고치기' 느낌입니다.

지난 2020년 우리 정부는 개인정보 피해 구제 등을 담당할 국내 대리인을 두지 않거나, 이를 부실하게 운영해온 해외 플랫폼 7곳에 대해 개선 권고를 내렸는데요. 텔레그램은 포함되지 않았습니다.

정부 측에선 접촉을 시도해도 회신이 없었다는 이유를 든 것으로 전해졌는데, 4년이 지난 지금까지도 전혀 관리가 되지 않다가 이번 사태를 겪고 겨우 이메일 접촉이 이뤄진 것입니다.

[이광빈 앵커]

딥페이크 성착취물 사태로 AI의 부작용이 부각되고 있는데요. 최근 영국 극우의 폭력시위 사태에는 난민을 겨냥해 AI로 만든 가짜뉴스가 기폭제로 작용하는 등 AI의 여러 부작용이 나타나고 있는데요. 'AI 중독'도 AI 시대에 만성 골칫거리일 거라는 전망입니다. 나경렬 기자가 살펴봤습니다.

[딥페이크만 문제일까…'AI 중독 시대' 대비해야 / 나경렬 기자]

[기자]

사람의 감정을 이해하는 인공지능 운영체제를 접하게 된 한 남성. AI로부터 공감과 위로를 받는데, 결국 이 남성은 존재하지 않는 AI에게 사랑을 느끼게 됩니다.

<현장음>

당신을 사랑하듯 누굴 사랑해본 적이 없어.

10년 전 개봉한 영화 '그녀'의 이야기입니다. 당시엔 판타지로 여겨졌지만 AI 기술의 발전으로 영화의 내용은 점차 현실이 되고 있습니다. 이른바 'AI 중독' 문제가 우려되고 있는 겁니다. AI 기술을 기반으로 사용자와 대화하는 한 챗봇 서비스입니다. 원하는 상대와 하고 싶은 이야기를 나눌 수 있습니다.

수많은 캐릭터들이 있습니다. 이 중 하나를 선택해서 제가 직접 AI와 채팅을 해보겠습니다.

힘든 일이 있다고 말하자 곧바로 공감과 위로의 말이 돌아옵니다. 영화 속 한 장면처럼 AI가 감정을 이해하는 듯 합니다. 이런 AI 서비스를 초중고 학생들이 많이 이용하는데, 교육 현장에선 이미 학생들의 AI 의존도가 높다는 사실을 체감하고 있습니다.

<정혜영 / 서울교사노동조합 대변인>

가상의 이성친구 모습을 자랑하기도 하고 성적인 내용이 당연히 들어가기도 하고 그게 하나의 놀이 문화가 돼 버렸어요. AI랑 실제 대화하는 느낌이 드니까 학교에서도 자연스럽게…

AI 중독은 어떤 결과를 가져올까. 대학생 300명을 대상으로 AI 중독을 조명한 국내 한 연구팀은 획일주의와 비판적·창의적 사고의 저하 등을 문제로 꼽았습니다. AI의 대답만 정답으로 인식하는 경향이 강해진다는 겁니다.

<김장현 / 성균관대 글로벌융합학부 교수>

잘못된 정보가 생성형 AI를 통해 제공된다면 그걸 많은 학생들이 갖게 되니 잘못된 정보를 신뢰하게 되는 경우가 발생하고…대체로 한두 가지의 답만 제공하기에 생각의 폭이 줄어들…

전문가들은 AI가 무조건 옳다는 인식을 경계할 수 있는 교육이 필요하다고 조언합니다. AI의 역할이 지금보다 확대되는 건 정해진 미래입니다. 이에 대비해 AI와 인간이 건강하게 공존할 수 있는 방안을 찾아야 할 때입니다.

연합뉴스TV 나경렬입니다.

#AI중독 #딥페이크 #부작용

[이광빈 앵커]

국내에서도 생성형 AI 서비스 애플리케이션이 빠르게 확산하고 있습니다. '와이즈앱·리테일·굿즈'가 한국인 스마트폰 사용자를 표본 조사한 결과, 올해 7월 생성형 AI 서비스 앱 사용자는 673만명으로 지난 1월(420만 명)에 비해 6개월 사이 253만 명(60.2%)이나 늘었다고 밝혔는데요.

AI는 아예 공교육 현장으로 들어갑니다. 정부는 내년부터 AI 디지털교과서를 초등학교 3∼4학년, 중학교 1학년, 고등학교 1학년 영어·수학·정보 교과 등을 시작으로 도입할 방침입니다. 세계 최초의 AI 디지털교과서 도입인데요. 하지만 이와 관련 '맞춤형 학습을 가능하게 해 준다', '디지털 기기 노출 시간이 늘어나는 부작용이 크다' 찬반 의견이 첨예하게 엇갈리고 있습니다. 어찌 됐든 AI에 대한 의존도가 높아져만 갈 겁니다. 그만큼 AI 부작용에 대한 우려 역시 커지고 있습니다.

AI는 범죄 예방, 의료 진단 등 사회에 많은 도움을 줄 수 있습니다. 특히 AI 관련 경쟁력이 뒤처지면 국가 경쟁력이 떨어질 수밖에 없는 시대가 될 것입니다. 그러나 AI 부작용에 대비할 안전망 확보에 소홀히 한다면, AI 시대의 미래가 '잿빛'으로 채색되지 않을지 우려됩니다. 이번 주 뉴스프리즘 여기까지입니다. 시청해 주신 여러분 고맙습니다.

PD 임혜정

AD 최한민

연합뉴스TV 기사문의 및 제보 : 카톡/라인 jebo23

(끝)

[저작권자(c) 연합뉴스TV 무단전재 및 재배포 금지]