(사진=게티이미지)

[이데일리 최정희 기자] 생성형 인공지능(AI)을 활용해 딥페이크(Deepfake·이미지 합성 기술) 성범죄 영상물을 쉽게 만들 수 있게 됨에 따라 이를 차단하기 위한 노력들도 강화되고 있다.

네이버, 카카오 등에선 ‘딥페이크’가 검색되는데 제한을 두고 있고 구글은 AI를 활용해 만들어진 이미지, 동영상 등에 눈에 보이지 않는 워터마크를 삽입하고 있다.

29일 관련 업계에 따르면 네이버는 딥페이크 성범죄물 유포 등 방지를 위해 전일(28일)부터 ‘딥페이크 기술을 이용한 이미지, 영상 등 신고 채널’을 운영하고 있다. ‘딥페이크 제작’이라고 검색하면 ‘딥페이크 기술 접근, 활용함에 있어 공직선거법, 성폭력처벌법 등 법령에 위반되거나 제3자의 권리를 침해하지 않도록 유의해달라’는 문구가 뜨는 등 주의 안내문을 제공하고 있다. 또 딥페이크 검색 결과와 관련 AI 자동 필터링을 통해 불법 콘텐츠에 노출되지 않도록 하고 있다.

출처: 각사

<이미지를 클릭하시면 크게 보실 수 있습니다>

카카오는 딥페이크 영상물이 확산되는 것을 막기 위해 사전 조치로 올해 1월부터 한국인터넷자율정책기구(KISO)와 협의해 다음(Daum) 검색에 ‘딥페이크 관련 검색어’를 청소년 보호 검색어로 지정했다. 청소년 보호 검색어로 지정되면 검색 결과를 제한거나 차단하게 된다. 이는 4월 총선을 앞두고 정치와 관련된 딥페이크 유통을 막기 위한 조치였다.

카카오톡도 딥페이크 유통을 최소화하기 위해 모니터링을 강화하고 제재 정책도 시행하고 있다. 오픈채팅, 다음, 카카오 내 공개 게시판 서비스에 딥페이크 유통을 감시하는 모니터링을 실시하고 딥페이크 배포 및 제공 행위에 대해 카카오톡 전체 서비스에 대한 이용을 영구 제한하는 정책을 시행하고 있다. 또

카카오톡은 이달 ‘페이크 시그널’ 기능을 신규 도입해 사칭을 통한 사기 등에 선제 대응하도록 경고 메시지를 전달토록 하고 있다.

구글은 AI모델 결과물이 점점 더 정교해지면서 콘텐츠 악용 가능성이 커지고 있어 작년부터 AI로 생성한 이미지, 오디오에 눈에 띄지 않은 비가시성 워터마크를 삽입하는 ‘신스ID(SynthID)’ 기술을 도입했다. 구글은 5월 텍스트, 동영상에도 이를 확대 적용했다. 구글은 ‘책임감있는 생성형 AI툴킷(Responsible Generative AI Toolkit)’을 통해 ‘신스ID’ 텍스트 워터마킹 기술을 오픈소스로 공개할 예정이다.

카카오도 이미지 생성형 모델인 ‘칼로(Karlo)’와 이미지 생성 앱 ‘비 디스커버(B DISCOVER)’에 각각 비가시성 워터마크, 가시성 워터마크를 도입했으나 지난 달 중단했다. 카카오가 준비중인 새로운 AI서비스에 집중하기 위해 기존 서비스를 재정비하는 과정에서 중단했다.

한편 방송통신심의위원회는 전일 딥페이크 성범죄물 삭제·차단이 24시간 이내 이뤄지도록 텔레그램 등 국내외 온라인 플랫폼 업체들과 협의체를 구성했다. 방심위에 따르면 딥페이크 성범죄물 관련 심의요청은 2021년 총 1900여건에서 작년 7200여건, 올 들어 7월말까지 6400여건으로 3년 새 6배 이상 폭증하고 있다. 윤석열 대통령은 제37회 국무회의에서 딥페이크 단속 강화를 지시했다.