생성 과정서 AI가 남긴 흔적 탐지
"학습 데이터 기반 한계 때문에
최신 생성물 대응엔 정확도 낮아"

보안기업 샌즈랩의 '페이크체크'에 얼굴 합성으로 만들었다고 알려진 넷플릭스 드라마 '살인자o난감'의 한 장면을 넣자 합성물이라는 판단 결과가 나왔다. 이 장면은 배우 손석구씨의 어린 시절 사진을 학습한 AI 모델이 생성한 얼굴을 실제 아역 배우가 연기하는 영상에 합성한 것으로 알려졌다. 페이크체크 캡처

<이미지를 클릭하시면 크게 보실 수 있습니다>

워터마크가 인공지능(AI) 생성물을 구분하는 유일한 도구는 아니다. 콘텐츠에 워터마크가 내장되지 않아도 콘텐츠 생성 중에 AI가 남긴 흔적을 찾아내 진위를 판별하는 탐지 기술 역시 발전하고 있다.

딥페이크 이미지는 비정상적인 패턴이나 질감 등 시각적 요소를 분석하는 AI 모델로 찾아낸다. 예를 들어 보안기업 샌즈랩이 개발한 프로그램 '페이크체크'는 얼굴을 합성해 만든 이미지와 생성형 AI가 만든 이미지를 이런 방식으로 찾아낸다. 여기에 배우 손석구 씨의 어린 시절 사진을 아역 배우 영상에 합성해 만들었다고 알려진 넷플릭스 드라마 '살인자o난감'의 한 장면 이미지를 넣자 합성임을 곧바로 감지했다.

특정인의 목소리를 '진짜'처럼 흉내낸 딥보이스 콘텐츠 역시 AI 모델이 음성을 합성하면서 생기는 미세한 흔적을 포착해 걸러낼 수 있다. 가령 보안기업 리젬블AI의 프로그램 '디텍트-2B'는 부자연스럽게 변화하는 음 높이나 타이밍 등을 분석해 음성의 진위를 판별한다. 여기에 다양한 언어로 만들어진 딥보이스를 학습시켰더니 프랑스어, 독일어, 아랍어, 러시아어, 이탈리아어, 힌두어에서 가짜를 잡아냈다.

다만 이 같은 탐지 기술들은 대부분 학습 데이터를 기반으로 한다는 점에서 한계가 있다. 최신 AI 모델로 만들어진 생성물은 학습되지 못했기 때문에 탐지 정확도가 그만큼 떨어지는 것이다. 또 정제된 실험 데이터와 달리 실생활에서 맞닥뜨리는 콘텐츠는 화질이 낮거나 음질이 나빠 정확한 판별이 어려울 수 있다.

정수환 숭실대 AI융합보안학과 교수는 "탐지 기술의 성능을 향상시키려면 고품질 데이터세트를 충분히 확보해야 한다"면서 "민감한 데이터를 처리하기 위한 익명화 기술 수준을 높이고, 연구 목적이라면 관련 책임을 일부 완화하는 방안도 논의할 필요가 있다"고 제언했다.

김태연 기자 tykim@hankookilbo.com