[장세민 기자]
스트라(대표 김용호)가 인공지능(AI) 기술을 K팝 아이돌 콘텐츠에 확대 적용한 '다국어 AI 더빙'이 좋은 반응을 얻고 있다고 밝혔다.

2021년 설립된 스트라(대표 김용호)는 'AI 채보' 기술로 주목받았던 곳이다. 이 기술은 MP3 파일을 분석해 코드, 멜로디를 추출하고 기타, 피아노, 드럼등 악기별로 분리한 미디 파일을 생성한다.

지난 5월에는 '케이팝프로' 앱에 음원-목소리 분리 및 생성 AI 기술을 적용, 1분 만에 'AI 커버곡'을 자신의 목소리로 완성할 수 있는 기능으로 인기를 얻었다. 현재 2만여곡이 생성되는 등 안정적으로 서비스를 진행 중이다.

김용호 스트라 대표는 "이런 레퍼런스와 기술을 바탕으로 이제는 K팝 콘텐츠 글로벌 더빙에 참여하고 있다"라고 밝혔다. 아이돌 그룹 유튜브 공식 채널에 업로드되는 콘텐츠 영상에 'AI 기반 다국어 더빙' 기술을 입히는 것이다.

최근 에이치 뮤직 엔터테인먼트와 제휴해 아이돌 그룹 우아(WOOAH), 다이몬(DXMON) 등의 공식 콘텐츠를 AI 더빙 버전으로 제공하고 있다. 중국, 일본어, 영어, 스페인어, 한국어 등으로 서비스 중이다.

일반적인 번역과는 달리 가수들의 억양과 뉘앙스까지 살릴 수 있다고 설명했다. "텍스트를 입력해 의미만 전달하는 TTS(텍스트 음성 전환)뿐만이 아니라, '보이스 클로닝'을 기반으로 하기 때문"이라고 밝혔다.

이 기술은 목소리 학습에 필요한 기존 음성 데이터 외에도 네이티브 스피커가 가이드 녹음이 추가로 필요하다. 그리고 가이드 원어민의 녹음분을 아이돌 멤버의 목소리로 교체하는 방식이다. 기존 영상 및 목소리를 모두 깔끔하게 지우고 추출하는 '음원 분리 기술'도 필수적인데, 이는 스트라가 보유한 기술로 해결이 가능했다. 추가 녹음 스튜디오나 장비가 없어도 고품질 더빙 영상 제작이 가능해진 것이다.

현재 업로드된 영상도 이런 과정을 적용했다. 30분 분량의 영상을 제작하는 데 3~4일이 소요됐다. 결과적으로 고퀄리티 더빙을 완성, 실제 해외 팬들에게도 긍정적 피드백을 얻었다고 전했다. 유튜브 채널 댓글에는 "AI 목소리도 귀엽다" "일본어를 저렇게 잘하는 줄 몰랐다" "독일어 버전도 만들어 주세요" 등 반응이 이어졌다.

김 대표는 "아티스트의 원래 목소리와 유사한 톤, 그리고 자연스러운 억양 등을 구현한 것이 효과적이었다"라며 "또 엔터테인먼트사의 공식 계정을 통해 자막 버전을 함께 제공하고 'AI 더빙'임을 명시한 것도 좋은 반응을 끌어내는 데 도움이 된 것 같다"라고 말했다.

김용호 스트라 대표

<이미지를 클릭하시면 크게 보실 수 있습니다>

앞으로는 제작 과정을 더 간소화할 계획이다. 최종적으로는 TTS와 보이스 클로닝의 결합을 고도화해 원본 영상만 업로드하면 자동으로 20개 이상 국가의 언어 더빙 영상을 생성할 수 있도록 추진 중이다.

김 대표는 "원래부터 K팝과 AI 기술을 융합해 다양한 비즈니스 및 상품을 선보이고 있던 만큼 여러 엔터사와 미팅을 진행해 왔었다"라며 "처음에는 단순히 '다국어 더빙 노래'를 생성한다고 생각했었지만, 아티스트의 노래 및 음원은 고유 창작물에 해당해 오히려 팬들의 거부감을 불러일으키기 쉬웠다"라고 전했다.

그래서 대안으로 생각한 것이 바로 '자컨'이었다. 자컨은 '자체 컨텐츠(콘텐츠)'를 줄여 부르는 K팝 팬덤 사이의 용어다. 스트라 자체 조사 결과에 따르면, 인기 K팝 아티스트는 평균적으로 유튜브 채널 당 1300여개 자체 콘텐츠를 보유하고 있다.

K팝 아티스트들은 해외 팬덤의 마음을 사로잡는 것도 중요한데, 대형 기획사를 제외하고는 부족한 편집 인력 때문에 자막을 추가하는 것이 힘든 실정이다. 중소 기획사의 콘텐츠 중 자막이 달린 영상은 약30%에 불과했다. 정형화된 드라마나 영화가 아니라 브이로그나 라이브, 리액션 등 일상 대화를 소재로 하는 콘텐츠다 보니, 더빙이나 번역이 더 어렵다는 것이다.

김 대표는 "자막을 선호하지 않는 국가의 팬들이나 자막을 읽기 힘든 어린 팬들을 위한 팬서비스 차원에서 AI 더빙을 아이돌의 목소리로 제공해 줄 수 있다면 한차원 가깝게 소통할 수 있지 않을까 하는 생각에 시도를 해 봤다"라며 "앞으로는 더 많은 K팝 아티스트의 해외 팬들을 위해 서비스 영역을 넓혀 나가고 싶다"라고 말했다.

현재는 기획사의 프로덕션 팀과 협업, 원본 영상을 받아 편집 영상을 송부하는 형태로 서비스를 진행 중이다. 앞으로는 기업 내에서 '웹 서비스' 형태로 이용할 수 있도록 개발 중이다. 빠르면 내년도 1월경 론칭할 계획이다.

국내 전시회 참가를 통해 엔터테인먼트 외 영역에서도 AI 더빙 기술에 대한 수요를 확인했다고 덧붙였다. K-뷰티, K-푸드 등 상품을 해외에 수출하는 인플루언서의 숏폼 영상이 대표적이다. 여러 나라의 언어로 더빙, 글로벌 판매를 늘리는 데 AI 더빙 기술을 활용하는 것이다. 실제 수요처와 기술실증(PoC)도 진행 중이라고 밝혔다.

김용호 스트라 대표는 "케이팝프로는 현재 누적 40만 다운로드를 돌파했으며, 한때는 미국 앱스토어 음악 랭킹 100위권 이내에도 진입한 바 있다"라고 밝혔다.

"처음에는 해외 팬들의 노래 가사 장벽을 극복하도록 돕는 서비스였지만, 앞으로는 콘텐츠 전체의 언어 장벽을 극복할 수 있도록 노력하겠다"라고 말했다.

장세민 기자 semim99@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>