넷마블이 인공지능 학습을 통해 모델링된 얼굴을 음성에 맞춰 자연스럽게 움직이도록 하는 기술을 세계 최초로 개발했다.

넷마블은 최근 미국 로스앤젤레스에서 개최된 컴퓨터 그래픽 분야 세계 최고 권위 행사인 ‘시그라프 2019(SIGGRAPH 2019)’에서, 음성에 맞춰 더욱 자연스러운 얼굴 애니메이션을 자동으로 생성할 수 있는 ‘다중작업 방식 음성 기반 얼굴 애니메이션 (Multi-Task Audio-Driven Facial Animation·MTADFA)’ 기술이 담긴 논문을 발표했다고 5일 밝혔다.

음성에 맞게 얼굴 애니메이션을 생성하는 기술은 엔비디아 등의 업체가 이미 개발한 것도 있다. 모델링하는 캐릭터마다 별도로 학습시켜야만 하는 기존 방식은 인공지능에 충분한 데이터를 제공하지 못해 최종 생성된 애니메이션에서 떨림 현상이 발생하거나 새로운 언어에 대한 동기화가 맞지 않는 등의 문제점이 있었다. 넷마블은 이를 해결하고 진화시키는데 초점을 맞췄다.

넷마블의 NTADFA는 사전에 모델링된 어떤 얼굴이든 추후에 제공되는 애니메이션 학습 자료를 통해 자연스러운 입 모양이나 얼굴 근육 움직임을 구현할 수 있다는 것이 차별점이다. MTADFA는 넷마블이 자체적으로 개발한 딥 뉴럴 네트워크 ‘멀타넷(MulTaNet·Multi-Task Deep neural Networks)’을 활용한다. 실험 데이터가 제공하는 14명의 서로 다른 캐릭터의 음성·얼굴 애니메이션을 동시에 학습하며, 이를 활용해 더 많은 캐릭터의 얼굴 애니메이션을 확장 생성할 수 있다는 게 가장 큰 특징이다.


다양한 데이터에 기반하기 때문에 언어에 별다른 구애를 받지 않을 것으로 보인다. 영어를 기본값으로 개발이 됐지만, 한국어와 중국어에 대해서도 자연스럽게 구현되는 부분이 확인된 만큼 다른 언어에 대한 확장도 용이할 전망이다.

넷마블 AI센터 안수남 팀장은 “인공지능(AI)이 자동으로 얼굴 애니메이션을 생성하기 위해서는 먼저 음성과 애니메이션이 짝지어진 예시를 보며 학습하는 과정이 필요하다”며 “MTADFA는 인공지능이 더욱 다양한 예시를 학습할 수 있도록 해, 기존 기술보다 더욱 자연스럽고 안정적인 애니메이션을 생성할 수 있다”고 설명했다. 이어 “새로운 언어 음성 입력 시에도 입술 움직임을 동기화하는 능력이 우수해 다국어 지원 게임 개발 시에도 활용도가 높을 것”이라고 덧붙였다.

넷마블 AI 센터 오인수 실장은 “음성 입력에 맞춰 자연스러운 얼굴 애니메이션을 자동 생성해주는 기술 개발을 통해, 이용자에게 더 높은 생동감과 몰입감을 제공하는 모바일 게임을 개발할 수 있을 것”이라며 “많은 시간과 노력이 필요한 애니메이션 등 아트 제작 과정을 자동화할 수 있어 개발 효율성이 더욱 향상될 것”이라고 밝혔다.

넷마블은 향후 자사의 게임에 우선적으로 이 기술을 적용해나갈 계획이다.

김준영 기자 papenique@segye.com

ⓒ 세상을 보는 눈, 세계일보