넷마블은 미국 LA에서 열린 컴퓨터 그래픽 분야 행사인 '시그라프 2019'에서 AI로 음성에 맞춰 자연스러운 얼굴 애니메이션을 자동 생성하는 기술 논문을 발표했다고 5일 밝혔다.

'다중작업 방식 음성 기반 얼굴 애니메이션(Multi-Task Audio-Driven Facial Animation, MTADFA)'라는 이름의 이 기술은 넷마블이 자체적으로 개발한 딥 뉴럴 네트워크인 '멀타넷(MulTaNet: Multi-Task Deep neural Networks)'를 활용, 캐릭터 14명의 음성·얼굴 애니메이션을 동시에 학습하고 이를 활용해 더 많은 캐릭터의 얼굴 애니메이션을 확장 생성할 수 있다고 설명했다.

넷마블은 AI로 음성에 맞춰 자연스러운 얼굴 애니메이션을 자동 생성하는 기술 논문을 발표했다고 5일 밝혔다. (자료=넷마블)

<이미지를 클릭하시면 크게 보실 수 있습니다>

기존에는 각 개별 캐릭터를 따로 학습시켜야 해 AI에 충분한 데이터를 제공하지 못해 최종 생성된 애니메이션에서 떨림 현상이 발생하거나 새로운 언어에 대한 동기화가 맞지 않는 등의 문제점이 있었다.

이번 기술은 해당 문제점을 해결하는 데 초점을 맞췄다고 넷마블 측은 전했다. 넷마블은 향후 자사 게임 등에 우선적으로 이 기술을 적용해나갈 계획이다.

안수남 AI 센터 팀장은 "AI가 더욱 다양한 예시를 학습할 수 있도록 해 이전보다 자연스럽고 안정적인 애니메이션을 생성할 수 있다"며 "입술 움직임을 동기화하는 능력이 우수해 다국어 지원 게임 개발에 활용도가 높을 것"이라고 말했다.