메타 심리스 AI. <사진=메타>

<이미지를 클릭하시면 크게 보실 수 있습니다>

메타가 인공지능 연구소(FAIR:Foundational AI Research) 출범 10주년을 맞아 새로운 모델과 데이터셋을 공개했다.

메타는 기존에 공개했던 언어 통역 모델인 ‘심리스(Seamless) M4T’를 업그레이드한 모델(심리스 익스프레시브)을 대거 공개했다. 메타의 심리스 스트리밍은 36개의 언어를 실시간 통역해준다. 시간차는 2초에 불과해 사실상 언어장벽없이 소통할 수 있다.

심리스 익스프레시브는 화자의 감정이나 속삭이는 것도 그대로 살려서 다른 언어로 통역한다. 사람의 미묘한 감정까지 살려서 전달해주는 것이다.

거의 실시간으로 한 언어를 다른 언어로 통역해주는데 입력 언어는 100개, 출력 언어는 36개까지 가능하다.

메타는 향후 메타버스(AR/VR)에 쓰일 Ego-Exo4D라는 데이터셋도 공개했다. 연구소는 15개 대학과 손잡고 사람들의 1인칭과 3인칭 데이터를 수집했다. 요리사, 농구선수, 암벽등반가 등 800명의 전문가들의 행동 동영상 데이터를 수집했다.

이 데이터를 통해 MR 학습을 비롯한 다양한 서비스가 나올 것이라고 회사는 예고했다.

메타는 오디오박스라고 하는 텍스트와 오디오를 결합한 모델도 내놨다. 내가 텍스트로 묘사한 대로 원고를 읽어주는 모델이다.

[실리콘밸리=이덕주 특파원]

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]