백승렬 UNIST 인공지능대학원 교수 연구팀

연구팀이 'BIGS' 기법을 사용해 다양한 시점에서 손-물체 상호작용을 복원한 결과/ 사진=UNIST

<이미지를 클릭하시면 크게 보실 수 있습니다>

수술 시뮬레이션을 3차원(3D)으로 더 실감 나게 구현할 수 있는 AI(인공지능) 기술이 개발됐다.

UNIST(울산과학기술원)는 백승렬 인공지능대학원 교수 연구팀이 두 손으로 낯선 물체를 조작하는 장면을 3D로 시각화하는 AI 모델 'BIGS'를 개발했다고 9일 밝혔다. 연구 결과는 오는 11일부터 미국에서 열리는 국제 컴퓨터비전 학회 'CVPR 2025'에 채택돼 발표한다.

일반적으로 AI에는 카메라로 촬영한 2D 데이터만 입력된다. 이 때문에 손과 물체의 실제 위치나 입체적인 형태를 파악하기 어렵다. 또 기존 기술은 한 손만 인식하거나 사전에 스캔된 물체에만 대응할 수 있어 현실감 있는 상호작용 장면을 재현하는 데 한계가 있었다.

연구팀은 손이 가려지거나 일부만 보이는 상황에서도 전체 형상을 예측할 수 있는 기술을 개발했다. 처음 보는 물체도 학습된 시각 정보를 통해 보이지 않는 부분까지 자연스럽게 그린다. 별도의 깊이 센서나 여러 각도의 카메라 없이 단일 카메라로 찍은 영상만으로도 3차원 복원이 가능하다.

연구팀은 '3차원 가우시안 스플래팅(Gaussaina Splatting) 기법'을 사용했다. 가우시안 스플래팅은 사물의 형상을 퍼지는 점 구름 형태로 표현하는 방식이다. 픽셀 단위로 경계가 뚜렷한 '포인트 클라우드 기법'과 달리 손과 물체가 만나는 접촉면 등을 더 자연스럽게 복원할 수 있다.

이 방식으로도 손이 보이지 않는 상황에서 전체 형상을 추정하긴 어렵지만, 연구팀은 기준이 되는 손 하나에 맞춰 모든 손의 구조를 정렬하는 방식을 도입해 문제를 해결했다. 더불어 사전 학습된 모델이 영상에서 보이지 않는 물체의 뒷면까지 복원하도록 했다.

백 교수는 "향후 VR(가상현실), AR(증강현실), 로봇 제어, 원격 수술 시뮬레이션 등 다양한 분야에서 실시간 상호작용 복원 기술로 활용할 수 있을 것"이라고 했다.

이번 연구에는 온정완 UNIST 연구원이 제1 저자로 참여했다. 한국연구재단과 정보통신기획평가원의 지원을 받았다.

박건희 기자 wissen@mt.co.kr

Copyright ⓒ 머니투데이 & mt.co.kr. 무단 전재 및 재배포, AI학습 이용 금지.