[박찬 기자]

<이미지를 클릭하시면 크게 보실 수 있습니다>

휴머노이드 로봇이 인간과 테니스 랠리를 주고받을 수 있도록 만드는 새로운 학습 시스템이 공개됐다.

칭화대학교와 갤봇 연구진은 15일(현지시간) 불완전한 인간 동작 데이터를 활용해 휴머노이드가 테니스 기술을 학습하도록 하는 'LATENT(Learn Athletic humanoid Tennis skills from imperfect human motioN daTa)' 시스템을 제안했다.

LATENT 시스템은 깃허브를 통해 오픈소스 형태로 공개됐다.

테니스는 빠른 공 속도와 정밀한 타이밍, 전신 협응을 동시에 요구하는 스포츠로, 로봇에게는 가장 어려운 작업 중 하나로 평가된다. 연구진은 기존 방식과 달리 완전한 인간 경기 데이터를 요구하지 않는 접근법을 통해 이러한 문제를 해결하려고 했다.

운동 능력이 뛰어난 인간 선수들은 빠르게 움직이는 테니스공을 상대로 복잡한 동작을 수행한다. 실제 경기에서는 초속 6m 이상 속도로 코트를 이동하고, 초속 15~30m로 날아오는 공에 반응해야 한다. 공이 라켓에 닿는 시간도 수밀리초 수준에 불과하다.

이처럼 높은 동적 움직임과 빠른 반응, 정밀한 타이밍이 요구되기 때문에 테니스 기술을 휴머노이드 로봇으로 구현하는 것은 매우 어려운 문제로 여겨져 왔다.

특히 인간-로봇 원격 조작(tele-operation)을 통해 실제 스포츠 동작 데이터를 수집하는 방식은 현실적으로 거의 불가능하다. 테니스처럼 넓은 코트를 이동하며 빠르게 움직이는 상황에서는 로봇의 모든 관절 움직임을 실시간으로 제어하기 어렵기 때문이다.

연구진은 이러한 문제를 해결하기 위해 완전한 경기 데이터 대신 인간의 기본 테니스 동작 조각만 수집하는 방식을 사용했다.

연구진은 먼저 아마추어 테니스 플레이어 5명의 동작을 모션 캡처 시스템으로 기록해 학습 데이터를 구축했다. 수집된 데이터는 약 5시간 분량으로, 포핸드 스트로크와 백핸드 스트로크 같은 기본 타격 동작을 비롯해 좌우로 빠르게 이동하는 셔플 이동, 크로스 스텝 이동 등 테니스 경기에서 사용되는 핵심적인 기본 움직임이 포함되어 있다.

이 데이터는 실제 경기 장면 전체를 담고 있는 것은 아니며, 한계도 명확하다.

먼저 부정확성(Imprecise)이다. 모션 캡처 기술의 한계와 인간과 로봇의 신체 구조 차이 때문에 라켓 스윙 과정에서 손목 동작이 완전히 정확하게 기록되지 않을 수 있다.

불완전성(Incomplete)의 문제도 존재한다. 수집된 데이터에는 테니스 경기 전략이나 공을 반환하는 방법과 같은 실제 플레이에 필요한 정보가 포함돼 있지 않다.

그럼에도 연구진은 이러한 불완전 데이터가 인간의 자연스러운 스포츠 동작에 대한 중요한 단서를 제공할 수 있다는 점에 주목했다.

LATENT 시스템은 최근 휴머노이드 제어 연구에서 활용되는 잠재 행동 공간(latent action space) 기반 구조를 사용한다.

먼저 인간 동작 데이터를 기반으로 자연스러운 휴머노이드 움직임을 표현하는 잠재 행동 공간을 구축한다. 이후 상위 정책(high-level policy)이 이 공간에서 행동을 선택해 실제 테니스 공을 받아치는 동작을 생성한다.

연구진은 데이터의 불완전성을 보완하기 위해 두가지 핵심 설계를 추가했다. 먼저 행동 보정 메커니즘을 도입해 고정밀 테니스 동작과 실제 수집된 데이터 사이의 차이를 보완하도록 했다. 이를 통해 학습 정책이 필요에 따라 동작을 수정하며 정확한 스윙 동작을 수행할 수 있도록 설계했다.

또 잠재 행동 제한(latent action barrier)을 적용해 강화 학습(RL) 과정에서 정책이 비현실적인 동작을 탐색하지 않도록 제약을 뒀다.

이러한 구조를 통해 로봇은 인간의 자연스러운 움직임 스타일을 유지하면서도 실제로 테니스공을 안정적으로 받아치는 기술을 학습할 수 있다는 설명이다.

Humanoid tennis athletes are officially here!

A team from Tsinghua University and Galbot just dropped LATENT, and it is officially teaching humanoids how to dominate on the tennis court.

Reproducing high-speed athletic moves is usually a nightmare because getting… pic.twitter.com/hoF4MJCciH

— RoboHub (@XRoboHub) March 15, 2026

연구진은 학습된 정책을 실제 휴머노이드 로봇인 유니트리 'G1'에 적용해 실험을 진행했다. 시뮬레이션에서 학습한 정책을 실제 환경에 적용하는 과정에서 발생할 수 있는 문제를 줄이기 위해 몇가지 기법을 추가로 적용했다.

먼저 로봇과 테니스공의 물리적 특성을 무작위로 변화하는 동역학 랜덤화를 도입해 다양한 환경 조건에서도 안정적으로 동작하도록 했다. 또 실제 센서 환경을 모사하기 위해 관측 노이즈를 추가, 인식 오류 상황에서도 정책이 작동하도록 설계했다.

이러한 방법을 적용한 결과, 로봇은 실제 환경에서도 안정적으로 공을 받아 치며 인간과 여러 차례 랠리를 이어가는 데 성공했다.

로봇은 일정한 조건에서 90% 수준의 성공률(hit rate)을 기록했다. 이는 비교적 적은 학습 데이터로도 로봇이 기본적인 스포츠 동작을 수행할 수 있음을 보여주는 결과다.

다만 현재 기술은 제한적인 환경에서의 데모 수준에 가깝다. 실제 테니스 경기처럼 넓은 코트 이동, 빠른 방향 전환, 강한 스윙 등이 필요한 상황에서는 여전히 많은 기술적 과제가 남아 있다.

연구진은 "테니스와 같은 스포츠 과제가 휴머노이드 로봇의 운동 지능(embodied intelligence)을 평가하는 중요한 벤치마크로 활용될 수 있다"라고 덧붙였다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>