[AI리포터]

텐센트 [사진: 셔터스톡]

<이미지를 클릭하시면 크게 보실 수 있습니다>

[디지털투데이 AI리포터] 중국 IT기업 텐센트가 미국과 중국의 주요 AI 모델들이 실제 환경에서 맥락 학습 능력이 부족해 실용성에 한계가 있다는 연구 결과를 발표했다.

4일(현지시간) 홍콩 사우스차이나모닝포스트는 텐센트와 푸단대 신뢰할 수 있는 임베디드 AI 연구소 공동 연구진은 최근 공개한 논문을 인용해, 현재 AI 모델들이 복잡하고 동적인 실제 환경에서 미묘하지만 중요한 오류를 범하며, 이를 개선하기 위해 맥락 학습 능력을 핵심 설계 요소로 삼아야 한다고 전했다.

연구진은 AI 모델의 맥락 학습 능력을 평가하기 위해 1899개 과제로 구성된 새로운 벤치마크 CL벤치(CL-bench)를 개발했다. 기존 단순 지식 평가와 달리 CL벤치는 과제별 배경 정보를 기반으로 모델이 학습할 수 있는지를 측정하며, 테스트 결과 상위 10개 모델의 평균 점수는 17.2%에 불과했다. 이는 AI 시스템이 실제 환경에서 요구되는 맥락 이해 능력과 구조적 불일치를 보여주는 결과로 분석된다.

구체적으로 오픈AI GPT 5.1이 23.7%로 가장 높은 점수를 기록했고, 앤트로픽의 클로드 오푸스 4.5는 21.1%였다. 중국 모델 중에서는 문샷 AI 키미 K2가 17.6%로 5위를, 텐센트 훈위안 2.0은 17.2%로 6위를 기록하며, 현재 AI 모델이 실제 환경에서 신뢰할 수 있는 맥락 학습자와는 거리가 멀다는 사실을 확인했다.

이번 연구는 야오 순위 텐센트 신임 AI 책임자가 참여한 첫 논문으로, 향후 위챗 내 방대한 대화 기록을 활용해 AI 모델의 맥락 정보 활용도를 높이는 전략 가능성을 제시했다. 다만 실제 시스템 통합과 원활한 적용 여부는 아직 검증 단계에 있다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>