[이미지 = 픽사베이]

<이미지를 클릭하시면 크게 보실 수 있습니다>

심층적인 문제 해결에 뛰어난 추론형 인공지능(AI) 모델들이 속속 등장하고 있는 가운데 이 같은 AI 모델의 성능을 제대로 평가하기 위한 테스트(벤치마크)도 진화하고 있다.

AI가 고급 수학·과학 등 전문 분야에서 뛰어난 성능을 발휘하면서 기존 벤치마크로는 성능 분석에 한계가 있다는 지적이 제기됐다. 나아가 일부 기업이 자사 AI 모델의 성능을 부각시키기 위해 유리한 벤치마크 지표만 선별해 대외적으로 공개하면서 벤치마크 지표 자체에 대한 신뢰도를 스스로 떨어뜨렸다는 비판도 나왔다.

이런 와중에 나날이 똑똑해지고 있는 AI 모델의 성능을 보다 객관적으로 파악·측정할 수 있는 고난도 벤치마크가 탄생하고 있다.

13일 글로벌 AI 업계에 따르면 구글 연구팀이 최근 과학 분야에 대한 대형언어모델(LLM)의 문제 해결 능력을 평가하기 위한 벤치마크 ‘큐리(CURIE)’를 개발했다.

큐리는 재료과학, 응집물질물리학, 양자컴퓨팅, 지리공간, 생물 다양성, 단백질 시퀀싱 등 6개 과학 분야에서 580개 문제로 구성된 테스트다.

기존에도 물론 STEM 벤치마크처럼 과학이나 수학, 공학 등 전문 분야 지식을 평가하는 벤치마크가 존재했다. 다만 구글은 “기존 벤치마크가 단답형 질문과 객관식 응답에 집중돼 있다”며 “AI 모델이 긴 분량의 정보를 이해하고 추론할 수 있는지를 측정하는 것이 필요했다”고 큐리를 개발한 이유를 설명했다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

큐리의 경우 AI 모델이 일반적인 과학 논문 수준의 분량의 글을 읽고 수행하는 추론, 멀티모달 이해, 분야별 전문 지식 능력 등을 복합적으로 분석한다. 8개 주요 LLM 모델에 대해 측정한 결과, 가장 높은 점수를 보인 모델인 ‘제미나이 2.0 플래시’가 정답률 32%에 머물 정도로 매우 까다롭게 구성됐다.

이러한 벤치마크가 탄생하는 것은 LLM이 이제는 복잡한 추론을 요구하는 문제 해결에도 능숙한 추론 특화 모델로 진화하고 있기 때문이다. 구글 연구진은 “LLM은 단순히 지식만을 긁어오는 단계에서 추론하며 문제를 적극 해결하는 단계로 전환되고 있다”고 설명했다.

오픈AI가 지난해 12월 추론 모델 ‘o1’을 선보인 이후로 올해 o3 미니 등을 선보였고, 구글은 지난달 ‘제미나이 2.5 프로’를, 앤스로픽은 하이브리드 추론 모델 ‘클로드 3.7 소넷’을 지난 2월 출시했다.

추론 특화 모델은 빠른 응답 중심의 기존 모델에서 벗어나 생각하는 과정을 도입함으로써 보다 심층적인 답변을 제공해 수학이나 과학 문제 해결 능력도 비약적으로 향상됐다.

챗GPT 개발사인 오픈AI도 지난 2일 AI 에이전트의 연구 능력을 측정하는 새로운 벤치마크 ‘페이퍼벤치’를 공개했다. 페이퍼벤치는 AI가 논문 주요 내용을 요약하는 것을 넘어 스스로 코드를 작성해 논문에 등장하는 실험을 복제해 수행할 수 있는지를 중점적으로 평가한다.

오픈AI는 “머신러닝 연구의 복잡성을 고려하면, 한번의 실험을 복제해 평가하는 데에도 인간에게는 수십 시간이 소요될 수 있다”며 AI 에이전트가 계속 발전되면 이처럼 인간 대신 AI가 연구 보조 역할을 수행할 수 있음을 시사했다.

스케일AI는 지난 3일 AI안전센터와 공동 개발한 고난도 벤치마크 ‘HLE’의 테스트셋을 총 2500개 문항으로 확정 지었다. 철학을 비롯해 수학, 과학, 컴퓨터공학, 로켓공학 등 100개 이상의 이종 영역에서 난제를 엄선한 것이 특징이다. 구글의 제미나이 2.5 프로, 오픈AI의 o3 미니도 정답률이 20%에 못 미칠 정도로 문제가 까다로운 것으로 알려졌다.

고난이도 평가가 가능한 벤치마크가 잇달아 등장하고 있지만 업계에서는 벤치마크 조작 논란도 불거지고 있다.

최근 AI 모델 ‘라마4’를 공개한 메타는 해당 모델이 벤치마크 테스트 플랫폼에서 2위에 오르며 우수한 성능을 입증했다고 주장했지만, 벤치마크에 특화된 맞춤형 버전으로 테스트한 뒤 실제 사용자에게는 일반 버전을 배포했다는 조작 논란이 일었다.

기업들이 수십 가지가 넘는 벤치마크 중 자사 모델에 유리한 결과만을 골라 공개하고, 이를 통해 자사 모델이 ‘세계 최고 성능’이라는 식으로 홍보하는 사례도 빈번하다.

일론 머스크의 AI 기업 ‘xAI’도 자사 AI 모델 ‘그록3’가 수학 경시대회 문제를 기반으로 한 벤치마크(AIME 2025)에서 최고 성능을 기록했다고 주장했지만, 일부 지표를 누락한 채 공개했다는 논란이 제기돼 오픈AI와 공방을 벌인 바 있다.

이재성 중앙대 인공지능학과 교수는 “각 기업이 자사 모델에 적합한 방식으로 성능을 측정하고 있기 때문에 하나의 통일된 기준을 세우는 것은 현실적으로 어렵다”며 “AI 모델마다 강점이 다르므로 벤치마크를 일률적으로 정의하는 것은 오히려 기술 발전에 불리하게 작용할 수 있다”고 설명했다.

한편 추론 능력을 강조한 모델들이 잇달아 출현하며 벤치마크 평가에 드는 비용도 급증하고 있다. 전문가들은 벤치마크 비용이 급증하면 독립적인 성능 검증이 점점 어려워질 수 있다고 지적한다.

AI 분석업체 아티피셜 애널리시스에 따르면 오픈AI의 GPT-4o 모델의 벤치마크 비용이 108달러(약 15만원)인 데 비해 추론형 모델 o1을 평가에는 무려 2767달러(약 398만원)가 들었다. 앤스로픽의 클로드 3.6 소넷은 81달러(약 11만원)였지만, 후속 추론 모델인 클로드 3.7 소넷은 1485달러(약 213만원)에 달했다.

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]