로이터연합뉴스

<이미지를 클릭하시면 크게 보실 수 있습니다>

인공지능(AI) 훈련에 필요한 데이터가 고갈되면서 최근 몇 년 새 급속도로 발전한 AI 모델 개발이 정체되고 있다는 진단이 잇따르고 있다.

23일 월스트리트저널에 따르면 챗GPT 개발사 오픈AI의 차세대 주력 AI 모델 개발 일정이 예상보다 늦어지면서 막대한 비용이 들고 있다. 오픈AI는 18개월 넘게 코드명 ‘오라이언(Orion)’으로 알려진 차세대 모델 GPT-5를 개발 중이다.

오픈AI는 방대한 양의 데이터를 처리하는 수개월짜리 대규모 훈련을 최소 2차례 진행했지만 기대했던 결과를 얻지 못했다고 한다. 기존 모델 GPT-4보다는 나은 성능을 보였지만 새로운 모델 운영에 드는 엄청난 비용을 정당화할 만큼 충분히 발전하진 않았다는 것이다. 6개월간의 대규모 AI 훈련에는 컴퓨팅 비용만으로 약 5억달러(약 7200억원)가 들 수 있다고 매체는 전했다. 이 같은 상황은 많은 데이터와 컴퓨팅 자원을 투입할수록 AI 모델 성능이 좋아진다는 ‘스케일링 법칙’이 한계에 다다랐다는 주장에 힘을 싣고 있다.

데이터 부족이 주요 걸림돌로 꼽힌다. 오픈AI는 이전 모델 훈련에 뉴스 기사, 사회관계망서비스(SNS) 게시물, 과학 논문 등 인터넷에서 수집한 데이터를 사용했다. 이제는 더 똑똑한 모델을 만들기 위한 데이터는 충분치 않을뿐더러 고품질 데이터를 찾기가 더 힘들어졌다. 이에 AI 개발사들은 AI가 생성한 데이터인 ‘합성 데이터’로 모델을 학습시키는 방법을 쓰고 있다. 수학자를 고용해 복잡한 수학문제를 풀도록 함으로써 AI가 답을 도출하는 과정과 사고방식을 학습하게 하기도 한다.

개발사들은 AI 성능 향상을 위해 ‘추론’ 방식에 주목하고 있다. 추론 방식은 학습하지 않은 문제나 새로운 상황에서도 맥락을 이해하고 적절한 응답을 제시할 수 있다. 학습 데이터와 패턴에 의존해 응답을 내놓는 기존 방식과는 차별화된다. 샘 올트먼 오픈AI 최고경영자(CEO)는 지난 20일 추론에 특화한 AI 모델 ‘o3’를 공개하고 내년 초 정식 출시한다고 밝혔다. 하지만 GPT-5라고 부를 만한 새 주력 모델이 언제 나올지는 언급하지 않았다. 최근 차세대 모델 ‘제미나이 2.0’을 출시한 구글도 추론 모델의 시험 버전을 선보인 상태다.

데미스 허사비스 구글 딥마인드 CEO는 뉴욕타임스에 “지난 3~4년 동안 스케일링 법칙이 작동하면서 엄청난 성과가 있었다”면서도 “하지만 이제는 같은 수준의 진전을 더 이상 이루지 못하고 있다”고 말했다.

챗GPT 개발을 이끌었지만 지금은 회사를 떠난 오픈AI 공동 창립자 일리야 수츠케버는 지난 13일 한 강연에서 “데이터는 AI의 화석연료와 같다”며 인간이 만든 인터넷상의 콘텐츠가 유한하다고 지적했다. 그는 “우리가 알고 있는 (일반 데이터에서 패턴을 학습하는) 사전 훈련은 의심할 여지 없이 끝날 것”이라고 했다.

노도현 기자 hyunee@kyunghyang.com

▶ 매일 라이브 경향티비, 재밌고 효과빠른 시사 소화제!
▶ 계엄, 시작과 끝은? 윤석열 ‘내란 사건’ 일지 완벽 정리

©경향신문(www.khan.co.kr), 무단전재 및 재배포 금지