[박찬 기자]

<이미지를 클릭하시면 크게 보실 수 있습니다>

인공지능(AI) 스타트업 사카나가 AI를 활용해 생성한 논문으로 '동료 평가(peer reiew)'를 사상 처음 통과했다고 발표했다. 하지만 여기에는 문제도 여럿 있는 것으로 밝혀졌다.

사카나 12일 홈페이지를 통해 'AI 사이언티스트-v2(The AI Scientist-v2)' 시스템이 생성한 논문이 동료 심사를 통과했다고 발표했다.

사카나는 "우리 AI가 만든 과학 논문이 머신 러닝 관련 콘퍼런스 워크숍에서 동료 평가를 통과했다"라며 "이는 최초의 완전 AI 생성 논문"이라고 밝혔다.

동료 평가는 연구자가 학술지에 논문을 제출하면 해당 분야의 전문가들이 논문의 정확성, 신뢰성 등을 평가하는 과정을 말한다. 이를 통과하지 못하면 논문은 학술지에 게재되지 않는다.

사카나는 지난해 8월 개발한 과학 연구용 에이전트 'AI 사이언티스트-v2'를 사용해 논문을 작성하고, 이를 AI 분야의 권위 있는 학술대회인 'ICLR(International Conference on Learning Representations)' 워크숍에 제출했다.

이어 ICLR 조직위원회와 협력해AI 생성 논문의 더블-블라인드 심사(double-blind review)를 진행했다고 주장했다. 더블-블라인드 심사는 저자와 심사위원이 서로를 알지 못한 상태에서 논문을 평가하는 방식이다.

사카나는 브리티시컬럼비아대, 옥스퍼드대 연구진과 협력, 총 세편의 AI 생성 논문을 제출했다. 이 과정에서 AI 사이언티스트-v2는 연구 가설, 실험, 실험 코드, 데이터 분석, 시각 자료, 논문 본문, 제목까지 전 과정을 생성했다고 밝혔다.

로버트 랑게 사카나 공동 창립자는 "워크숍 개요와 설명을 AI에 제공해 연구 아이디어를 도출하게 했고, 이를 통해 제출된 논문이 워크숍 주제에 맞게 준비됐다"라고 설명했다.

세편 중 한편이 최종 채택됐으며, 이 논문은 AI 모델의 훈련 기법에 대한 비판적 분석을 담고 있었다. 그러나 사카나는 ICLR의 학술 관행을 존중하고 투명성을 위해 해당 논문을 공식 발표 전 자진 철회했다고 밝혔다.

하지만 테크크런치 등은 이 성과에 문제가 있다고 지적했다.

먼저, 사카나는 AI가 일부 인용에서 오류를 범한 사실을 인정했다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

또 전통적인 동료 평가보다 덜 엄격한 검토 과정을 거쳤다는 지적을 받았다. 논문은 1차 심사를 통과했지만, 추가 검토(meta-review) 과정이 진행되기 전에 철회됐다.

여기에 학회 워크숍의 논문 채택률이 본 학회보다 일반적으로 높다는 점도 거론됐다. 무엇보다 AI 생성 논문 중 어떤 것도 ICLR 본 학회 출판 기준을 통과하지 못했다는 사실이 결정적이다. 한마디로 수준이 높지는 않다는 설명이다.

매튜 구즈디알 알버타대학교 교수는 "사카나 팀이 여러 생성물 중에서 논문을 선택했다는 것 자체가 인간의 판단이 개입됐다는 것"이라고 지적했다. 또 마이크 쿡 킹스 칼리지 런던 연구원은 "이런 새로운 워크숍은 경력이 짧은 연구자들이 심사를 진행하는 경우가 많다"라며 이번 평가의 엄격성에 의문을 제기했다.

사카나는 이번 실험이 AI가 획기적인 연구 결과를 만들어내는 것을 목표로 한 것이 아니라고 강조했다. 다만, "AI 생성 연구의 질을 평가하고 AI가 생성한 과학 논문에 대한 기준을 논의하는 것"이 목적이라고 밝혔다.

한편, '트랜스포머' 눈문 저자 중 하나인 릴리언 존스가 설립한 사카나는 지난해 8월 옥스포드대 및 브리티시 컬럼비아 대 연구진과 협력, 과학 연구를 자율적으로 수행할 수 있는 AI 사이언티스트를 개발했다.

이번 논문 발표는 이 모델의 실용성을 입증하기 위해 진행한 것이다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>