[박찬 기자]

(사진=셔터스톡)

<이미지를 클릭하시면 크게 보실 수 있습니다>

대형언어모델(LLM)이 복잡한 문제를 해결할 때 기존 학습 데이터를 이용하는 대신, 자율적으로 해결 프로그램을 생성해서 해결하는 기술이 등장했다. 일종의 '프로그램을 만드는 프로그램'인 셈이다.

뉴로사이언스는 14일(현지시간) MIT 연구진이 파이썬 프로그램을 생성하고 실행해 자연어, 수학 및 데이터 분석, 기호 추론 작업을 해결할 수 있도록 하는 LLM '자연어 임베디드 프로그램(NLEP)'에 관한 논문을 아카이브에 게재했다고 소개했다.

일반적으로 인공지능(AI) 모델은 자연어만 사용해 정보를 처리하고 쿼리에 응답하기 때문에, 수치 또는 기호적 추론이 필요한 작업을 수행하기 어려울 수 있다. 예를 들어 미국 역대 대통령의 생일을 알려줄 수는 있지만, 반대로 "1950년 이후에 선출된 미국 대통령 중 월요일에 태어난 사람은 누구인가"라는 질문에 취약하다.

NLEP는 이 경우 사용자 질문을 해결하기 위해 LLM이 간단한 파이썬 프로그램을 생성하도록 유도한다. 이후 파이썬 인터프리터가 생성된 코드를 실행한 다음, 답을 자연어로 출력하도록 만든다.

이처럼 프로그램을 통해 추론 과정을 명확히 설명할 수 있고, 모델이 잘못된 답변을 제공하는 경우 프로그램을 수정할 수 있다. 따라서 모델의 투명성도 향상된다는 설명이다.

NLEP는 4단계로 구성된다. 먼저 모델은 작업을 해결하는 데 필요한 패키지나 함수를 호출한다. 2단계는 미국 대통령의 생일 목록과 같은 작업에 필요한 지식의 자연어 표현을 가져온다. 3단계에서 모델은 답을 계산하는 함수를 구현하고 실행한다. 마지막 단계에서 모델은 결과를 자연어로 출력한다.

사용자는 전체 모델을 다시 실행할 필요 없이 프로그램을 조사하고 코드 오류를 직접 수정할 수 있다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

레오니드 칼린스키 MIT-IBM 왓슨 AI 연구소 수석 과학자는 "언어 모델이 코드로 추론하면 도구 사용과 출력 검증, 모델 기능과 사고방식에 대한 체계적인 이해 등이 가능해 진다"라고 말했다.

NLEP는 'GPT-4'를 통한 객체 추적이나 다양한 기호 추론 작업, 명령 수행 및 텍스트 분류 작업에서 90% 이상의 정확도를 달성했다. 일반적인 작업별 프롬프트 방식보다 30% 더 높은 정확도다. 이 방법은 오픈 소스 LLM에서도 성능 개선을 보여줬다.

LLM 정확도를 높이는 것 외에도, NLEP는 개인정보 보호도 개선할 수 있다는 설명이다. 로컬에서 실행되기 때문에 사용자 데이터를 오픈AI나 구글과 같은 회사로 보낼 필요가 없다.

또 비용이 많이 드는 재훈련 과정 없이도 소형언어모델(sLM)의 성능을 향상할 수 있는 등 많은 장점을 가진 것으로 소개했다.

연구진은 "우리는 마법을 쓴 것이 아니다. 더 비싸거나 고급인 언어모델을 따로 보유한 것이 아니다"라며 "자연어 생성 대신 프로그램 생성을 사용하는 것뿐이며, 이를 통해 더 나은 성능을 낼 수 있도록 만들었다"라고 강조했다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>