[AI리포터]

<이미지를 클릭하시면 크게 보실 수 있습니다>

[디지털투데이 AI리포터] 오픈AI가 내부 구조를 해석할 수 있는 실험적 대규모언어모델(LLM)을 개발하며, 인공지능(AI)의 작동 원리를 투명하게 밝히는 데 한 걸음 다가섰다.

13일(현지시간) MIT 테크놀로지 리뷰에 따르면, 기존 LLM은 블랙박스처럼 작동해 내부 메커니즘을 이해하기 어려웠지만, 이번 연구는 이를 해소할 수 있는 가능성을 제시했다.

새로운 모델인 '웨이트-스파스 트랜스포머'(weight-sparse transformer)는 기존 상용 모델인 GPT-5, 앤트로픽 클로드(Claude), 구글 제미나이(Gemini)보다 훨씬 작고 성능도 낮다. 하지만 오픈AI는 이 모델을 통해 대형 AI가 어떻게 작동하는지를 밝히는 것이 목표라고 설명했다. 엘리센다 그릭스비(Elisenda Grigsby) 보스턴 칼리지 수학자는 "이 연구가 AI 해석 가능성에 큰 영향을 미칠 것"이라고 평가했다.

기존 LLM은 뉴런이 촘촘히 연결된 밀집 네트워크로 구성돼 있어 개념이 여러 뉴런에 분산되거나, 한 뉴런이 여러 기능을 동시에 처리하는 중첩현상이 발생한다. 이 때문에 특정 개념을 특정 뉴런과 연결하기 어려웠다. 반면, 웨이트-스파스 트랜스포머는 뉴런 간 연결을 제한해 개념을 국소적으로 표현하도록 설계됐다.

실험 결과, 이 모델은 단순한 기능도 명확히 해석할 수 있는 것으로 나타났다. 예를 들어, 모델이 인용 부호로 시작하는 문장의 끝에 자동으로 인용 부호를 추가하는 과정을 분석한 결과, 사람이 수동으로 설계한 알고리즘과 동일한 방식으로 작동하는 회로를 발견했다. 이는 AI 내부 구조를 해석할 수 있는 가능성을 보여준다.

다만, 이 기술이 복잡한 LLM에 적용될 수 있을지는 불확실하다. 오픈AI도 GPT-5와 같은 최첨단 모델 수준까지 도달할 가능성은 낮다고 인정했다. 그러나 오픈AI는 GPT-3 수준의 해석 가능한 모델을 개발할 수 있을 것으로 기대하고 있다. 레오 가오(Leo Gao) 오픈AI 연구원은 "완전히 해석 가능한 GPT-3를 만들 수 있다면, AI 작동 원리에 대한 깊은 통찰을 얻을 것"이라고 강조했다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>