ETRI가 개발한 한국어 중심 소형 생성형 언어모델 '이글' [ETRI 제공. 재판매 및 DB 금지]

(대전=연합뉴스) 박주영 기자 = 국내 연구진이 한국어 중심 소형 생성형 언어모델을 개발해 일반에 공개했다.

한국전자통신연구원(ETRI)은 한국어 기반 30억개 파라미터급 신경망 기반 소형 생성 언어모델(SLM) '이글'(Eagle)'을 개발해 오픈소스 플랫폼인 '허깅페이스'에 공개했다고 28일 밝혔다.

생성형 언어모델은 방대한 텍스트 데이터로부터 인간의 언어능력을 학습해 목적에 맞게 사용자의 질문이나 지시에 따라 자연스러운 대화나 다양한 텍스트 콘텐츠를 만들어내는 시스템이다.

인공지능(AI)이 딥러닝을 통해 학습한 데이터를 기억·저장하는 곳을 파라미터(매개변수)라고 하는데, 많을수록 AI 성능이 더 높다.

GPT-3의 파라미터는 1천750억개, 구글 바드의 파라미터는 1천370억개다.

다만 글로벌 빅테크 기업이 학습하는 데이터는 한국어가 5%에도 미치지 못하는 등 한국어 이해·생성 능력이 영어 등에 비해 상대적으로 낮다는 한계가 있다.

연구팀이 개발한 30억개 파라미터 규모의 소형 언어모델은 한국어 데이터 비중이 높아 한국어 기반 숫자 연산 등에 적합하다.

특히 미세조정이 적용되지 않은 기초모델로, 질의응답 과업에 조정된 기정렬 모델(Aligned Model)에 비해 응용이 필요한 학습에서 더 뛰어난 수행을 보인다.

앞서 지난 4월 개발한 13억 파라미터급 모델을 대상으로 한 한국어 숫자 연산 실험에서 글로벌 기업 모델의 파라미터 대비 절반 수준임에도 불구하고 일부 작업에서 더 높은 성능을 보였다.

연산 비용에 부담을 느끼는 중소·중견 기업이 활용하기에 좋다고 연구팀은 설명했다.

ETRI는 내년에는 70억개 파라미터급 모델을 공개할 예정으로, 초등학교 수학 교육을 지원하는 AI 교사 서비스 개발도 추진 중이다.

jyoung@yna.co.kr

▶제보는 카카오톡 okjebo
▶연합뉴스 앱 지금 바로 다운받기~
▶네이버 연합뉴스 채널 구독하기
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>