카카오 '카나나 모델' 〈자료 카카오〉 |
<이미지를 클릭하시면 크게 보실 수 있습니다> |
카카오의 초경량 인공지능(AI) 언어 모델인 '카나나 나노(Kanana Nano)'가 기존 중형급 모델과 유사한 수준의 한국어 성능을 갖춘 것으로 입증됐다. 자신감이 붙은 카카오는 카나나 나노의 일부 모델을 오픈소스로 공개할 계획이다. 소형언어모델(SLM) 시리즈에서 잇따라 높은 성능을 입증하면서 저비용 고효율의 AI 모델 기술력을 과시하고 있다.
14일 카카오에 따르면 AI 모델을 개발하는 '카나나 알파' 조직은 지난 10일 테크 블로그에 카나나 나노 성능 평가 결과를 공개했다. 추후 카나나 나노의 6개 모델 중 성능이 좋은 2.1B 모델과 이를 기반으로 한 인스트럭트(Instruct) 모델, 임베딩(Embedding) 모델을 오픈소스로 공개하기로 했다. 카나나 언어모델 전체를 소개하는 테크니컬 리포트도 아카이브에 등록한다.
카나나 나노는 카카오가 지난해 공개한 생성형 AI 카나나 모델의 언어모델 중 가작 작은 용량을 갖춘 SLM이다. 매개변수에 따라 4.5B, 3.1B, 2.1B, 1.3B, 0.6B, 0.4B 등 6개 모델로 구성됐다. 작은 모델들은 모바일 기기에서도 활용할 수 있다.
성능평가 결과, 카나나 나노는 크기가 작아진 경량화 모델임에도 불구하고 기존 중형급 모델과 유사한 수준의 높은 한국어 성능을 유지했다. 모바일 환경에서도 쉽게 사용 가능한 아주 작은 크기의 모델까지 유의미한 성능을 기록했다.
'카나나 나노(Kanana Nano) 시리즈'와 비교 AI 모델 성능평가 결과 〈자료 카카오〉 |
<이미지를 클릭하시면 크게 보실 수 있습니다> |
카카오는 카나나 나노 시리즈를 개발하기 위해 AI 모델의 구성 요소를 가지치기해 중요 요소만 남기는 기법인 '프루닝(Pruning)'과 큰 모델의 지식을 더 작은 모델로 전달하는 '증류(Distillation)' 기법을 활용했다. 이 과정에서 기존에 개발을 완료한 카나나 에센스를 경량화 해 적은 데이터로 성능을 극대화하는 방식을 선택했다. 기존 선행 연구는 1~2단계의 모델 압축에 그쳤던 것과 달리 카카오는 모델의 정보 손실을 최소화하며 5~6단계까지 모델을 압축하는 것에 성공했다.
변상근 기자 sgbyun@etnews.com
[Copyright © 전자신문. 무단전재-재배포금지]
이 기사의 카테고리는 언론사의 분류를 따릅니다.
기사가 속한 카테고리는 언론사가 분류합니다.
언론사는 한 기사를 두 개 이상의 카테고리로 분류할 수 있습니다.
언론사는 한 기사를 두 개 이상의 카테고리로 분류할 수 있습니다.