<이미지를 클릭하시면 크게 보실 수 있습니다>

노타가 업스테이지 고성능 거대언어모델(LLM) '솔라' 모델 크기를 대폭 압축해 메모리 사용량을 약 73% 절감했다.

자체 개발한 차세대 양자화 기술을 적용한 결과로, 추론 비용을 절감하고 처리 속도를 높이며 높은 정확도 유지에 성공했다.

과학기술정보통신부 '독자 인공지능(AI) 파운데이션 모델' 프로젝트 일환이다. 업스테이지가 1차 공개한 '솔라 오픈 100B'에 노타 AI 경량화·최적화 기술을 적용, 성능은 유지하고 메모리 효율을 크게 개선했다. 모빌리티·로봇 등 피지컬 AI 환경에서 모델을 원활하게 활용할 수 있는 여건을 확보했다.

노타 차세대 양자화 기술은 LLM 구조로 널리 사용되는 '전문가 혼합 구조(MoE)' 기술적 난제를 해결하는 데 초점을 맞췄다. 모델별 특성을 고려하지 않고 모델 전체를 일괄 압축하는 기존 양자화 기법 대신 MoE 구조에 최적화된 독자 알고리즘 '노타 MoE 양자화 방법론'을 개발, 적용했다.

MoE 모델 추론 과정에서 발생하는 양자화 왜곡을 최소화하도록 설계, 필요한 부분은 정밀도를 유지하고 덜 중요한 부분만 압축해 성능 손실을 최소화하며 경량화를 구현한 게 차별점이다.

노타 기술을 적용한 결과 1000억개) 파라미터를 가진 솔라의 기존 메모리 사용량 191.2GB를 51.9GB까지 줄이는 데 성공했다. 72.8%의 메모리를 절감한 것이다. 성능지표 PPL(숫자가 낮을수록 성능은 더 향상됨) 역시 6.81을 기록하며 원본 모델 6.06과 유사한 수준을 유지하며 성능 저하도 최소화했다.

채명수 노타 대표는 “솔라 오픈 100B 모델에 노타만의 양자화 기법을 적용, 메모리를 대폭 줄이면서 성능을 유지했다는 점에서 의미가 크다”며 “디바이스에 대규모 모델을 구현해야 하는 수요가 커질수록 노타의 경량화·최적화 기술이 고성능 AI를 실현하는 핵심 역할을 해나갈 것”이라고 말했다.

박종진 기자 truth@etnews.com

[Copyright © 전자신문. 무단전재-재배포금지]