[손슬기 기자]

노타, 업스테이지 LLM 경량화 성공. [사진: 노타]

<이미지를 클릭하시면 크게 보실 수 있습니다>

[디지털투데이 손슬기 기자] AI 경량화 기업 노타는 업스테이지 대형언어모델(LLM) '솔라 100B'의 메모리 사용량을 72.8% 줄이는 양자화 기술을 개발했다고 20일 밝혔다.

이번 기술은 과학기술정보통신부 주도 '독자 AI 파운데이션 모델(독파모)' 프로젝트 일환으로 개발됐다.

노타는 차세대 LLM 구조인 전문가 혼합 구조(MoE)에 특화된 '노타 MoE 양자화' 기법을 자체 개발했다. 기존 양자화 기술은 모델 전체를 일괄 압축해 성능 저하가 불가피했다면, 노타 기법은 전문가 모델별 특성을 분석해 정밀도가 필요한 부분은 유지하고 덜 중요한 부분만 압축한다.

노타에 따르면 기술 적용 결과 솔라 100B 메모리 사용량은 기존 191.2GB에서 51.9GB로 줄었다. 성능지표인 PPL(Perplexity)은 6.81을 기록해 원본 모델(6.06)과 유사한 수준을 유지했다. 일부 범용 양자화 기법 적용 시 성능이 5배 이상 저하된 것과 대조적이다. 노타는 해당 기술에 대한 특허를 출원했다.

이번 성과로 로봇·자동차 등 온디바이스 AI 환경에서도 100B급 모델 탑재가 가능해질 전망이다. 고사양 GPU 확보에 어려움을 겪는 기업들의 운영 비용 절감에도 기여할 수 있다고 노타는 강조했다.

채명수 노타 대표는 "디바이스에 대규모 모델을 구현해야 하는 수요가 커질수록 노타의 경량화·최적화 기술이 핵심적인 역할을 해나갈 것"이라고 말했다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>