미스트랄의 엣지용 AI 모델인 ‘미니스트랄 3B’와 ‘미니스트랄 8B’ 모델을 구글 및 메타의 소형 AI 모델과 비교한 표 [출처 = 미스트랄]

<이미지를 클릭하시면 크게 보실 수 있습니다>

프랑스의 인공지능(AI) 스타트업 미스트랄 AI가 휴대폰, 노트북과 같은 엣지 디바이스를 위한 생성형 AI 모델을 처음으로 내놨다.

18일 AI 업계에 따르면 미스트랄 AI는 최근 엣지용 AI 모델인 ‘미니스트랄 3B’와 ‘미니스트랄 8B’ 모델을 출시했다.

엣지 AI는 클라우드 등 서버에서 AI를 구동하는 것이 아닌, 휴대폰과 같은 엣지 디바이스에서 AI를 직접 실행해 처리하는 것을 의미한다. 디바이스의 제약이 있기에 엣지용으로 AI를 사용하려면 해당 모델을 경량화하고 성능을 효율화하는 것이 중요하다.

미니스트랄 모델은 각각 30억개의 파라미터와 80억개의 파라미터로 구성됐으며, 두 모델 모두 한 번에 처리할 수 있는 문맥의 길이를 12만8000토큰까지 지원한다. 약 50페이지의 책을 한 번에 처리할 수 있다는 의미다.

미스트랄 AI는 “미니스트랄 모델은 100억 미만의 파라미터 모델 중에서 지식, 상식, 추론, 함수 호출 및 효율성 측면에서 새로운 지평을 열었다”라고 강조했다.

미스트랄 AI는 미니스트랄을 활용할 수 있는 주요 사용 사례로 온디바이스 번역, 인터넷 연결 없이 사용하는 스마트 비서, 자율주행 로봇 등을 제시했다. 보다 효율적인 컴퓨팅과 함께 짧은 지연 시간이 필요한 솔루션에 활용될 수 있다는 설명이다.

미스트랄 AI는 구글과 메타의 소형 AI 모델과 자사의 미니스트랄을 자체적으로 비교한 벤치마크 결과도 공개했다. 미스트랄 AI에 따르면 미니스트랄 3B와 미니스트랄 8B 모델은 구글의 ‘젬마2 2B’, 메타의 ‘라마 3.2 3B’, ‘라마 3.1 8B’ 등 비슷한 파라미터 수의 동급 모델보다 뛰어난 벤치마크 성능을 보였다.

미니스트랄을 상업용으로 자체 활용하려는 기업들은 미스트랄에 직접 접촉해 사용을 협의해야 한다.

향후 아마존웹서비스(AWS) 베드록, 마이크로소프트(MS) 애저 AI, 구글 클라우드 버텍스 AI 등 미스트랄 모델을 지원하는 주요 클라우드 서비스에도 미니스트랄 모델이 출시될 예정이다. 미니스트랄 8B 모델 정보는 연구 목적으로 사용할 수 있도록 공개됐다.

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]