컨텐츠 바로가기

01.30 (목)

망고부스트, AI 추론 최적화 소프트웨어 출시

0
댓글 첫 댓글을 작성해보세요
주소복사가 완료되었습니다

<이미지를 클릭하시면 크게 보실 수 있습니다>


망고부스트는 인공지능(AI) 추론 성능과 효율성을 높이는 시스템 최적화 소프트웨어 '망고 거대언어모델(LLM) 부스트'를 출시했다고 16일 밝혔다.

사용자는 아마존웹서비스(AWS) 마켓플레이스에서 소프트웨어를 내려받아 이용할 수 있다.

망고부스트는 망고 LLM 부스트를 적용한 뒤 LLM을 구동할 경우 최대 12.6배의 상대적 성능 향상과 92%의 비용 절감을 달성할 수 있다고 소개했다.

이를 위해 △효과적인 시스템 스케줄 조정 △커널 최적화 △독자적인 데이터 프리페칭(Prefetching) 기술 △최신 그래픽처리장치(GPU) 기반의 모델 양자화 기술 등을 사용했다고 설명했다.

망고 LLM부스트는 엔비디아, AMD 등의 GPU와 모두 호환이 가능하다. 또 라마, 믹스트랄, 젬마, 큐웬2, 라바, 파이3, 카멜레온, 미니CPM, GLM-버전4 등 다양한 멀티모달 AI 모델에서 검증됐다.

망고부스트는 해당 솔루션을 향후 주요 클라우드 서비스 공급자(CSP)로 확대 출시할 예정이며, 자체 서버(On-Premise) 배포도 지원할 계획이다.

망고 LLM 부스트를 적용하면 성능을 최대 12.6배 높일 수 있는 것으로 나타났다. (출처:망고부스트)

<이미지를 클릭하시면 크게 보실 수 있습니다>


망고 LLM 부스트를 적용하면 비용을 최대 92% 줄일 수 있는 것으로 나타났다. (출처:망고부스트)

<이미지를 클릭하시면 크게 보실 수 있습니다>


박진형 기자 jin@etnews.com

[Copyright © 전자신문. 무단전재-재배포금지]


기사가 속한 카테고리는 언론사가 분류합니다.
언론사는 한 기사를 두 개 이상의 카테고리로 분류할 수 있습니다.

전자신문 주요 뉴스

해당 언론사로 연결됩니다.