<이미지를 클릭하시면 크게 보실 수 있습니다> |
망고부스트는 인공지능(AI) 추론 성능과 효율성을 높이는 시스템 최적화 소프트웨어 '망고 거대언어모델(LLM) 부스트'를 출시했다고 16일 밝혔다.
사용자는 아마존웹서비스(AWS) 마켓플레이스에서 소프트웨어를 내려받아 이용할 수 있다.
망고부스트는 망고 LLM 부스트를 적용한 뒤 LLM을 구동할 경우 최대 12.6배의 상대적 성능 향상과 92%의 비용 절감을 달성할 수 있다고 소개했다.
이를 위해 △효과적인 시스템 스케줄 조정 △커널 최적화 △독자적인 데이터 프리페칭(Prefetching) 기술 △최신 그래픽처리장치(GPU) 기반의 모델 양자화 기술 등을 사용했다고 설명했다.
망고부스트는 해당 솔루션을 향후 주요 클라우드 서비스 공급자(CSP)로 확대 출시할 예정이며, 자체 서버(On-Premise) 배포도 지원할 계획이다.
망고 LLM 부스트를 적용하면 성능을 최대 12.6배 높일 수 있는 것으로 나타났다. (출처:망고부스트) |
<이미지를 클릭하시면 크게 보실 수 있습니다> |
망고 LLM 부스트를 적용하면 비용을 최대 92% 줄일 수 있는 것으로 나타났다. (출처:망고부스트) |
<이미지를 클릭하시면 크게 보실 수 있습니다> |
박진형 기자 jin@etnews.com
이 기사의 카테고리는 언론사의 분류를 따릅니다.
기사가 속한 카테고리는 언론사가 분류합니다.
언론사는 한 기사를 두 개 이상의 카테고리로 분류할 수 있습니다.
언론사는 한 기사를 두 개 이상의 카테고리로 분류할 수 있습니다.