[AI리포터]

오르카2(Orca 2) [사진: MS]

<이미지를 클릭하시면 크게 보실 수 있습니다>

[디지털투데이 AI리포터] 마이크로소프트(MS)가 경량화 대규모언어모델(LLM)인 오르카2(Orca 2)를 개발했다.

23일 대만 IT홈에 따르면 오르카2는 130억개의 매개변수를 갖춘 소형 모델이다. 테스트 결과 오르카2는 더 큰 모델의 추론 방법을 모방해 추론 능력을 10배 향상시킬 수 있는 것으로 드러났다.

GPT-4나 팜(PaLM)과 같은 LLM은 강력한 추론 기능을 갖추고 있다. 반면 소형 모델에는 이러한 기능이 부족한데, MS는 LLM의 지식을 사용해 소형 모델의 기능을 향상시킬 목표다.

올해 중반 출시된 오르카 1세대에 이은 오르카2는 매개변수가 100억개 미만인 소형 언어 모델 탐색에 있어 마이크로소프트의 최신 성과를 드러낸다는 설명이다.

오르카는 1, 2세대 모두 대량의 합성 데이터가 포함된 라마2에서 맞춤 학습됐다. 현재 마이크로소프트는 허깅페이스에 오르카2를 오픈 소스로 제공하고 있다.

벤치마크 테스트 결과 오르카2는 언어 이해력, 상식 추론, 수학적 문제 해결 등 부문에서 이전 세대 및 동일 크기 모델을 훨씬 능가하는 것으로 드러났다. 심지어 복잡한 추론을 처리하는 테스트에서는 대규모 언어 모델과 동등한 성능을 보였다고 한다.

MS 연구진은 "오르카2는 작은 모델도 좋은 추론 기능을 갖출 수 있고, 제어 가능하고 전문화 가능하며 더 안전함을 드러낸다"고 강조했다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>