[AI리포터]

<이미지를 클릭하시면 크게 보실 수 있습니다>

[디지털투데이 AI리포터] 메타가 대규모 언어 모델 '라마 3.3 70B'를 출시했다.

9일 온라인 매체 기가진에 따르면 이 모델은 2023년 12월까지 수집된 15조개 이상의 토큰으로 학습됐다. 컨텍스트 길이는 12만8000개이며 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어 등 다양한 언어를 지원한다.

벤치마크 결과, 코딩 성능이나 수학 성능 등의 일부 분야에서는 구세대 상위 모델인 라마 3.1 405B를 넘는 스코어를 기록했다. 특히, 전반적인 성능을 평가하는 'MMLU'와 수학 관련 성능을 평가하는 'MATH'에서는 아마존 노바 프로를 능가하는 성과를 보였다.

메타는 라마 3.3 70B에 대해 "비용 효율적인 추론으로 일반 개발자 워크스테이션에서 로컬로 실행할 수 있는 반면 라마 3.1 405B와 유사한 성능을 실현한다"고 설명했다.

라마 3.3 70B는 메타 공식 사이트에서 사용할 수 있으며 허깅페이스에서도 배포된다. 상업용으로도 사용 가능하다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>