[IT동아 남시현 기자] 메타(前 페이스북)의 오픈소스 대형언어모델(LLM)인 라마(Llama)의 3세대 버전이 지난 18일(현지 시간) 출시됐다. 메타 라마는 2023년 2월에 처음으로 70억, 130억, 330억, 650억 개의 매개변수로 학습된 1세대 버전이 출시됐고, 23년 7월에 70억, 130억, 700억 개 매개변수로 구성된 라마 2세대 버전이 출시됐다. 3세대 버전은 라마 2와 마찬가지로 오픈소스로 제공되며, 상업적 이용도 가능하다.

메타 라마가 주목받는 이유는 누구나 무료로 이용할 수 있는 모델이라서다. 경쟁 기업인 구글의 제미나이(Gemini)도 무료 버전이 있지만, 고성능 버전은 월 19.99달러의 제미나이 어드벤스드를 써야 한다. 앤스로픽의 클로드 3 역시 소네트 모델만 무료고, 오퍼스 모델은 월 20달러 기본료에 토큰 입력 및 출력당 비용을 받는다. GPT 역시 GPT-4 등의 유료 서비스가 이미 절찬리에 쓰인다.

메타가 지난 4월 18일(현지 시간), 메타 라마 3 대형언어모델 8B, 70B 모델을 공개했다 / 출처=메타

<이미지를 클릭하시면 크게 보실 수 있습니다>

메타 역시 1세대 라마는 학계를 대상으로만 오픈소스로 공개했으나, 생태계 확보를 주요 전략으로 변경하면서 두 번째 버전부터 상업적 사용까지 허가됐다. 누구나 제약 없이 활용할 수 있으니 라마를 기반으로 알파카, 비쿠냐, 차이니즈 라마 같은 다양한 파생모델이 탄생했고, 마이크로소프트 애저 및 AWS, 허깅페이스 등의 플랫폼을 통해 전방위적으로 확산했다.

라마 3 8B, 70B 우선 출격, 추후 400B도 공개 예정

이번에 공개된 3세대 모델은 성능이 더 뛰어나다. 라마 3는 8B 및 70B 매개변수 두 모델이 먼저 출시된다. 라마 3는 라마 2의 2조 개 토큰보다 훨씬 많은 15조 개 토큰으로 학습됐고, 7배 더 크고 4배 더 많은 코드를 포함한다. 또한 학습 데이터의 5%가 30개 이상의 비영어 데이터로 구성되고, 대형언어모델의 성능과 관계된 콘텍스트 길이(Context length)도 두 배로 늘어났다. 콘텍스트 길이는 LLM이 한 번에 처리할 수 있는 토큰 수를 의미한다.

라마 3 8B 및 70B 모델과 타사 경쟁 모델과의 성능 비교 / 출처=메타

<이미지를 클릭하시면 크게 보실 수 있습니다>

메타가 공개한 라마 3 성능 분석 자료를 살펴보자. 메타는 라마 3의 모델 성능을 표준화하기 위해 조언 요청, 브레인스토밍, 분류, 폐쇄형 질문 답변, 코딩, 창의적 글쓰기, 추출, 특정 캐릭터 역할극, 공개 질문 답변, 추론, 재작성 및 요약 등 12가지 주요 사용 사례에 대한 1800개의 프롬프트를 생성했고, 이를 처리한 속도를 바탕으로 성능을 비교했다.

그 결과 라마 3 8B는 파이썬 코드 생성과 관련된 HumanEval 테스트에서 젬마 7B 및 미스트랄 7B와 비교해 두 배에 가까운 처리 성능을 보여주었고, 57개의 주제를 통해 보유 지식을 비교하는 MMLU 테스트에서는 68.4점을 획득했다. 동일 테스트에서 젬마 7B는 53.3, 미스트랄 7B는 58.4점을 획득했다.

라마 3 70B 모델은 구글 제미나이 프로 1.5 및 클로드 3에 비해 거의 모든 영역에서 비슷하거나 조금 더 나은 면을 보여주었고, MMLU에서 82점을 획득해 GPT-4의 MMLU 값인 86.4에 근접했다. 다만 수학 성능(MATH)과 대학원 수준의 추론(GPQA)에서는 타 모델보다 조금 성능이 낮았다. 하지만 라마 3는 무료 모델이므로 시장 경쟁력은 절대적으로 우위에 있다.

70B 모델의 경우 타사 모델들과 비교해 긍정적인 응답을 이끌어냈다 / 출처=메타

<이미지를 클릭하시면 크게 보실 수 있습니다>

또한 라마 3 70B 모델과 클로드 소네트, 미스트랄 미디엄, GPT-3.5, 라마2 네 개의 LLM을 놓고, 사람이 직접 선호하는 결과를 선택하게 한 결과도 제시했다. 클로드 3와 라마 3를 비교한 결과에서는 응답자의 52.9%는 라마를, 34.2%는 클로드의 답변을 선호했다. 12.9%는 무승부라고 응답했다. GPT-3.5와의 비교해서는 63.2%가 라마 3를 선택했고, 27.1%만이 GPT-3.5를 선택했다.

추후 공개될 메타 라마 3 400B+ 모델의 대략적인 성능 평가 / 출처=메타

<이미지를 클릭하시면 크게 보실 수 있습니다>

메타는 8B 및 70B 모델에 이어 4000억 개 매개변수로 구성된 400B 모델도 출시할 예정이다. 4월 15일 자로 발표된 400B 모델 성능은 MMLU 벤치마크에서 구글 제미나이 프로의 90점, 클로드 3 오퍼스의 88.2점, GPT-4의 86.8점에 이어 네 번째로 높다. 메타는 라마 3 400B 모델을 개발하고 있고, 훈련이 완료되면 자세한 연구 논문과 함께 공개한다고 밝혔다. 또한 앞으로 몇 달에 걸쳐 다중 모드, 다국어 기능, 콘텍스트 창 확장 등 새로운 기능들을 추가해 나갈 예정이다.

라마 3는 마이크로소프트 애저, 구글 클라우드, AWS는 물론 IBM 왓슨X, 허깅페이스, 캐글, 데이터브릭스, 엔비디아 NIM, 스노플레이크 등의 플랫폼에서 활용할 수 있다. 라마 3-70B는 공개 직후 LLM 평가를 위한 크라우드소싱 개방형 플랫폼 LMSYS 챗봇 아레나 리더보드에서 GPT-4 터보, 클로드 3 오퍼스 등에 이어 5위로 순위가 매겨졌고, 4월 24일 현재 6위에 안착했다.

AI 수혜 확산에 기여 VS 생태계 독점 노린 무료화

메타는 오래전부터 수익성보다 생태계를 먼저 확보하는 전략을 취해왔다. 인스타그램과 페이스북도 초반에는 광고수익보다는 사용자 확보에 열을 올렸고, 왓츠앱을 인수한 이유도 개인용 메신저 생태계를 흡수하기 위해서였다. 지난 23일에는 메타 VR 기기에 탑재되는 ‘메타 호라이즌 OS’를 에이수스, 레노버, 마이크로소프트 등 타사 VR 하드웨어 기업들에게 개방하기로 했다.

이런 ‘퍼주기’가 가능한 이유는 메타의 핵심 수입원인 광고 사업 덕분이다. 메타의 지난해 4분기 실적은 전년 동기대비 25% 증가한 401억 달러(약 54조 9000억 원)였으며, 순이익도 전년 대비 46억 5000만 달러(약 6조 원) 증가한 140억 달러(약 19조 1800억 원)였다. 영업 이익률도 41%나 늘었다. 온라인 광고 시장이 호조세에 접어들며 메타의 수익률은 매 분기 상승하고, 여기서 벌어들인 돈을 생태계 확보에 투입된다.

메타 라마 3 70B 모델이 사용자 평가 차트에서 현재 6위를 기록하고 있다. 라마 3가 무료 모델인 점을 고려하면 대단한 성과다 / 출처=LMSYS

<이미지를 클릭하시면 크게 보실 수 있습니다>

메타가 라마를 오픈소스로 공개한 건 긍정적으로만 볼 수 없다. 앤스로픽, 오픈AI, 구글 등의 경쟁자들도 유료화 없이는 모델 개발 및 운영을 하기 어려울 정도로 많은 비용이 필요하다. 즉 메타가 타사 유료 모델에 맞먹는 LLM을 무료로 제공하는 것 자체가 시장 생태계 확보라는 분명한 이유가 있어서다. 장기적으로 라마의 시장 영향력이 지배적인 수준에 이르면 언제든지 유료화가 될 수 있다. 또한 라마보다 성능이 부족하거나, 자금력이 부족한 기업은 사업을 포기해야 할 처지에 놓인다.

결과적으로 무료 모델의 성능이 높아지는 건 환영할 일이지만, 반대로 AI 생태계 자체가 편협하고 다양성을 잃을 수 있다. 시장에서도 이미 메타의 전략은 잘 알려져 있지만, 무료 모델이라는 유혹은 너무나 매력적이다. 앞으로 메타가 바라는 대로 시장이 흘러갈지, 아니면 또 다른 전개가 이어질지는 지켜봐야 할 일이다.

글 / IT동아 남시현 (sh@itdong.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)