[박찬 기자]

(사진=셔터스톡)

<이미지를 클릭하시면 크게 보실 수 있습니다>

엔비디아가 대형언어모델(LLM) 학습용 합성 데이터를 생성하도록 설계한 모델 '네모트론-4 340B(Nemotron-4 340B)'를 공개했다. 이를 통해 비용이 많이 드는 실제 데이터셋 없이도 도메인별 LLM을 구축할 수 있게 됐다는 설명이다.

벤처비트는 14일(현지시간) 엔비디아가 고품질 합성 데이터를 생성하는 3400억 매개변수의 모델 네모트론-4 340B 베이스(Base) 네모트론-4 340B 인스트럭트(Instruct) 네모트론-4 340B 리워드(Reward) 등을 오픈 소스로 출시했다고 보도했다.

이에 따르면 이 모델은 챗봇 아레나에서 '준-챗봇(june-chatbot)'이라는 이름으로 선공개, 뛰어난 성능을 AI 커뮤니티에서 상당한 화제를 불러 일으켰다. 공개 직후에도 호평이 쏟아지고 있다.

네모트론-4 340B는 9조 토큰을 사용해 사전 훈련했으며, 4000토큰의 컨텍스트 창을 제공하고 50개 이상의 언어와 40개 프로그래밍 언어를 지원한다. 허깅페이스에서 액세스할 수 있으며, 특히 상업적 용도로 사용 가능하다. 또 표준 API를 갖춘 엔비디아 NIM 마이크로서비스로 제공될 예정이다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

네모트론-4 340B 베이스 모델은 맞춤형 합성 데이터를 생성하기 위한 기본 프레임워크 역할을 한다. 독점 데이터와 다양한 데이터셋를 사용해 특정 사용 사례에 맞게 미세 조정할 수 있다. 엔비디아의 네모 프레임워크를 통해 감독 미세조정 및 로라(LoRA)와 같은 매개변수 효율적인 미세조정을 지원한다.

네모트론-4 340B 인스트럭트 모델은 실제 데이터를 모방하는 합성 데이터를 생성, 데이터 품질을 개선하고 다양한 도메인에서 맞춤형 LLM의 성능을 향상한다. 네모트론-4 340B 베이스 모델을 미세조정한 버전으로, 사람의 채팅 선호도와 수학적 추론, 코딩 및 지시 따르기 기능이 향상되고 다양한 사용 사례에 대한 고품질 합성 데이터 생성에 최적화돼 있다.

네모트론-4 340B 리워드 모델은 생성 데이터의 품질을 필터링하고 향상하는 역할을 한다. 유용성, 정확성, 일관성, 복잡성 및 자세한 정도에 따라 응답을 평가해 생성 데이터가 고품질 표준을 충족하는지 확인한다. 이 모델은 헬프스티어2(HelpSteer2) 데이터셋 출시로 허깅페이스의 리워드벤치 리더보드에서 최고 자리에 오르기도 했다.

네모트론-4 340B는 미스트랄의 '믹스트랄-8x22B', 앤트로픽의 '클로드 3 소네트', 메타의 '라마3-70B', 알리바바의 '쿠안-2' 등을 포함한 오픈 소스 경쟁자를 능가하며, 심지어 오픈AI의 'GPT-4' 성능과도 견줄 만한 것으로 나타났다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

엔비디아는 다양한 산업 분야에 영향을 미쳐, 정확하고 효과적인 언어 모델의 개발을 가능하게 할 것으로 예상했다.

예를 들어 의료 분야에서 고품질 합성 데이터 생성 능력은 신약 발견, 맞춤형 의학, 의료 영상 분야에서 획기적인 발전을 가져올 수 있다. 금융 분야에서는 합성 데이터로 훈련받은 맞춤형 LLM이 사기 탐지너 위험 평가, 고객 서비스 등에 혁신을 일으킬 수 있다고 전했다. 제조 및 소매 산업은 도메인별 LLM을 통해 예측 유지 관리, 공급망 최적화 및 개인화된 고객 경험을 통해 큰 이점을 얻을 수 있다.

고품질의 훈련 데이터는 LLM 성능을 높이는 데 중요하지만, 상당한 비용과 접근성 문제가 따른다. 네모트론-4 340B는 허용 가능한 오픈 모델 라이선스를 통해 합성 데이터 생성이 가능, 이런 문제를 해결한다는 설명이다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>