기업이 생성형 AI 도구와 플랫폼을 도입해 효율성과 생산성을 높일 방법을 모색하면서 AI 기술의 높은 비용과 복잡성에 대한 고민도 커지고 있다.

일반적으로 생성형 AI와 AI의 기반은 언어 모델, 오픈AI의 챗GPT와 구글의 바드와 같은 챗봇을 구동하는 알고리즘 및 신경망이다. 오늘날 가장 인기 있고 널리 사용되는 모델은 대형 언어 모델(LLM)로 알려져 있다.

ⓒ Getty Images Bank

<이미지를 클릭하시면 크게 보실 수 있습니다>

LLM은 방대한 규모가 특징이다. 이 기술은 대규모의 다양한 정보에 연결되어 있으며, 모델에는 수십억, 때로는 수조 개의 매개변수(또는 변수)가 포함되어 있어 도메인 작업이나 수직 산업에 사용하기에는 부정확하고 특정성이 없다.

이 때문에 소규모 언어 모델(SLM)이 주목을 받고 있으며, 일각에서는 이미 주류 엔터프라이즈 기술이 되었다고 평가하기도 한다. SLM은 단순한 작업에 적합하도록 설계됐으며, 자원이 제한적인 기업이 더 쉽게 접근하고 사용할 수 있다. 특히, 완전히 자체 관리 가능한 환경에 존재하므로 기본적으로 더 안전하며, 특정 도메인 및 데이터 보안에 맞게 미세 조정할 수 있고, LLM보다 실행 비용이 저렴하다.

IDC의 AI 리서치 그룹 부사장 리투 조티는 SLM은 클라우드가 아닌 디바이스에서 로컬로 실행할 수 있는 애플리케이션을 구축하려는 기업과 “작업에 광범위한 추론이 필요하지 않거나 빠른 응답이 필요한 경우에 적합하다”고 설명한다. 반대로 고급 추론, 데이터 분석 및 컨텍스트에 대한 더 나은 이해와 관련된 복잡한 작업의 오케스트레이션이 필요한 애플리케이션에는 LLM이 더 적합하다.

SLM은 오픈소스 AI 프레임워크를 사용해 새로 구축할 수 있으므로 기업은 누구의 허가를 받을 필요도 없이 어떤 용도로든 고도로 맞춤화된 AI 도구를 만들 수 있고, 시스템 작동 방식을 연구하고 구성 요소를 검사할 수 있으며, 출력 변경 등 목적에 맞게 시스템을 수정할 수 있다.

맞춤형 구현이 자유로운 오픈소스

AI 프로토타입 개발업체 뉴투플 테크놀로지스(Newtuple Technologies)의 CEO 디라즈 남비아르는 SLM이 미세 조정이나 맞춤형 학습이 가능하고 “좁은 범위의 작업에 대해 때로는 훨씬 더 큰 LLM과 비교할 만한 뛰어난 성능을 보여주기 때문에 채택이 증가하고 있다”고 말했다.

예를 들어, OCR 유형 작업이나 텍스트 투 SQL 작업에서 “뛰어난 성능”을 발휘하는 SLM이 있다. 남비아르는 “오픈소스 중 일부는 LLM과 비슷한 성능을 보여준다”고 덧붙였다.

IDC의 조티도 실제로 오늘날 가장 인기 있는 SLM은 오픈소스라고 말한다. 주요 오픈소스 SLM은 다음과 같다.

• 메타 라마3
• 마이크로소프트 파이-3
• 구글 젬마
• 미트랄 AI Mixtral8x7B
• 애플 OpenELM

가장 인기 있는 상용 SLM은 다음과 같다:

• 딥 시크 AI(Deep Seek AI) 코더(Coder_
• 마이크로소프트 파이-2
• 마이크로소프트 오르카-2

조티는 “이런 모델은 일반적으로 특정 조직 내에서 사용되거나 상용 서비스의 일부로 제공되며, 배포 및 사용에 대한 제어를 유지하면서 고급 기능을 제공한다"고 설명했다.

AI 모델은 물리적 또는 가상 환경에 영향을 미칠 수 있는 예측, 콘텐츠, 권장 사항 또는 결정과 같이 생성할 출력을 입력으로부터 추론한다. AI 시스템마다 배포 후 자율성과 적응력 수준이 다르다.

간단히 말해, SLM은 경량화된 생성형 AI 모델이다. 경영 컨설팅 및 소프트웨어 개발 회사인 버전 1(Version 1)의 AI 연구소 수석 기술 연구원 로즈마리 토마스에 따르면, 여기서 '작다'는 것은 모델의 신경망 크기, 매개변수의 수, 학습되는 데이터의 양을 뜻한다. 토마스는 일부 SLM 구현에는 상당한 컴퓨팅 및 메모리 자원이 필요하지만, 단일 GPU에서 실행되고 50억 개 정도의 매개 변수를 가진 SLM도 있다며, 구글 제미나이 나노, 마이크로소프트의 오르카-2-7b와 오르카-2-13b, 메타의 라마-2-13b 등이 여기에 해당한다고 언급했다.

더 효율적인 모델에 대한 필요성과 학습 및 설정 속도가 빨라짐에 따라 SLM의 채택이 증가하고 있다. 토마스는 “SLM은 컴퓨팅 자원, 교육 시간, 특정 애플리케이션 요구 사항과 같은 실질적인 고려 사항으로 인해 인기를 얻고 있다"라며, “지난 몇 년 동안 SLM은 특히 지속 가능성과 효율성이 중요한 시나리오에서 점점 더 관련성이 높아졌다”고 설명했다.

LLM과 비교할 때 가장 큰 차이점은 규모에 있다. 대규모 모델은 다양한 소스의 방대한 데이터로 학습되어 광범위한 언어 패턴을 포착할 수 있는 반면, SLM은 더 작고 종종 독점적인 소규모 데이터 세트로 학습된다. 따라서 학습 및 추론 시간이 더 빨라진다.

LLM은 또한 더 많은 연산 자원과 더 긴 훈련 시간이 필요하다. 따라서 자원이 제한적이거나 빠른 구현이 필요한 애플리케이션에는 SLM이 더 실용적인 선택이 될 수 있다. 토마스에 따르면, LLM은 콘텐츠 생성, 언어 번역, 복잡한 쿼리 이해와 같은 작업에서 빛을 발하지만, 소규모 모델도 올바르게 미세 조정하면 비슷한 성능을 얻을 수 있다. 토마스는 “SLM은 크기가 작고 추론 시간이 빠르기 때문에 도메인별 작업에 특히 효율적이다"라고 덧붙였다.

자체 구축 또는 서비스 구매의 선택

오픈소스 프레임워크를 사용해 자체 AI 모델을 처음부터 구축하려는 기업은 기존 모델을 미세 조정하는 데 막대한 비용과 시간이 소요된다는 점을 이해해야 한다.

남비아르는 “자체 AI 모델을 구축하는 방법에는 처음부터 새로 구축하는 방법과 기존 오픈소스 모델을 미세 조정하는 방법 등 여러 가지가 있다”며, “전자는 GPU, TPU의 정교한 설정, 많은 데이터에 대한 액세스, 엄청난 양의 전문 지식이 필요하다. 이를 위해 필요한 소프트웨어와 하드웨어 스택은 구할 수 있지만, 가장 큰 걸림돌은 나머지 구성 요소가 될 것”이라고 지적했다.

또 “도메인별 사용례의 경우 처음부터 새로 구축하는 것보다 기존 SLM이나 LLM을 '미세 조정'하는 것이 가장 좋다. 사용 가능한 오픈소스 SLM이 많이 있으며, 그 중 상당수는 매우 관대한 라이선스를 가지고 있다. 이것이 현재로서는 자체 모델을 구축하는 방법이다. 이는 모든 트랜스포머 모델에 광범위하게 적용된다”라고 설명했다.

레드햇의 수석 부사장 겸 최고 수익 책임자인 앤드류 브라운은 SLM 전략이 전부 아니면 전무 전략이 되어서는 안 된다고 말한다. 우선, 하나의 범용 AI 모델을 학습하려면 많은 자원이 필요하다. 브라운은 “가장 큰 모델 중 일부는 약 1만 개의 GPU가 필요할 수 있으며, 이런 모델은 이미 구식일 수 있다. 실제로 연구에 따르면, 2026년에는 AI 학습 비용이 미국 국내총생산인 22조 달러에 달할 것으로 예상된다”라며, “평균적인 CIO는 미국 GDP 수준의 IT 예산을 가지고 있지 않으며, 수천 개의 GPU 여분도 없다. 그렇다면 해답은 무엇일까? 오픈소스 혁신으로 구동되는 전문화된 소규모 AI 모델이다”라고 강조했다.

비즈니스 자동화를 위한 AI를 구축하는 남비아르에 따르면, 오픈AI는 토큰, 구글은 문자, 코히어는 '세대', '분류', '요약 단위'를 혼합해 사용하는 등 AI 서비스 업체 간 비용을 비교할 때 겪는 큰 어려움 중 하나는 서로 다른 용어를 사용한다는 점이다. 남비아르는 다양한 가격을 평가하기 위해 '1,000토큰당 가격'을 사용하기로 결정했다.

비즈니스 목적에 맞게 LLM을 미세 조정한다는 것은 기업이 인프라를 호스팅하기 위해 AI 서비스 업체에 의존한다는 것을 의미한다. 남비아르는 기업이 인프라와 인력을 모두 고려해 2~4개월의 프로젝트를 계획해야 하며, 비용은 일반적으로 5만 달러 이상부터 시작한다고 말했다.

기업이 오픈소스 모델을 호스팅하는 경우, GPU나 TPU를 갖춘 인프라를 구축해야 할 뿐만 아니라 미세 조정과 전문 인력에도 노력을 기울여야 하기 때문에 SLM을 미세 조정하는 데는 일반적으로 더 많은 비용이 소요된다. 남비아르는 “LLM보다 더 비싸다고 가정하기 바란다”고 덧붙였다.

깨끗한 데이터로 신뢰할 수 있는 결과 제공

자체적으로 구축하든 클라우드 기반 SLM을 사용하든 데이터 품질은 정확성 측면에서 매우 중요하다. LLM과 마찬가지로 소규모 모델도 여전히 환각의 희생양이 될 수 있으며, 이는 종종 학습 데이터나 알고리즘의 결함으로 인해 AI 모델이 잘못되거나 오해의 소지가 있는 정보를 생성할 때 발생한다. 그러나 이런 모델은 보다 쉽게 미세 조정할 수 있으며, 기업의 독점 데이터를 기반으로 할 가능성이 더 커진다.

LLM과 마찬가지로 검색 증강 생성(RAG) 기술은 모델을 맞춤 조정해 응답의 정확도를 높여 환각의 가능성을 줄일 수 있다.

동시에 SLM은 데이터 세트와 크기가 작기 때문에 LLM에 비해 광범위한 언어 패턴을 포착할 가능성이 낮으며, 이로 인해 효율성이 떨어질 수 있다. 또한 SLM은 특정 작업에 맞게 미세 조정할 수 있지만, LLM은 방대한 데이터를 가져올 수 있기 때문에 더 복잡하고 잘 정의되지 않은 쿼리에서 탁월한 성능을 발휘하는 경향이 있다. 토마스는 “요컨대, SLM은 특정 도메인 및 작업에 대해 보다 효율적이고 비용 효율적인 대안을 제공하며, 특히 잠재력을 최대한 활용하도록 미세 조정할 경우 더욱 그렇다"라고 강조했다.

Digital.ai의 북미 지역 현장 CTO인 아담 켄토시는 SLM을 통해 데이터를 정리하고 데이터 저장소를 미세 조정해 성능과 지속 가능성을 개선하고 비즈니스 위험과 편견을 낮추는 것이 매우 중요하다고 강조했다. 켄토시에 따르면, 많은 AI 이니셔티브는 데이터 품질 문제를 해결하면 피할 수 있는 '환멸의 나락'으로 빠져들고 있다.

가트너는 2028년까지 LLM을 처음부터 구축한 기업의 50% 이상이 구축 비용, 복잡성, 기술 부채로 인해 노력을 포기할 것으로 전망했다. 켄토시는 “기존 고객들이 계속 직면하고 있는 큰 문제 중 하나는 소프트웨어 개발의 공통 영역에서도 다양한 데이터 소스이다. 예를 들어, 대부분 기업은 두 개 이상의 애자일 계획 솔루션을 보유하고 있다. 또한 소프트웨어 릴리즈와 관련하여 일관성이 거의 없다. 따라서 데이터 전처리가 매우 중요한데, 많은 기업이 그동안 잘하지 못했던 부분이다”라고 설명했다.

남비아르는 모델을 미세 조정하는 데 적합한 잘 선별된 도메인별 데이터를 확보하는 것은 결코 쉬운 일이 아니라며, “트랜스포머 모델에는 조달하기 어려운 특정 종류의 즉각적인 응답 쌍 데이터가 필요하다”고 지적했다.

또한 기업이 자체 SLM을 미세 조정하기로 결정한 후에는 최신 모델에서 제공되는 벤치마크를 지속적으로 따라잡기 위해 투자해야 한다. 남비아르는 “새로운 SLM 모델이 릴리즈될 때마다 추론 기능의 표준이 높아지기 때문에 자체적으로 미세 조정된 SLM을 만들 경우 이 모델의 추론 기능도 높여야 하며, 그렇지 않으면 더 이상 모델의 사용례가 없다”고 말했다.

올해 초 메타가 자사의 라마 모델을 오픈소스로 공개하는 등 오픈소스 AI 모델은 이제 드문 일이 아니다. 브라운은 “이런 오픈소스 모델은 업체 종속 방지, 광범위한 파트너 생태계, 성능 대비 경제성 등 많은 이점을 제공하기 때문에 기업에 좋은 소식이다. 하지만 안타깝게도 이 모델을 사용하는 데 필요한 데이터 과학자가 없다면 이 모든 것이 아무 소용이 없다”고 지적했다.

브라운은 데이터 과학자를 현재 유니콘에 비유하며, 희귀하고 종종 신화 속 생물에 버금가는 보수를 요구하는 존재라고 설명했다. 대부분 기업은 자격을 갖춘 인재가 부족하거나 고용 비용 때문에 기껏해야 소수의 데이터 과학자만 고용할 수 있다. 브라운은 이로 인해 “모델을 효과적으로 교육하고 조정하는 데 병목 현상이 발생한다”라고 덧붙였다.

AI는 하이브리드 워크로드

브라운은 2000년대 초반에 유닉스에서 리눅스로 전환한 것을 시작으로 CIO들은 오랫동안 모놀리틱 기술에서 벗어나고 있다고 지적했다. 또 AI도 비슷한 전환점에 있다고 생각하며, 하이브리드 클라우드와 유사한 하이브리드 전략이 AI 모델을 배포하는 데 가장 유리하다고 주장한다. 현재는 다소 무정형적인 LLM이 주목받고 있지만, 미래의 IT 환경은 애플리케이션 50%와 SLM 50%가 될 것이다.

브라운은 “데이터는 온프레미스, 클라우드, 엣지 등 어디에나 존재한다. 따라서 데이터는 본질적으로 하이브리드이며, 데이터가 있는 곳에서 AI가 실행되어야 하므로 AI도 하이브리드여야 한다"라며, “실제로 고객과 파트너에게 AI는 궁극적인 하이브리드 워크로드라고 말하곤 한다”고 덧붙였다.

또 “기본적으로 CIO는 애플리케이션 수만큼 많은 AI 모델을 보유하게 된다. 즉, 학습 속도가 빨라져야 하고, 튜닝 속도가 빨라져야 하며, 비용도 절감해야 한다. 이 과제의 핵심은 오픈소스에 있다"라며, “오픈소스가 컴퓨팅을 민주화했듯이, AI에서도 그렇게 할 것이며 이미 그렇게 하고 있다”고 강조했다.
editor@itworld.co.kr

Lucas Mearian editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지