많은 기업이 LLM(large language models)을 기반으로 하는 생성형 AI 애플리케이션을 구축하고 있지만, 프로토타입에서 프로덕션으로 성공적으로 전환하는 비율은 극소수에 불과하다. 가트너의 2023년 10월 설문조사에서 기업 45%는 현재 생성형 AI 파일럿을 진행 중이라고 답했으며 완전히 배포했다고 답한 곳은 10%에 불과했다. 엔터프라이즈, 제품 기업, 심지어 LLM 기반 애플리케이션에 초점을 둔 스타트업에 이르기까지 AI 성공 사례가 드문 것은 마찬가지다. 일부에서는 실패율이 80%에 이르는 것으로 추산한다.

ⓒ Getty Images Bank

<이미지를 클릭하시면 크게 보실 수 있습니다>

LLM의 매력적인 가능성과 현실 사이에 이렇게 간극이 존재하는 이유는 무엇일까? 기업이 LLM을 프로덕션에 투입할 때 직면하는 가장 일반적이면서 복잡한 5가지 과제와 각각에 대한 대처 방법을 알아보자.

개인정보 보호·보안·규정 준수 우려

기업 환경에 LLM을 배포할 때는 데이터 보안, 개인정보 보호, 규정 준수 측면에서 중대한 과제를 해결해야 한다. 기업은 학습 과정에서 민감한 데이터가 유출될 가능성에 대한 우려로 프로덕션 소프트웨어 애플리케이션에 LLM을 사용하기를 주저하는 경우가 많다. 여기에 규정 준수 상태를 유지하고 고객 데이터의 책임감 있는 처리를 보장해야 한다는 엄격한 요구항까지 더해져 기업이 짊어지는 위험은 더욱 커진다. 데이터를 잘못 취급할 경우 막대한 벌금과 신뢰 손실로 이어질 수 있는 만큼 기업 입장에서는 잃을 것이 많다. 따라서 기업 환경에서 AI의 잠재력을 현실화하기 위해서는 LLM의 역량을 활용하는 동시에 데이터를 보호하는 솔루션을 찾아야 하는 어려운 과제를 해결해야 한다.

이런 우려를 해소하려면 기업은 AI 학습 및 추론 시스템의 아키텍처와 인프라에 대해 철저한 실사를 수행해야 한다. 기업은 워크플로우와 데이터플로우를 면밀히 조사함으로써 제품 수명 주기 전반에 걸쳐 데이터와 AI 모델에 대한 바람직하지 않은 액세스에 따르는 위험을 더 잘 파악할 수 있다. 이 선제적 접근법을 사용하면 모든 잠재적 취약점을 파악, 수정해서 첨단 AI 기술의 힘을 활용하면서 데이터를 보호할 수 있다.

AI 환각

기업 내에 LLM을 배포하기 위해 넘어야 할 또 다른 큰 장애물은 AI 환각 위험이다. 이 위험은 특히 데이터 품질과 관련된 기존 문제와 결합될 때 더 심화된다. AI 환각과 이로 인한 부정적 영향에 대한 언론 보도가 이어지면서 비즈니스 의사결정권자 사이에서 문제에 대한 인식과 우려가 함께 커졌다. 특히 환각을 탐지하고 완화하기 위한 명확한 해결책이 없는 상황에서 이는 LLM 기반 애플리케이션을 프로덕션용으로 승인하는 데 있어 큰 장애물이 되는 경우가 많다.

이 과제를 극복하기 위한 실용적인 접근 방법은 당면한 문제에 가장 적합한 툴을 선택하는 것이다. GPT 모델이 그동안 많은 관심을 받았고 솔루션으로 선택되는 경우도 많지만 모든 기업 애플리케이션에서 항상 최선의 선택은 아니다. 높은 정확도로 문서를 파악하고 분석하는 데 뛰어는 BERT 모델과 같은 대안을 고려해야 한다. 이런 모델은 GPT보다 더 저렴하고 빠르며 잘못된 출력을 생성하는 경우도 더 적다.

또한 BERT의 강력한 임베딩 기능과 GPT의 생성 역량을 결합한 검색 증강 생성(retrieval-augmented generation, RAG) 기법을 도입하면 최종 제품의 품질을 대폭 강화할 수 있다. 이 전략을 통해 기업은 다양한 AI 기술의 강점을 적절히 활용해서 성능을 최적화하는 동시에 위험을 완화할 수 있다.

LLM 품질 평가

GPT와 같은 LLM을 기업 환경에 배포하는 경우 출력이 갖는 주관적인 속성 탓에 품질 평가에 어려움이 발생할 수밖에 없다. 결과가 맞거나 틀린 것으로 구분되는 전통적인 분류 작업과 달리 GPT 모델의 출력은 해석하기에 따라 달라질 수 있으므로 품질에 대한 판단이 복잡해진다. 이 모호성은 소프트웨어 애플리케이션 배포에 사용되는 기존 CI/CD 프로세스에 LLM을 통합하는 데 있어 큰 난관이 된다. 일반적으로 CI/CD 프로세스는 제품이 품질 기준을 충족하는 지 확인하기 위해 결정론적 테스트에 의존하기 때문이다.

이 문제에 효과적으로 대처하려면 기업은 LLM의 모호성을 수용하도록 릴리스 프로세스를 재고해야 한다. LLM 애플리케이션 개발 프로세스에 새로운 기술과 접근 방식을 통합하는 것은 필수적이다. 한 가지 전략은 LLM 출력의 품질을 평가하기 위한 다양한 방법을 채택하는 것이다. 예를 들어 GPT-4와 같은 정립된 LLM을 벤치마킹 툴로 사용하면 다른 모델의 결과를 검증하기 위한 비교 척도를 얻을 수 있다. A/B 테스트, 카나리아 릴리스와 같은 민첩한 배포 방법론을 강력히 권장한다. 이러한 기법은 점진적 배포가 가능하므로 릴리스 프로세스의 초기에 잠재적인 문제를 파악해서 LLM의 본질적인 과제를 극복하고 품질 기준을 유지할 수 있다.

운영화 과제

기업 환경에 LLM을 배포하는 데는 복잡한 AI 및 데이터 관리 고려 사항과 난해한 인프라, 특히 GPU를 사용하는 인프라의 운영화가 포함된다. GPU 리소스를 효율적으로 프로비저닝하고 사용을 모니터링하는 것은 데브옵스팀의 지속적인 과제다. 이 복잡한 환경에서는 기술과 베스트 프랙티스가 빠르게 발전함에 따라 지속적인 감독과 적응이 필요하다.

엔터프라이즈 소프트웨어 기업 내의 데브옵스팀은 앞서 나가기 위해서는 GPU 리소스 관리의 최신 동향을 지속적으로 살펴보는 것이 중요하다. 이 분야는 아직 성숙과는 거리가 멀지만 관련된 위험을 인식하고 충분한 정보에 근거한 배포 전략을 수립해야 한다. 또한 기업은 GPU 전용 솔루션의 대안도 고려해야 한다. 다른 컴퓨팅 리소스 또는 하이브리드 아키텍처를 통해 프로덕션 환경의 운영 측면을 간소화하고 제한적인 GPU 가용성에 따른 잠재적 병목 현상을 완화할 수도 있기 때문이다. 이 같은 전략적 다각화는 다양한 기업 애플리케이션 전반에서 더 원활한 배포와 더 강력한 성능을 보장한다.

비용 효율성

LLM을 사용하는 애플리케이션과 같은 AI 기반 애플리케이션을 프로덕션에 배포할 때 성공 여부는 궁극적으로 투자 수익에 달려 있다. 기술을 주창한다면 LLM이 기업의 매출과 수익에 모두 긍정적인 영향을 미칠 수 있음을 입증해야 하는데, 이 계산에서 과소평가되는 경우가 많은 중요한 요소는 총소유비용이다. 총소유비용은 모델 학습, 애플리케이션 개발, 학습 및 추론 단계 중에 발생하는 컴퓨팅 비용, 지속적인 관리 비용, AI 애플리케이션 수명 주기 관리를 위해 필요한 전문 인력을 포함한 다양한 요소를 포괄한다.

많은 기술 리더에게 과제는 이런 구성요소를 완전히 이해하고 통제하는 데 있다. 위와 같은 요소에 대한 종합적인 이해가 없으면 실험 단계의 AI 이니셔티브에서 운영 단계로의 전환을 정당화하는 데 어려움이 발생할 수 있다. 따라서 의사 결정자는 전략적 계획에 있어 유연함과 더 비용 효율적인 AI 솔루션에 대해 열린 자세를 유지하는 것이 좋다. 이를 위해서는 컴퓨팅 비용을 절감할 수 있는 혁신을 탐색하고 프로덕션 환경에서 관리가 용이한 시스템을 추구해야 한다. 이러한 측면에 우선순위를 두면 기업은 재정 지출을 최적화하고 AI 배포의 확장성과 지속가능성을 강화할 수 있다.

맺음말

LLM을 프로덕션에 배포하는 것은 미지의 요소가 많은 어려운 일이다. 민감한 데이터 보호부터 비용 측면의 고려 사항, 결과를 재현할 수 없는 상황에 이르기까지 복잡한 일이 생길 수 있다. 기업은 워크플로우와 데이터 플로우를 면밀히 검토하고 당면한 작업에 잘 맞는 유형의 모델을 선택하고 소프트웨어 릴리스 프로세스를 조정하고 GPU의 대안을 고려하고 철저한 TCO 분석을 수행해야 한다.

그러나 모든 문제는 해결이 가능하다는 것을 기억하라. 사전에 잘 준비하고, 기술과 프로세스를 배우고 조정하려는 의지가 있는 기업은 LLM 기반 애플리케이션을 성공적으로 배포하고 혜택을 누리는 극소수 대열에 합류할 수 있다.

*Subutai Ahmad는 Numenta의 CEO다.
editor@itworld.co.kr

Subutai Ahmad editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지