주철휘 에이프리카 인공지능 연구소장이 지난 11일 'AI Summit Seoul 2024'에서 발표하는 모습.

<이미지를 클릭하시면 크게 보실 수 있습니다>

에이프리카가 폐쇄망 환경에서 고도화된 검색증강생성(RAG)과 거대언어모델 운영관리(LLMOps) 구축 방안을 제시했다.

주철휘 에이프리카 인공지능 연구소장은 지난 11일 'AI Summit Seoul 2024'에서 '기업 폐쇄망에서의 프라이빗 LLM 기반 Agentic RAG 구축'을 주제로 발표했다.

주 소장은 고객 데이터로 파인튜닝된 생성형 프라이빗 거대언어모델(LLM)이 벡터 데이터베이스(DB)와 통합해 AI 모델의 정확도와 효율성을 향상시키는 방법론을 소개했다.

폐쇄망 환경에서 LLM 기반 기술로 제한된 인프라에서도 고성능 AI 구축과 운영이 가능한 점을 강조했다.

발표에서는 에이전트형(Agentic) RAG 기술로 기존 RAG 기능을 고도화하는 방안도 강조됐다.

이는 단순히 검색 결과를 제공하는 것을 넘어 탐색적 검색, 동적 프롬프트 생성, 외부 툴 통합 등을 활용한다.

특히, 복합 질의 처리와 외부 툴을 통한 동적 데이터 접속 기능은 심층적인 사고를 요하는 문제를 해결한다.

주 소장은 “폐쇄망 환경에서도 고객의 다양한 요구에 맞는 최적화된 정보 처리 기술을 개발하고, 최신 AI 기술을 빠르게 반영해 최고 수준의 성능을 안정적으로 제공하기 위해 노력하겠다”고 말했다.

박두호 기자 walnut_park@etnews.com

[Copyright © 전자신문. 무단전재-재배포금지]