[박찬 기자]

<이미지를 클릭하시면 크게 보실 수 있습니다>

생성 인공지능(AI) 시스템을 사용하는 기업의 요구 사항 중 내부 검색 수요가 빠르게 늘어나는 가운데, 엔비디아가 기업용 검색 서비스를 출시했다. 데이터 저장 용량을 크게 줄이면서 정확한 다국어 검객을 지원한다는 내용이다.

엔비디아는 17일(현지시간) 스타트업 데이터스택스(DataStax)와 협력, 새로운 '네모 리트리버(NeMo Retriever)' 마이크로서비스를 출시했다고 밝혔다.

이는 데이터스택스의 AI 플랫폼을 활용, 기존 방식 대비 데이터 저장 용량을 35배 절감할 수 있다는 설명이다. 데이터 추출(Data extraction)과 필터링, 청킹(Chunking) 등의 기술로 멀티모달 데이터를 걸러내 용량을 크게 줄이는 구조다.

여기에 검색 증강 생성(RAG) 등 엔비디아 검색 기술을 통해 기업 사용자의 쿼리에 효과적으로 답한다.

이를 통해 현재 기업 데이터 중 상당 부분을 차지하는 비정형 데이터 저장 비용을 줄이는 것은 물론, 향후에는 이를 기업 검색에 활용할 수 있는 기반을 만든다는 설명이다.

카리 브리스키 엔비디아 AI 제품 관리 부사장은 벤처비트와의 인터뷰를 통해 "현재 기업의 비정형 데이터는 11제타바이트에 이르며, 이는 약 80만권의 의회도서관 사본에 해당한다"라며 "스토리지 비용을 획기적으로 줄이는 동시에 데이터를 효과적으로 검색하고 활용할 수 있도록 돕는 이 기술은 게임 체인저가 될 것"이라고 말했다.

또 이 기술을 고도화, 복잡한 문서 형식을 처리할 수 있도록 확장할 계획이다. 그는 "멀티모달 PDF 처리를 통해 표, 그래프, 차트, 이미지 등 여러 요소가 서로 어떻게 연결되는지 이해하는 작업에서 발전을 보이고 있다"라고 말했다.

이 솔루션을 도입한 위키미디어 재단은 1000만개의 위키백과 항목 처리 시간을 기존 30일에서 3일 미만으로 단축했다고 전했다. 또 매일 2만4000명의 글로벌 자원봉사자들이 편집하는 수십만개 항목에 대한 실시간 업데이트도 지원했다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

쳇 카푸르 데이터스택스 CEO는 "대형언어모델(LLM)에만 모든 것을 의존할 수는 없다. 기업 데이터에서 맥락을 파악하는 것은 이제 필수"라며 "이번 검색 기술은 의미론적 검색과 전통적인 텍스트 검색을 결합하고 엔비디아 재순위 지정 기술을 통해 실시간으로 가장 적합한 결과를 제공하는 하이브리드 방식"이라고 설명했다.

또 방대한 기업 데이터를 AI 시스템에 활용하면서도 민감한 정보를 외부 언어 모델에 노출하지 않도록 설계됐다고 강조했다.

카푸르 CEO는 "페덱스의 경우, 데이터 60%가 우리 플랫폼에 저장돼 있으며, 여기에는 지난 20년간의 모든 배송 정보와 개인 데이터도 포함돼 있다"라며 "이런 정보는 '제미나이'나 '챗GPT' 같은 외부 플랫폼으로 빠져나가지 않을 것"이라고 강조했다.

따라서 "이 기술은 개인정보 규제에 어려움을 겪는 금융 서비스 기업들에 유용하며, 여러 산업에서 빠르게 채택 중"이라고 덧붙였다.

이 솔루션은 엔비디아 API 카탈로그를 통해 90일 무료 체험 라이선스로 즉시 사용할 수 있다.

이번 솔루션 출시는 최근 기업의 AI 활용 중 '내부 검색'에 대한 수요와 비중이 빠르게 늘어나고 있다는 것을 반영한다. 이는 글린이나 코히어같은 기업 전문 AI 기업의 주력 사업 분야인 것은 물론, 오픈AI나 퍼플렉시티와 같은 기업도 확장을 추진 중이다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>