생성형 AI의 확산으로 '검색'의 개념이 바뀌고 있다. 단순한 결과 나열이 아닌 대화형·요약형·문맥형 검색, 즉 'AI 검색'이 새로운 기준이 되는 흐름이다. 포털 서비스를 운영 중인 네이버도 20년 넘는 검색엔진 운영 노하우와 자체 AI 모델 도입을 통해 AI 검색 인프라를 꾸준히 확대하고 있다. 이런 네이버의 시스템은 글로벌 빅테크인 '구글'과 가장 가까운 형태이자 '한국형 AI 검색 엔진'의 바로미터로 평가받고 있다. <디지털데일리>는 네이버를 만나 AI 검색 인프라 방향성 및 비전 등을 짚어봤다. <편집자 주>



[디지털데일리 채성오기자] 네이버는 자체 검색엔진을 클라우드 기반으로 전환한 후 이를 '서비스형 플랫폼(PaaS)' 형태로 사내에 제공하고 있다. 5년 전부터 검색을 클라우드 기반으로 전환하는 작업을 진행한 결과 네이버는 대부분의 핵심 파이프라인을 클라우드 네이티브 환경으로 고도화하는데 성공했다.

이런 클라우드 네이티브 환경의 중심엔 '클라우스(CLOUS) 플랫폼'이 있다. 검색엔진을 클라우드 기반으로 전환한 클라우스 플랫폼으로 인해 네이버는 운영 효율성을 향상시켰다고 설명했다. <디지털데일리>는 강유훈 네이버 AI 검색 플랫폼 리더, 김준영 네이버 CLOUS팀 리더, 전희재 네이버 AI HPC팀 리더를 만나 네이버 AI 컴퓨팅 인프라에 대해 들어봤다.

◆클라우드 네이티브 전환이 만든 검색 인프라 안정성=네이버가 검색엔진을 클라우드 네이티브 구조로 전환하게 된 배경엔 이용자 확대에 따른 방대한 데이터 운용에 있다.

김준영 리더는 "네이버가 검색엔진을 20년 넘게 운영하고 있지만 그 규모가 한 번도 줄어든 적이 없었다"며 "관련 규모와 복잡성이 커지면서 사람이 직접 운영하기 어려운 단계에 이르러 클라우드 네이티브 전환이 불가피했다"고 설명했다.



실제로 네이버에 따르면, 검색 인프라의 클라우드 전환을 통해 안정성이 33% 개선됐고 서버에 배치된 소프트웨어 구성요소가 동작 불능에 빠지는 시간이 기존 연간 약 1.5분에서 1분으로 줄었다. 효율성 측면에서는 장애 등 문제 상황 발생 시 투입되는 시간(환산분)이 기존 90분에서 18분으로 약 80% 개선된 것으로 나타났다.

이에 대해 강유훈 리더는 "서버 컴포넌트(구성요소) 불능 시간이 줄어들수록 제공해야 할 기능을 빠짐없이 전달할 수 있다"며 "이를 위해 지속적으로 불능 시간을 줄여가는 중"이라고 설명했다.

장애 처리 대응 시간도 클라우드 네이티브 전환 통해 빠르게 단축할 수 있었다. 강 리더는 "예전엔 장애가 발생하면 서버 담당자가 인지를 한 후 관련 인력이 투입돼야 했기에 평균 90분 정도가 소요됐지만 기계가 대응하게 되면서 이를 획기적으로 줄일 수 있었다"며 "5년 이상의 클라우드 기반 시스템 구축으로 꾸준히 장애 대응시간을 단축하면서 이제는 해당 체계를 고도화하는 단계에 이르렀다"고 강조했다.

◆HPC 기반 AI 기술 가속…GPU 온디맨드 확보로 '병목' 해소=클라우드 전환은 AI 브리핑·리랭킹·뉴럴 매칭 등 AI 검색 기술의 고도화 속도에도 직접적인 영향을 미쳤다. 고성능 컴퓨팅(HPC) 자원 확보가 더욱 유연해져 AI 기술을 접목하는 데에도 더 유리하게 활용할 수 있기 때문이다.

생성형 AI 기술을 활용한 'AI 브리핑', 사용자가 입력한 검색어 의도·맥락을 해석하고 적합한 순서에 따라 문서 랭킹을 재조정하는 '리-랭킹', 수백억 개에 이르는 방대한 문서 속에서 단어 간 의미적 연관성과 문서 전체 주제까지 고려해 사용자 질의에 적합한 문서를 빠르게 찾아내는 AI 기술 '뉴럴 매칭' 등은 AI 검색 고도화 기술의 대표적인 사례다.



강 리더는 "GPU는 희소하고 비싼 자원이기 때문에 확보 지연이 작업 속도를 늦추는 병목으로 이어질 수 있다"며 "(네이버는 클라우드 네이티브 전환으로) 온디맨드 확보가 가능해져 개발 지연을 막는 효과가 있다"고 설명했다.

이를 통해 AI 기반 검색 기술의 질적 변화도 이뤄낼 수 있었다고 네이버는 설명했다. 강 리더는 "기존 알고리즘 기반 랭킹을 더 잘 수행하게 만드는 효과뿐 아니라 의미적 매칭처럼 기존에는 할 수 없던 것도 가능하게 됐다"고 말했다. 기존 검색이 단어의 정확한 일치에 의존했다면 생성형 AI 기반 기술은 언어적 의미를 기반으로 검색 결과를 매칭하는 방식으로 확장되고 있다는 설명이다.

AI 고성능 컴퓨팅(AI HPC) 클러스터 역시 이미 구축돼 운영 중이다. 이는 AI 검색 서비스를 위한 효율적 추론·학습 처리 플랫폼이다.

전희재 네이버 AI HPC팀 리더는 "AI HPC 클러스터는 다수의 GPU 자원을 효율적으로 관리하는 역할을 한다"며 "현 단계에서는 AI 브리핑, 리랭킹, 뉴럴매칭 각각 다양한 모델의 요구 사항에 따라 적절한 때 서비스를 제공할 수 있도록 확장 구조를 고민하고 있다"고 설명했다.

강 리더는 "AI 브리핑이 이 AI HPC 클러스터 위에서 제공되고 있다"며 "뿐만 아니라 현재 검색 내부 구성요소들이 AI 중심 기술로 변화하는 과정에서 필요한 데이터를 AI HPC 클러스터로 추출하고 있다. 내년엔 현재 규모의 3배 이상 확대될 것"이라고 부연했다.

GPU 비용 최적화에 대해 강 리더는 "관련 비용을 최적화하는 기술들은 업계 전반적으로 상향 평준화가 돼 있는 것 같다"면서도 "네이버는 품질·속도·비용 간의 밸런스를 맞춰 GPU를 최대한 낭비 없이 쓰는 방식으로 효율을 높이기 위해 내부 전문팀이 열심히 노력 중"이라고 강조했다.

향후 차세대 AI 검색 경험에 대한 전망도 내놨다. 현재 네이버는 AI 브리핑을 고도화하는 한편 내년 선보일 생성형 AI 검색 경험이 담긴 'AI 탭'을 에이전트 형태로 준비하고 있다.

강 리더는 "지금은 AI 요약, 기존 검색 결과, 광고, 멀티대화형 인터페이스 등이 모두 한 화면에 섞여 있는 복잡한 과도기"라고 진단하면서 "사용자의 선택을 이끌어 내기 위해 UI를 단순화하면서 관련 옵션을 얼마나 빠르게 보여주느냐가 관건이 될 것"이라고 말했다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -