[조성준 기자]

카카오엔터프라이즈가 '이프 카카오(if kakaoAI 2024)'에서 관련 기술을 소개하고 있다. / 사진=조성준 기자

<이미지를 클릭하시면 크게 보실 수 있습니다>

카카오엔터프라이즈가 '이프 카카오(if kakaoAI 2024)' 개발자 컨퍼런스에서 클라우드 GPU, 비전 AI, 머신러닝, 검색증강생성(RAG) 등 다양한 기술을 공개했다.

22일 카카오엔터프라이즈는 이프 카카오에서 총 4개의 기술 세션에 참가해 카카오 그룹 차원에서 선보이는 AI기술과 AI인프라의 근간이 되는 클라우드 기술력을 공개했다고 22일 밝혔다.

이프카카오는 2018년 시작해 올해로 6회째를 맞는 카카오 개발자 컨퍼런스다. 올해에는 전 세계적인 트렌드로 떠오르고 있는 AI에 발맞춰 행사명에도 'AI'를 녹여냈다. 카카오는 이번 컨퍼런스의 핵심 주제를 AI로 정하고 '모든 연결을 새롭게'라는 슬로건 아래 카카오의 기술과 관련 지식을 참가자들과 공유하며 소통할 계획이다.

카카오엔터프라이즈는 이프 카카오 첫날 김민주 매니저가 '미디어 및 AI 가속기를 탑재한 카카오클라우드의 비디오 인스턴스 활용기'를 주제로 발표를 진행했다. 해당 세션에서는 화상 회의, 실시간 중계, 라이브커머스 등 영상 스트리밍 데이터를 더욱 빠르고 효율적으로 처리할 수 있는 '미디어 가속 인스턴스' 2종과 영상 내에서 인상착의 검색, 차량 번호 검색 및 경로 추적 등 AI 모델을 활용해 영상을 분석할 수 있는 'AI 가속 인스턴스'가 공개됐다.

또 여러 자동차가 촬영된 거리뷰 영상에서 색상 브랜드 차종 등의 정보를 분류해내는 과정도 시연했다. 시연을 통해 AI 가속 인스턴스에서 손쉽게 비전 AI 모델을 적용하고 자동차 식별하고, 자동차의 색상, 브랜드, 차종 총 3가지의 추론을 실행하며 그 결과를 영상 프레임에 오버레이 및 인코딩하는 총 3단계 과정을 설명했다.

김민주 매니저는 "카카오클라우드의 AI 가속 인스턴스에 비전 AI 모델 추론을 효율적으로 가속하기 위해 설계된 프로세서인 딥러닝 처리 유닛(DPU)을 장착했다"며 "이를 통해 객체 탐지 및 분류, 세그멘테이션, 얼굴⬝텍스트 감지 등 여러 비전 AI 모델을 간단하게 적용해 추론을 가속화할 수 있다"고 강조했다.

카카오가 \'카카오 AI 캠퍼스\'에서 \'이프 카카오(if kakaoAI 2024)\'를 개최했다. / 사진=조성준 기자

<이미지를 클릭하시면 크게 보실 수 있습니다>

진은용 파트장은 카카오클라우드의 머신러닝 운영(이하 MLOps) 플랫폼을 소개하고 이를 활용해 로드밸런서 액세스 로그 기반의 트래픽 예측 머신러닝 모델을 만드는 예제를 시연했다. MLOps는 기계학습과 운영의 합성어로 머신러닝 모델의 개발, 배포, 운영을 효율적이고 안정적으로 관리하는 프레임워크다.

진은용 파트장은 "다양한 산업군에서 머신러닝이 상용화돼 데이터 및 머신러닝 모델의 복잡성이 증가하는 등 머신러닝의 발전에 따라 발생하는 여러 문제들을 해결하기 위해 최근 MLOps의 중요성이 더욱 부각되고 있다"며 "MLOps는 데이터 관리부터 머신러닝 모델 배포 및 운영, 파이프라인 자동화와 모니터링을 통해 워크플로우 전반을 최적화하며 효율성과 확장성을 높이는 중요한 역할을 한다"고 말했다.

김도윤 검색 CIC RAG모델링TF장은 거대언어모델(LLM) 응답의 신뢰도를 높이기 위한 방법론인 RAG를 효과적으로 구현하기 위해 필요한 구조 및 데이터 방식을 소개하고 이를 구현한 데모를 시연했다. 그는 "LLM이 처리할 수 있는 문서의 길이에는 한계가 있어, 지나치게 긴 문서를 제공할 경우 답변에 불필요한 내용이 많아 할루시네이션이 증가할 수 있고 너무 짧은 문서의 경우 전체 맥락이 유실되거나 텍스트의 의미가 왜곡되고 누락될 수 있다"며 "고품질 청크 기반의 검색은 하나의 주제를 중심으로 관련성이 높은 검색 결과를 제공하며 검색 품질을 향상시킬 수 있다"고 설명했다.

이프 카카오 2일차에는 유태희 매니저가 '네트워크 인터페이스 카드와 GPU 간 제로카피'를 주제로 발표를 진행할 예정이다.

카카오엔터프라이즈 관계자는 "카카오엔터프라이즈는 카카오 그룹의 뉴 이니셔티브(신성장동력)의 한 축을 담당하며 카카오클라우드를 필두로 AI 원천 기술의 근간을 다지고 있다"며 "앞으로도 카카오엔터프라이즈는 클라우드 및 검색 분야 기술 고도화를 위해 연구 개발한 다양한 기술과 방법론을 공유하고 국내 IT 기술 발전에 기여할 것"이라고 말했다.

조성준 기자 csj0306@techm.kr

<저작권자 Copyright ⓒ 테크M 무단전재 및 재배포 금지>