[디지털데일리 이나연 기자] 인공지능(AI) 워크로드의 중심이 급격히 변화하면서 '분산 AI 추론'이라는 새로운 패러다임이 부상하고 있다. 과거 AI 기술은 데이터센터에서 이뤄지는 대규모 모델 훈련과 학습에 집중되는 게 일반적이었다. 이제는 학습된 모델을 기반으로 사용자에게 얼마나 빠르고 효율적인 서비스를 제공하는지가 핵심이 됐다.

23일 서울 양재 엘타워에서 열린 '오픈테크넷 서밋 2025'에서 윤호성 아카마이코리아 이사는 이러한 변화를 주제로 발표에 나섰다.

과학기술정보통신부와 정보통신산업진흥원, <디지털데일리>가 공동 주최한 이 행사는 '개방형 AI x Everything-as-Code 기반 인프라 혁신'을 주제로 국내외 주요 기업과 기관들이 AI와 오픈소스 전략, 실제 사례를 공유했다.

윤호성 이사는 "다가오는 10년은 AI를 통해 얼마나 실시간으로 가치를 전달할 수 있는지가 기업 성패를 좌우할 것"이라며 "내년이나 내후년쯤이면 AI 앱과 서비스에 대한 지출이 기존 인프라 투자보다 훨씬 커질 것"이라고 전망했다.

그는 이미 100ms(밀리세컨드·1000분의 1초) 지연도 길게 느껴지는 시대에서 앞으로는 10ms 지연조차 용납되지 않는 초저지연 환경이 요구될 것이라고 강조했다.

하지만 기업이 AI 추론을 본격적으로 서비스에 적용하기에는 아직 넘어야 할 산이 많다. 그래픽처리장치(GPU) 가격은 일반 서버보다 10배가량 비싸고, 데이터 전송(이그레스) 비용도 만만치 않다.

한 연구에 따르면 EBS(Elastic Block Storage) 비용만 줄여도 기업 전체 클라우드 비용의 30%를 절감할 수 있을 정도다. 여기에 모델 리포지터리와 프레임워크가 복잡하게 얽혀 있어 개발과 배포, 추론 환경이 서로 달라지는 문제도 있다.

결국 개발자들은 AI 모델을 만드는 시간보다 인프라 관리에 더 많은 시간을 쓰게 되는 셈이다. 물리적으로 멀리 떨어진 데이터센터에서 AI를 운영할 때 발생하는 높은 지연 시간과 낮은 추론 정확성도 해결해야 할 과제다.

아카마이는 이 같은 문제를 해결하기 위해 '커넥티드 클라우드' 전략을 내세우고 있다. 콘텐츠 전송 네트워크(CDN)로 다져온 글로벌 인프라 운영 경험을 바탕으로, 전 세계 4400여개 엣지 리전과 25개 코어 컴퓨팅 리전을 백본 네트워크로 연결했다.

이를 통해 기업은 복잡한 인프라를 직접 관리하지 않고도 안정적이고 저렴하며 빠른 AI 서비스를 구현할 수 있다. 아카마이는 코어, 분산, 엣지 등 3계층 구조를 마련해 대규모 데이터 처리부터 초저지연 응답까지 다양한 AI 워크로드를 지원한다.

특히 아카마이는 'Linode Kubernetes Engine(LKE)'과 앱 플랫폼을 앞세워 오픈소스 기반 AI 추론 환경을 구축하는 데 힘을 쏟고 있다. 사용자는 몇 번의 클릭만으로 KServe, Kubeflow Pipeline, Milvus 같은 오픈소스 툴을 엣지 환경에 배포할 수 있다.

윤 이사에 따르면 아카마이 클라우드의 컴퓨팅 비용은 기존 하이퍼스케일러 대비 20~50% 저렴하고, 이그레스 비용은 5% 수준에 불과하다. 또 자체 벤치마크 결과 스테이블 디퓨전 작업에서 지연 시간은 2.5배 빨랐고, 처리량은 3배 많았으며, 비용은 무려 86% 절감됐다.

이러한 장점은 이미 여러 산업 현장에서 효과를 입증하고 있다. 한 모바일 게임 개발사는 구글 클라우드 대신 아카마이 클라우드 GPU를 도입해 더 빠르고 저렴한 이미지 생성 서비스를 구현했다.

농업 기술 기업은 소규모 농가도 활용할 수 있는 비용 효율적인 작물 건강 인식 AI를 선보였다. 자동차 업계에서는 차량 내에서 실시간으로 작동하는 AI 음성 어시스턴트를 RTX 40a GPU 기반으로 구현해 성능과 비용 절감 두 마리 토끼를 잡았다.

윤 이사는 "'오픈 에브리띵, AI 에브리웨어'를 지향하는 아카마이는 개발자가 누구나 쉽게 AI 솔루션을 설치·활용할 수 있게 하고, 사용자 가까운 곳에서 AI 서비스를 구현한다"며 "쿠버네티스와 AI 에이전트 생태계의 융합을 통해 경제적이고 개방적인 분산 AI 시대를 열겠다"고 전했다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -