지난해 AI가 챗GPT로 주목을 받았다면 2024년에는 국내 대기업, 스타트업의 AI 개발 성과를 확인할 수 있는 해가 될 것이라고 전문가들은 전망하고 있다. 또한 온디바이스AI 등 본격적인 ‘AI 일상화’를 준비하기 위해 AI 인프라를 도입하는 기업들도 늘어날 것으로 보인다.

AI 인프라 전문기업인 주식회사 텐(TEN)의 오세진 대표는 “이에 따라 AI 인프라의 구축 시 구체적인 맟춤형 가이드가 중요하다”고 밝혔다. 텐은 AI 인프라에 집중해 MLOps 솔루션, 컨설팅 서비스를 제공하고 있다. 최근 AI 인프라 MLOps 솔루션 에이아이펍(AI Pub)이 GS인증 1등급을 획득하고, 글로벌 IT 전문지 ‘CIO 리뷰’에 유망한 테크기업으로 소개되기도 했다.

오세진 대표는 “인공지능 인프라를 구성하려는 담당자의 입장에서 하드웨어들을 어떻게 구매하고 있는지 생각해 보면 이들이 어떤 어려움에 직면해 있는지 쉽게 느낄 수 있다”며, “인공지능 인프라 구성은 GPU 서버와 그에 연결된 네트워크, 스토리지를 함께 고려해야 한다. 네트워크와 스토리지 구성에 대한 가이드를 찾아보기 어렵고, 하드웨어를 판매하는 벤더사도 각자 판매하는 장비에 대해서만 전문 지식을 갖고 있어 AI 개발사의 상황과 의도를 충분히 이해해 인프라를 구성해 주기 어렵다”고 덧붙였다.

AI 개발사들은 상황에 맞지 않는 인프라를 구축 또는 운영하게 되면서 비용 또는 성능 문제나 AI 서비스 론칭에 어려움을 겪고 있다. 주식회사 텐이 인프라 구축에 대한 가이드를 제공하는 컨설팅 서비스 랙스(RA:X)를 세상에 내놓은 이유다. 랙스(RA:X)는 주식회사 텐에서 직접 구축한 레퍼런스 아키텍쳐(Reference Architecture, RA) 장비에서 부하 테스트를 진행하고, 이를 기반으로 인공지능 학습 또는 운영 목적에 적합한 인프라 구성을 비용까지 고려한 선택지로 정리해 제공하는 서비스다. 오세진 대표에 따르면 주식회사 텐은 다양한 목적에 맞는 인프라 구성을 찾을 수 있도록 H100 같은 최상위 수준의 GPU부터 추론 용도의 GPU까지 다양한 선택지들을 보유하고 있다.

오 대표는 AI 인프라 구축에 대한 정보 부족으로 인해 AI 인프라 구축에서 네트워크의 중요성이 부각되지 않는다는 점을 문제로 지적했다. AI 학습과 추론(Inference)을 위한 인프라 구축의 목적이 다르다.

오 대표는 “AI 학습의 경우 GPU가 연산 능력을 최대로 발휘할 수 있도록 GPU 외 하드웨어에서 발생하는 병목 현상을 제거해야 한다. LLM 같은 초거대 모델이라면 다수의 GPU를 효과적으로 연결하는 ‘네트워크’가 AI 개발을 위한 인프라를 구성할 때 많은 고민이 필요한 요소”라고 전했다.

서비스 타깃의 트래픽에 맞는 인프라 구성에 대한 가이드를 구하는 것 또한 쉽지 않다. 주식회사 텐에서는 랙스(RA:X)를 통해 AI 서비스의 타깃 트래픽에 맞는 규모인 동시에 모델에 최소의 자원을 할당하는 인프라 구성도 제안한다. 서비스 런칭 전에 미리 인프라 비용을 예측해 비용을 책정할 수 있고, 런칭 후 서비스 운영 비용도 최소화할 수 있다.

오 대표는 “최근 AI 서비스의 인프라 비용 문제를 해결하고자 인공지능 모델을 경량화하는 기술들이 출현하고 있지만 그에 맞는 하드웨어 자원을 할당할 수 없다면 경량화의 효과를 제대로 누리기 어렵다”며, 트래픽에 맞는 인프라 구성이 선행돼야 함을 강조했다. 오 대표는 “인프라라는 기반이 밑바탕에서 단단하고 안정적이지 않으면 그 위에 올라가는 서비스가 아무리 혁신적이라 해도 결국 실패할 수밖에 없다. 인프라의 효율을 관리하는 것이 AI 경쟁력을 판가름하는 요소가 됐다”고 전했다.

이어 오 대표는 “AI 인프라의 편리함과 효율성을 생각하는 동시에, 안정성을 최우선의 가치로 삼고서 에이아이펍(AI Pub)과 랙스(RA:X)로 인프라 문제 해결을 돕고자 한다”며, “많은 분이 인공지능을 통해 가치를 생산할 수 있도록 돕고, 그 가치가 누구에게나 보편화되는 이로운 세상이 올 수 있도록 주식회사 텐이 기여하고 싶다”는 포부도 밝혔다.

서명수 기자 seo.myongsoo@joongang.co.kr

▶ 중앙일보 / '페이스북' 친구추가

▶ 넌 뉴스를 찾아봐? 난 뉴스가 찾아와!

ⓒ중앙일보(https://www.joongang.co.kr), 무단 전재 및 재배포 금지