“그래픽처리장치(GPU)를 확보한다고 끝이 아니라 이것을 아껴서 최대한의 ‘가성비’를 내야 기업들이 지속적으로 인공지능(AI)에 투자를 할 수 있습니다.” (IT솔루션 업계 관계자)

AI 모델의 학습과 추론에 쓰이는 GPU 확보전이 장기화되면서 GPU를 대량 확보하는 것 이상으로 GPU를 쪼개서 쓰려는 수요가 커지고 있다. 이에 GPU 비용을 최적화·극대화하는 스타트업이 덩달아 주목받고 있다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

19일 정보기술(IT) 업계에 따르면 LG유플러스는 최근 2024년 사업보고서 공시를 통해 지난해 말 AI 인프라 스타트업 텐에 30억원 규모의 자금을 투자해 9.8%의 지분을 취득했다고 밝혔다. 불과 2년 전인 2022년 말 30억원 규모의 프리시리즈A 투자를 유치한 데 이어 LG유플러스 투자 유치까지 이끌어낸 것이다. 텐은 2020년 설립돼 비교적 신생 스타트업이라 할 수 있지만 최근 급격한 성장세를 보이고 있다. AI 학습을 위한 GPU 자원 가동률을 극대화하는 동시에 AI 추론을 GPU 자원으로도 처리할 수 있게 한 핵심 기술력 덕분이다. 기존에는 GPU를 자연수 단위로 쓸 수 있었다면 대표 제품인 ‘AI Pub’를 통해 GPU 1개의 코어와 메모리를 1% 단위까지 분할해 최대 100개의 유닛으로 나눠 동시에 여러 개의 서비스를 지원할 수 있게 했다. 인프라 비용을 최대 90%까지 줄일 수 있다는 설명이다. 특히 중국 생성형 AI 딥시크가 R1모델 개발에 최소한의 AI인프라를 활용했다고 밝힌 이후 텐의 기술에 대한 세간의 관심이 더욱 커졌다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

AI 인프라 매니지먼트 스타트업 ‘래블업’ 역시 같은 맥락에서 업계의 주목을 받고 있다. 대표 제품인 백엔드.AI(Backend.AI)는 AI의 학습, 추론 서비스의 전 과정을 운영체제와 통합 처리하는 AI 인프라 운영 플랫폼으로 최적의 자원 할당을 통해 비용 효율화를 추구한다. 래블업 측은 2023년 매출이 70억원 가까이를 기록했고 흑자 상태를 유지하고 있다고 설명했다.

AI인프라를 자체적으로 효율화하는 방식 외에도 기존 인프라에서 AI 모델을 최대한 효율성 있게 활용하는 방식도 관심사다. 기업공개(IPO)를 앞두고 있는 노타AI의 경우 최적화 관련 제품의 매출 비중이 절반을 넘어섰다. 한 업계 관계자는 “GPU를 확보하는 데 곤란을 겪는 기업들이 AI 모델을 최적화하거나 AI 인프라 자체를 건드려 효율화를 달성하는 쪽으로 관심을 전환하는 추세”라며 “다만 이 분야의 경쟁력 있는 기업이 소수이다 보니 관심이 쏠리는 상황”이라고 전했다.

정혜진 기자 madein@sedaily.com
[ⓒ 서울경제, 무단 전재 및 재배포 금지]