수년 동안 인공지능 분야에서는 GPU와 그 연산 능력을 둘러싼 논의가 중심을 이뤘다. 기업은 고가의 최신형 GPU가 인공지능 모델 학습과 운영에 필수라고 받아들였고, 퍼블릭 클라우드 기업과 하드웨어 제조사는 경쟁력을 확보하려면 더 강력한 신형 칩이 필요하다는 메시지를 적극적으로 마케팅했다.

놀라운 사실은, 기업의 인공지능 성공에서 GPU의 중요성이 처음부터 과장됐다는 점이다. 추천 엔진, 예측 분석, 챗봇 등 기업이 일반적으로 활용하는 인공지능 워크로드 상당수는 최첨단 하드웨어를 필요로 하지 않는다. 더 저렴한 기존 GPU나 범용 CPU만으로도 대다수 작업에서 충분한 성능을 확보한다.

비용 절감과 효율성 높이기 압박이 커지면서, 많은 기업이 GPU 중심의 시장 논리를 재검토하고 보다 실용적인 접근으로 전환해 인공지능 인프라 투자 방식이 근본적으로 바뀌고 있다.

GPU 가격 하락은 기업 하드웨어 선택 기준 변화를 반영

최근 보고서에 따르면 클라우드 기반 고수요 GPU 가격이 급락한 것으로 나타났다. 예를 들어, AWS의 H100 GPU 스팟 인스턴스 비용은 2024년 초 105.20달러에서 2025년 말 12.16달러까지 최대 88% 하락했다. 주요 클라우드 기업 전반에서 유사한 가격 하락이 관측된다.

겉으로는 긍정적인 변화로 보인다. 기업은 비용을 절감하고 클라우드 기업은 공급을 조절한다. 그러나 이러한 수치 뒤에는 기업의 의사결정 구조 변화가 반영돼 있다. 가격 인하가 공급 과잉 때문이 아니라, 기업의 우선순위가 달라졌기 때문이다. 대다수 인공지능 워크로드에서 훨씬 저렴한 옵션이 거의 동일한 결과를 내는 상황에서 최고급 GPU에 비용을 지불해야 하는 이유를 기업이 점점 찾지 못하고 있다.

대다수 기업용 AI는 최고급 GPU 필요 없어

더 크고 강력한 GPU가 인공지능 성공에 필요하다는 인식은 애초부터 완전하지 않았다. GPT-4나 미드저니 같은 대규모 모델 학습에는 대규모 연산이 필요하며, 고급 GPU나 TPU가 적합한 것이 사실이다. 하지만 이러한 사례는 기업 환경 전체의 극히 일부에 불과하다.

기업이 실제로 집중하는 영역은 사전 학습된 모델을 활용하는 추론 작업이다. 이메일 분류, 구매 추천, 이상 탐지, 고객 지원 자동화 같은 실제 운영 업무가 대표적이다. 이러한 작업은 최첨단 GPU를 요구하지 않는다. 오히려 기존의 엔비디아 A100이나 H100 같은 장비로도 충분히 처리할 수 있으며, 현재 이 장비들은 매우 낮은 가격대에서 제공되고 있다.

더 주목할 점은, 다수 기업이 특정 인공지능 운영에 GPU가 전혀 필요하지 않다는 사실을 확인하고 있다는 것이다. 범용 CPU만으로도 작은 규모의 모델이나 복잡성이 낮은 모델은 무리 없이 동작한다. 내부 HR 문의용 챗봇이나 에너지 사용량을 예측하는 시스템은 연구용 초대형 모델과 같은 하드웨어를 필요로 하지 않는다. 많은 기업이 고가의 GPU 활용이 ‘필요’보다는 ‘체면’에 가까웠음을 깨닫고 있다.

인공지능이 차세대 성장 동력으로 떠오르자 하드웨어 요구사항이 급격히 높아졌고, 기업은 경쟁력을 유지하기 위해 최신 GPU 확보에 몰두했다. 클라우드 기업 역시 이러한 수요를 반겼다. 문제는 많은 결정이 실제 분석이 아니라 FOMO(놓칠 것에 대한 두려움)로 이루어졌다는 점이다. 캐스트 AI 공동 창업자이자 사장인 로랑 길은 고객의 GPU 구매 행동이 FOMO에 의해 좌우된다고 언급한 바 있다.

경제적 압박이 커지면서 많은 기업이 자신들의 인공지능 인프라가 수년간 과도하게 구성됐음을 인정하고 있다. 챗GPT 역시 기존 엔비디아 GPU 기반에서 구축되었고, 그럼에도 업계의 기준점이 될 만큼 충분한 성능을 냈다. 대규모 혁신조차 최신 하드웨어 없이 가능했다면, 훨씬 단순한 기업 애플리케이션에 최첨단 장비가 필요한 이유는 없다. 지금이야말로 실제 워크로드에 맞는 하드웨어를 재평가해야 할 시점이다.

클라우드 기업은 공급 전략 조정 중

이 같은 변화는 클라우드 기업의 재고에서도 확인된다. 엔비디아 GB200 블랙웰 같은 최고급 GPU는 여전히 심각한 공급 부족 상태이며, 단기간에 해결될 기미도 없다. 반면, 기존 A100 같은 모델은 기업의 신규 구매 감소로 데이터센터에서 유휴 상태로 남아 있다.

많은 클라우드 기업이 기업 수요가 항상 최신·고성능 칩으로 이동할 것이라고 과대추정한 것으로 보인다. 실제로 기업은 이제 혁신보다 비용 효율을 우선한다. 스팟 가격 구조는 이러한 시장 변화를 더욱 가속했고, 기업은 인공지능 기반 자동화 시스템을 활용해 가장 낮은 가격의 자원을 실시간으로 탐색하고 있다.

길은 동적으로 워크로드를 이동할 수 있는 기업이 고정 가격 모델을 사용하는 기업 대비 최대 80% 절감이 가능하다고 분석했다. 과거에는 구현이 어려웠던 수준의 민첩성이, 자가 조정형 시스템 확산으로 새로운 표준이 되고 있다.

실제 비즈니스 성과에 집중해야

고가의 최신형 GPU는 최전선 연구 개발에는 여전히 필수적일 것이다. 그러나 대다수 기업에게 인공지능 성공의 길은 기존 GPU 또는 범용 CPU 기반에서 열리고 있다. 클라우드 GPU 가격 하락은 많은 기업이 대다수 애플리케이션에서 최고급 하드웨어가 필요하지 않다는 현실을 인지하기 시작했음을 보여준다. 과도하게 과열됐던 시장이 점차 ROI 중심의 정상 상태로 수정되는 과정이다.

궁극적으로 중요한 것은, 기업이 진정 필요한 곳에 투자하는 일이다. 과도한 비용 부담 없이 실제 비즈니스 가치를 제공하는 실용적 솔루션이 정답이다. 인공지능의 본질은 하드웨어가 아니라 통찰력, 효율성, 의사결정 개선에 있다. 성공 여부는 기업이 인공지능을 어떻게 활용하느냐에서 결정되며, 장비 사양이 핵심이 아니다. 인공지능 시대에 경쟁력을 확보하려는 기업은 오랜 편견을 버리고 더욱 똑똑한 인프라 전략을 채택해야 한다.

dl-itworldkorea@foundryco.com