[디지털데일리 김문기 기자] 구글(Google) TPU와 엔비디아(Nvidia) GPU의 비용 효율을 비교한 보고서가 각광받고 있다.

11월 30일(현지시간) 반도체 분석업체 세미애널리시스(SemiAnalysis)는 구글(Google) TPU와 엔비디아(Nvidia) GPU의 비용 효율을 비교한 보고서를 통해 대형 고객 기준 구글 TPU가 엔비디아 최신 GPU 대비 유효 연산량(FLOP)당 총소유비용(TCO)을 약 20~50% 낮출 수 있다는 분석을 내놨다. 동시에 오픈AI(OpenAI)의 확장은 1000억달러 수준 파트너 부채에 기대고 있으며, 앤트로픽(Anthropic)은 중국 배후 사이버 스파이 행위와 연루된 AI 악용 이슈로 미국 의회 소환에 직면했다는 지적이다.

보고서에 따르면 구글 TPUv7 ‘아이언우드(Ironwood)’는 엔비디아 GB200·GB300급 성능을 거의 따라잡으면서도 비용 구조에서 우위를 보인다. 구글과 브로드컴(Broadcom)이 칩·시스템·네트워크를 통합 설계하고 자체 인프라에 직접 통합하기 때문에, 완제품 서버를 높은 마진으로 판매하는 엔비디아 시스템보다 TCO가 크게 낮다는 설명이다.

앤트로픽은 이 같은 구조를 활용해 TPUv7 약 100만개 규모에 합의한 것으로 전해졌다. 약 40만개는 완성 랙 형태로 직접 구매하고 나머지 60만개는 구글 클라우드(GCP)에서 임대하는 방식이다. 자체 데이터센터와 구글 인프라를 병행하면서도, TPU 대량 도입을 지렛대로 나머지 GPU 기반 클러스터의 엔비디아 가격을 낮추는 전략이다.

세미애널리시스는 유효 FLOP 기준 비용 우위를 핵심으로 꼽았다. GPU 업체들이 이상적인 조건을 전제로 한 최고 FLOP 수치를 내세우는 반면 실제 대규모 학습 작업은 이의 약 30% 수준 활용률에 머무는 경우가 많다는 점을 지적했다. 구글 TPU는 보다 현실적인 피크를 기준으로 삼고, 구글과 앤트로픽이 커스텀 커널과 컴파일러 최적화에 투자해 모델 FLOP 활용률을 40% 수준까지 끌어올려 결과적으로 GB300급 대비 약 50% 저렴한 유효 학습 FLOP를 달성할 수 있다는 설명이다.

시스템 설계도 차별화 포인트다. TPUv7는 3D 토러스 구조의 ICI 네트워크와 광회로스위치(OCS)를 활용해 최대 9216개 칩을 단일 팟(pod)으로 묶는다. 엔비디아의 NVL72 방식이 GPU 60~70여개 단위로 묶는 것과 대비된다. 더 많은 통신이 고속 전용망 안에서 처리돼 상위 이더넷·인피니밴드 계층 의존도를 줄이고 비용을 낮출 수 있다는 판단이다.

이 같은 TPU 인프라가 모든 고객에게 곧바로 절대 우위를 주는 것은 아니다. 보고서는 여전히 엔비디아 CUDA 생태계가 성숙해 접근성이 높은 반면 TPU는 커널·컴파일러 최적화와 툴링에 더 많은 엔지니어링 투자가 필요하다고 짚었다. 다만 앤트로픽처럼 기가와트급 인프라를 운용하는 프런티어 연구소 입장에서는, 추가 개발 비용보다 인프라 비용 절감 효과가 훨씬 크다는 분석이다.

오픈AI의 성장 구조에 대한 지적도 이어졌다. 보고서에 따르면 오픈AI는 자체 재무제표에는 큰 부채를 쌓지 않는 대신, 데이터센터 파트너들에 약 1000억달러 규모 부채를 부담시키는 방식으로 인프라 확장을 진행 중이다. GPU·전력·부지 확보에 필요한 막대한 자본이 파트너사의 대차대조표에 잡히는 구조다. AI 인프라 투자가 클라우드·콜로케이션 사업자 재무에 집중되는 방향을 강화하는 셈이다.

한편 앤트로픽은 보안 리스크 이슈에도 직면했다. 외신에 따르면 미국 하원 패널은 중국 정부가 지원하는 것으로 알려진 집단이 약 30개 주요 조직을 상대로 대규모 AI 기반 사이버 첩보 작전을 수행하는 과정에서 앤트로픽의 ‘클로드(Claude)’를 악용했다는 보고를 받은 뒤, 앤트로픽 최고경영자(CEO)를 청문회 출석 대상으로 소환했다. 대형 모델이 공격자 도구로 활용된 첫 사례 가운데 하나라는 점에서 규제 논의가 가속화될 수 있다.

TPU와 GPU 경쟁 구도는 곧 AI 인프라 원가 구조와 직결된다. 구글은 TPU 비용 효율과 대규모 시스템 설계를 앞세워 엔비디아의 가격 상한선을 만들고, 엔비디아는 성능·생태계를 앞세워 ‘엔비디아 세금’을 방어하는 구도다. 대형 AI 기업과 클라우드 사업자는 양측 칩을 병행 도입하면서 공급망과 비용을 다각화하는 전략으로 움직이고 있다.

마지막으로 세미애널리시스는 보고서에서 대형 고객 기준 TPU는 GB200·GB300 대비 유효 FLOP당 비용을 약 20~50% 낮출 수 있다며 TPU 도입 가능성만으로도 이른바 ‘엔비디아 세금’을 낮추는 가격 상한선을 형성하고 있다고 분석했다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -