구글의 인공지능(AI) 모델 ‘제미나이3′가 오픈AI의 ‘챗GPT’를 위협하는 성능과 함께 AI 반도체 시장을 독점하고 있는 엔비디아의 그래픽처리장치(GPU)를 사용하지 않은 것으로 알려지며 구글의 텐서처리장치(TPU·Tensor Processing Unit)에 대한 이목이 집중되고 있습니다. 일각에선 TPU가 엔비디아 GPU를 더 효율적이고 낮은 비용으로 대체 가능하다는 주장도 나옵니다.

구글 제공

<이미지를 클릭하시면 크게 보실 수 있습니다>

젠슨 황 엔비디아 최고경영자(CEO)도 이를 의식한 듯 이례적으로 구글 TPU를 견제하는 발언을 했습니다. 그는 지난 25일(현지시각) 소셜미디어(SNS) 엑스(X) 공식 계정을 통해 “구글은 AI 분야에서 큰 진전을 이뤘다”면서도 구글 TPU보다는 GPU가 여전히 앞선 기술이라는 점을 강조했습니다. 또 구글이 TPU를 통해 AI 모델을 구축한다고 해도 여전히 엔비디아 GPU를 필요로 할 것이라는 자신감을 드러내기도 했습니다.

◇ AI 업계 놀라게 한 제미나이3, GPU 없이 가능할까

AI 반도체 시장을 독점해 온 엔비디아에 대항하려는 움직임이 과거에도 없었던 것은 아닙니다. 구글뿐만 아니라 마이크로소프트(MS), 테슬라, 아마존 등 빅테크는 GPU의 대체재 개발을 위해 오랜 기간 자체 칩 설계를 연구해왔습니다. 이들 중 일부는 실제 AI 학습 모델에 사용되기도 했고, 특정 영역에서는 GPU보다 더 나은 효율을 보이기도 했습니다.

그렇다면 엔비디아의 GPU 독점 구도에 지각변동이 있을까요. 결론부터 말하면 전문가들은 당장은 불가능하다는 입장입니다. 우선 구글 제미나이3가 GPU 없이 TPU로만 구축됐다는 주장 자체에 오류가 있다는 분석이 나옵니다.

젠슨 황 엔비디아 최고경영자(CEO)와 이재용 삼성전자 회장, 정의선 현대차그룹 회장이 지난달 30일 서울 강남구 코엑스에서 열린 엔비디아 지포스 게이머 페스티벌에 참석했다./뉴스1

<이미지를 클릭하시면 크게 보실 수 있습니다>

국내 AI 팹리스 고위 관계자는 “제미나이3가 TPU로 훈련될 수 있는 배경에는 오랜 기간 구글이 엔비디아의 GPU를 토대로 데이터와 프레임 워크를 훈련시켜왔기 때문”이라며 “지난 수년간의 AI 연구와 모델, 최적화 기법, 분산 학습 등 모든 경험이 GPU를 토대로 형성돼 왔고, 제미나이3는 그 데이터 기반을 TPU로 최적화한 것”이라고 설명했습니다. 제미나이3가 GPU 없이 개발됐다는 주장은 맞다고 보기 어렵다는 설명입니다.

GPU와 TPU가 개념적·기술적으로 완전히 다른 하드웨어라는 것을 이해할 필요가 있습니다. GPU는 범용 프로세서로, 이미지, 영상, 시뮬레이션, 대규모언어모델(LLM) 학습·추론이 모두 가능한 ‘팔방미인’입니다. 특히 AI 서비스 개발에 필요한 소프트웨어 생태계가 GPU를 중심으로 형성돼 있어 AI 인프라를 구축하는데 GPU는 대체 불가능한 하드웨어입니다. 다만 가격이 비싸고, 전력 효율성과 같은 문제로 구매와 운영 비용이 과도하게 소요됩니다. 또 단순한 AI 서비스에 모두 GPU를 사용하는 것은 서비스 대비 인프라의 ‘오버스펙’이라는 지적도 꾸준히 제기되어왔습니다.

구글이 TPU 개발을 시작한 이유도 이와 같은 맥락입니다. 구글 역시 상당 부분의 데이터 센터 학습 모델이 GPU를 토대로 하고 있습니다. 다만 갈수록 GPU 가격이 천정부지로 치솟고 데이터센터 투자 비용이 과도해지면서 고심 끝에 나온 것이 TPU입니다. 초기 TPU는 유튜브, 지메일, 구글 검색 등에 최적화한 형태로 개발됐습니다. 즉 구글의 서비스에 가장 잘 맞는 비용 효율적인 칩을 개발하자는 취지에서 만들어진 셈입니다.

이병훈 포스텍 전자전기공학과 교수는 엔비디아와 구글 TPU의 경쟁을 ‘독점 붕괴’라기보다 “시장 확장 과정에서의 역할 분화”로 해석했습니다. 이 교수는 “인공지능 학습은 지금까지 GPU가 거의 전부를 맡아왔지만, 앞으로 AI 응용이 세분화될수록 특정 작업에 맞춘 NPU(신경망처리장치)·TPU 같은 특화 칩의 효율성이 올라갈 수밖에 없다”며 “GPU가 혼자 하던 일을 점차 특화된 칩이 일부 대체하는 방향으로 갈 것”이라고 했습니다. GPU에만 몰려있던 AI 인프라 투자를 좀 더 비용 효율적으로 바꾸기 위해 GPU와 TPU, NPU를 섞어 쓰는 방식으로 투자 방향이 바뀌고 있다는 것입니다.

◇ 비용 절감 ‘브로커’로 부각된 브로드컴

브로드컴은 구글이나 메타 같은 기업의 투자비를 줄여주는 ‘중개자’ 역할을 하고 있습니다. 실제 구글, 메타에는 AI 반도체를 설계하고 개발해 파운드리(반도체 위탁생산)까지 맡길 만한 역량이 부족합니다. 엔비디아와 같은 반도체 설계 전문 인력만 수천명을 보유한 기업과는 애초에 비교 자체가 불가능합니다. 구글이 TPU 개발을 위해 운영하는 팀도 100명 이하의 소규모인 것으로 알려졌습니다.

일러스트=챗GPT 달리3

<이미지를 클릭하시면 크게 보실 수 있습니다>

이 교수는 “브로드컴은 NPU 같은 엔진을 직접 만들어서 경쟁하는 회사라기보다, 여러 업체의 NPU를 얹을 수 있는 XPU 플랫폼, 일종의 ‘차의 껍데기’를 제공하는 회사”라며 “리벨리온·퓨리오사 같은 NPU 업체들이 엔진을 가져오면 브로드컴은 그 엔진을 달 수 있는 차체를 만들어주는 구조”라고 말했습니다. 이어 “TSMC가 고객과 경쟁하지 않고 제조만 하듯이, 브로드컴도 ‘나는 당신과 경쟁하지 않겠다. 대신 싸게, 잘 만들어주겠다’는 포지션을 취하고 있다”고 설명했습니다.

그는 이런 흐름 속에서 “결국 브로드컴을 중심으로 한 XPU 연합군과 엔비디아가 맞붙는 구도가 만들어질 것”이라면서도, 이는 제로섬 게임이 아니라고 강조했습니다. 이 교수는 “지금 AI 반도체 시장이 100에서 1000으로 커지는 중이라 20~30%를 빼앗긴다고 해도 엔비디아가 바로 무너지는 구조는 아니다”며 “엔비디아가 GPU로 독점하던 시대에서, 브로드컴 연합군과 여러 NPU 업체들이 함께 시장을 키워가는 방향으로 갈 것”이라고 전망했습니다.

이 같은 경쟁이 한국 기업들에는 시장 확대 기회이기도 합니다. 김정호 카이스트 전기및전자공학부 교수는 “엔비디아 GPU는 CUDA 생태계 덕분에 범용성이 높아 당장 대체되기가 어렵다”며 “TPU는 특정 모델에 최적화하는 방식으로 서로 가는 길이 다르다. AI 시장이 성숙해가며 경쟁이 다원화되는 시작점”이라고 설명했습니다.

이어 “GPU든 TPU든 고성능 모델을 돌리기 위해서는 고대역폭메모리(HBM)가 필수”라며 “HBM 공급이 가능한 기업은 삼성전자·SK하이닉스·마이크론뿐이라 국내 기업에는 오히려 기회”라고 말했습니다.

황민규 기자(durchman@chosunbiz.com);최효정 기자(saudade@chosunbiz.com)

<저작권자 ⓒ ChosunBiz.com, 무단전재 및 재배포 금지>