<이미지를 클릭하시면 크게 보실 수 있습니다>

매년 3월 미국 새너제이에서 열리는 엔비디아의 그래픽처리장치(GPU) 개발자 콘퍼런스 ‘GTC’는 글로벌 테크 산업의 흐름을 보여주는 주요 무대다. 2년 전 GTC에서 젠슨 황 최고경영자(CEO)는 ‘블랙웰(Blackwell)’이라는 고성능 단일 칩을 전면에 내세웠다.

올 3월은 달랐다. 황 CEO는 새로운 단일 칩이 아닌 서로 다른 7개의 칩과 5개의 랙(Rack)으로 구성된 거대한 시스템을 소개했다. 엔비디아가 단순한 반도체 설계(팹리스) 기업을 넘어 인공지능(AI) 데이터센터 인프라 전체를 일괄 공급(턴키)하는 설계자로 사업 구조를 확장하고 있음을 엿볼 수 있는 대목이다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

최근 AI 산업의 핵심은 모델을 개발하는 ‘학습’에서 실제 서비스로 활용되는 ‘추론’으로 이동하고 있다. 챗GPT 등장 이후 추론 연산에 필요한 토큰 처리량은 약 1만 배 폭증했다. AI 모델이 스스로 도구를 호출하고 논리를 검증하는 에이전트(Agentic) 시대로 진화한 까닭이다. 기존의 범용 GPU 단일 아키텍처만으로는 전력 소모와 메모리 대역폭의 한계를 극복하기 어려워졌다.

황 CEO는 기조연설에서 “향후 전 세계의 모든 CEO가 자사의 비즈니스를 평가할 때 ‘전력당 토큰 생산량(Tokens per Watt)’을 핵심 지표로 삼게 될 것”이라고 단언했다. 한정된 전력 내에서 얼마나 빠르고 경제적으로 토큰을 생산해 내는지가 기업의 수익과 직결되기 때문이다. 이에 따라 엔비디아는 50페타플롭스(PFLOPS) 성능의 루빈(Rubin) GPU와 베라(Vera) 중앙처리장치(CPU), 그로크(Groq)3 언어처리장치(LPU) 등 총 7개의 칩을 하나의 목적에 맞게 엮은 랙 시스템을 제시했다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

이번 발표에서 업계에서는 200억 달러(약 29조 원)를 들여 인수한 그로크의 LPU 통합을 눈여겨 봤다. 거대 언어 모델이 답변을 생성하는 디코드(Decode) 단계에서 기존 GPU는 메모리 병목으로 쉴 수밖에 없었다. 비효율이 발생한 것이다.

반면 그로크 3 LPU는 단 500메가바이트(MB)의 S램(정적램·SRAM)만을 탑재하고도 초당 150테라바이트(TB)의 넓은 대역폭을 제공한다. 컴파일러가 데이터 흐름을 정적으로 스케줄링하는 결정론적(Deterministic) 설계를 적용한 결과다. 엔비디아는 이질적인 하드웨어들을 다이나모(Dynamo) 운영체제(OS)로 묶어 이전 세대인 블랙웰 대비 최대 35배의 연산 성능 향상을 이뤄냈다.

유명 반도체 분석 기관인 세미애널리시스(SemiAnalysis)의 딜런 파텔 수석 분석가는 이를 두고 “엔비디아가 기대치를 조절하기 위해 보수적으로 수치를 발표했을 뿐 실제 성능 도약은 50배에 달할 것”이라고 평가하기도 했다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

그동안 GPU의 보조 역할에 머물렀던 중앙처리장치(CPU)의 비중도 커졌다. 에이전트 AI 환경에서는 직렬 처리 능력이 시스템 전체의 병목을 좌우하기 때문이다. 자체 설계한 베라 CPU는 에이전트 제어에 특화된 88개의 올림푸스(Olympus) 코어와 최신 저전력 모바일 D램(LPDDR5X)를 채택해 에너지 효율을 2배가량 높였다.

황 CEO는 “우리가 CPU를 단독으로 팔게 될 줄은 몰랐지만 지금 엄청난 양의 CPU를 단독으로 판매하고 있고 이는 이미 수십억 달러(Multi-Billion Dollar) 규모의 비즈니스”라고 밝혔다. 메타(Meta) 등 빅테크들이 베라 CPU 단독 선주문에 나서면서 전통적인 서버 CPU 시장 구도에도 변화가 감지된다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

AI 데이터센터 확장의 주요 제약 요인은 전력 확보다. 혹 탄 브로드컴 CEO가 수년 전부터 지적해 온 광학 트랜시버의 전력 병목 문제를 해결하기 위해 엔비디아는 동반 패키징 광학(CPO) 기술을 스펙트럼-6(Spectrum-6) 스위치에 상용화했다. 초소형 광 변조기(MRM)를 기판에 직접 배치해 포트당 전력 소모를 30와트(W)에서 9 와트(W) 수준으로 낮췄고 절감한 전력을 GPU 등 연산 칩 구동에 추가로 활용할 수 있게 설계했다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

비즈니스 지표 또한 구체화되고 있다. 젠슨 황 CEO는 “2027년 말까지 최소 1조 달러 이상의 매출 가시성을 확보했다”면서 “이 1조 달러는 오직 블랙웰과 루빈 GPU만을 포함한 수치이며 그로크와 스토리지, 네트워킹, 베라 CPU 등은 전혀 포함되지 않았다”고 강조했다.

수주 물량은 날로 늘어가고 황 CEO가 제시한 수치도 고무적이지만 한계는 있다. 장비 수급이다. 세미애널리시스는 “ASML의 연간 극자외선(EUV) 장비 생산량은 고작 70대 수준에 불과해 이 속도라면 2030년까지 전 세계가 확보할 수 있는 AI 컴퓨팅 용량은 물리적 상한선에 부딪힐 것”이라며 공급망의 구조적 한계를 짚었다.

장비 부족 못지 않게 심각한 전력난을 해소하기 위한 해결책도 소개됐다. 우주 궤도에 데이터센터를 구축하는 ‘프로젝트 스페이스 원(Space One)’ 구상을 공개한 것이다. 대기가 없어 태양광 발전 효율이 지구 표면보다 6~10배 높고 무한한 자연 냉각이 가능하다는 점에 착안한 행보다. 단일 칩의 성능 경쟁을 벌이던 엔비디아가 현실적 제약을 딛고 AI 인프라를 공급할 수 있는 솔루션을 제공하는 기업으로 한 단계 도약하고 있다는 평가가 나온다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

---

※‘갭 월드(Gap World)’는 서종‘갑 기자’의 시선으로 기술 패권 경쟁 시대 쏟아지는 뉴스의 틈(Gap)을 파고드는 코너입니다. 최첨단 기술·반도체 이슈의 핵심과 전망 ‘갭 월드’에서 확인하세요. 갭 월드 코너와 기자페이지를 구독해주세요.

궁금한 사항이나 건설적인 논의와 제안은 언제든 환영입니다. 제 메일로 연락주시면 후속 취재해 다음 시리즈에 반영하겠습니다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

엔비디아 그록 3 LPU 공개: 수혜받는 한국 반도체 시장ㅣGTC 2026

서종갑 기자 gap@sedaily.com

[ⓒ 서울경제, 무단 전재 및 재배포 금지]