[양정민 기자] "1기가와트당 용량을 계산해 보면 성능을 유지하면 x86 대비 100억달러(약 14조9550억원)를 절감할 수 있다. 전력당 성능도 두 배에 달한다. Arm AGI CPU로 x86 시장 점유율 가져올 것"

24일(현지시간) 미국 샌프란시스코에서 열린 'Arm 에브리웨어' 행사에서 르네 하스 Arm CEO는 자신만만했다. 성능, 확장성, 효율성을 위해 칩 형태로 설계된 Arm AGI CPU가 핵심이다.

예측 가능한 확장성과 뛰어난 전력 효율성을 제공한 가운데 AGI CPU로 메인스트림 서버 CPU로 올라서겠다는 의지다. 무엇보다 설계를 넘어 직접 제작에 돌입, 다양한 가능성을 타진하는 장면이 특히 눈길을 끈다.

이날 Arm이 강조하는 키워드는 랙당 성능(throughput per rack)과 전력·CAPEX 효율성이다. 랙당 성능이 동급 전력·랙 조건에서 x86 서버 CPU 대비 랙당 성능 2배 이상이다. 같은 전력으로 더 많은 AI 에이전트·마이크로서비스를 돌릴 수 있게 된 셈이다.

CPU 시대 끝? Arm 생각 달랐다

<이미지를 클릭하시면 크게 보실 수 있습니다>

하스 CEO는 AI 시장 확대로 CPU 역할이 축소될 것이라는 전자 업계의 주장에 선을 그었다. 오히려 그 반대다. 하스 CEO에 따르면 사용자당 토큰 요청량은 기존 대비 15배 이상 폭증한 상태다.

하스 CEO는 "프롬프트를 보내면 가속기가 토큰을 생성하고 그 데이터를 조율해 돌려보내는 것은 결국 데이터센터 내 CPU의 몫"이라며 "현재 데이터센터는 과부하 상태인 와중에 가속기와 다른 장비로 핵심적인 작업을 하는 CPU로 가득 찬 데이터센터에 추가 CPU를 더 집어넣는 것은 어려운 일"이라고 판단했다.

Arm이 칩 형태의 AGI CPU를 제작한 이유다.

팹리스와 CSP, 하이퍼스케일러에 공급하는 CPU IP인 네오버스 V3 기반으로 설계됐다. 68개 코어로 구성된 다이 2개를 연결해 최대 136개 코어로 작동하며 코어당 2MB 용량의 L2 캐시를 더했다. 메모리 대역폭은 코어당 최대 6GB/s이며 메모리는 DDR5를 지원한다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

구체적으로 성능 측면에서는 CPU당 최대 136개의 Arm 네오버스 V3 코어를 통해 SoC, 블레이드, 랙당 업계 최고 수준의 성능을 제공하며 100ns 미만의 지연 시간을 지원한다.

확장성 측면에선 3나노 TSMC 공정 기반으로 프로그램 스레드당 전용 코어를 갖춘 300W TDP가 지속적인 부하에서 예측 가능한 성능을 보장한다. 또 스로틀링과 유휴 스레드 발생을 방지한다. 효율성에선 공랭식 배치를 지원하는 고밀도 1U 서버 섀시에서 랙당 최대 8160개 코어를 지원하며 수랭식 시스템에서는 랙당 4만5000코어 이상을 제공한다.

특히 효율성을 강조했다. 모하메드 아와드 Arm 클라우드 AI 사업부문 총괄 수석부사장은 "Arm AGI CPU를 사용하게 되면 더 이상 낭비되는 사이클도, 활용되지 못하는 유휴 컴퓨팅 리소스도, 낭비되는 전력이나 실리콘도 없어질 것"이라며 "x86 멀티 스레드를 사용했을 때 성능 차이가 미미하지만 Arm AGI CPU는 성능, 확장성, 효율성 측면에서 엄청난 영향을 끼친다"고 말했다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

Arm은 올해 1세대 제품을 시작으로 내년에는 Arm AGI CPU 2를, 가까운 미래에는 Arm AGI CPU 3도 함께 내놓을 예정이다. 컴퓨트 서브시스템(CSS)도 함께 강화해 2027년에 CSS V4, Arm AGI CPU 3 출시 즈음에 CSS V5도 함께 내놓을 예정이다.

한편 현장에선 삼성전자와 SK하이닉스의 HBM 협력도 함께 등장했다. 곽노정 SK하이닉스 사장과 전영현 삼성전자 DS부문장 겸 대표는 축사를 통해 격려의 뜻을 전했다. 곽 사장은 "AI 데이터센터가 진화함에 따라 플랫폼은 현대 애플리케이션에 필요한 용량과 대역폭을 제공하는 첨단 메모리 기술의 지원을 받아야 한다"며 "Arm AGI CPU를 통한 목적 기반 AI 컴퓨팅 도입은 생태계의 중요한 이정표"라고 강조했다.

전 대표도 "에이전틱 AI 시대 데이터센터는 단순히 계산만 하는 곳이 아니라 스스로 추론하고 실행하는 지능형 공간으로 변모하고 있다"며 "삼성전자는 Arm의 신규 CPU 아키텍처와 최첨단 HBM 기술을 결합해 전력 효율의 한계를 돌파하는 혁신적인 솔루션을 제공할 것"이라고 말했다.

모하메드 부사장은 "SK하이닉스, 삼성 같은 경우에는 거의 수십 년 정도 파트너 관계를 맺어 왔던 그런 기업들 덕분에 Arm AGI CPU가 만들어질 수 있었다"며 "신규 파트너들을 포함해 ODM, 메모리, CPU 등에서도 협력을 하고 있고 올해 말에 양산 예정에 있다"고 말했다. 모하메드 부사장이 발표한 신규 파트너 중 한 곳에는 한국의 리벨리온도 함께 있었다.

한편 Arm이 IP 비즈니스 기반의 설계를 넘어 직접 칩을 들고 나온 장면도 눈길을 끈다. 파트너 대체보다 협력사가 더 빠른 상용 설계의 촉매에 가깝기 때문이다.

데이터센터에서는 단일 칩 성능보다 랙 단위의 전력·냉각·배치 제약이 병목을 결정한다. 그리고 Arm이 완성형 CPU를 제시하면 PoC와 양산 설계로 이어지는 경로가 단축된다는 장점이 있다. Arm이 랙당 성능과 전력·케펙스 효율을 전면에 내세운 배경도 여기에 있다.

IP 비즈니스의 한계를 돌파하고 자신들의 칩을 들고나온 것 자체가 최근 변곡점이 많았던 ARM의 변신을 뜻한다는 분석도 나온다.

데이터센터 용량 포화…Arm이 CPU로 다잡는다

<이미지를 클릭하시면 크게 보실 수 있습니다>

Arm은 AGI CPU가 데이터센터에서도 큰 역할을 하게 될 것이라 전망했다.

무엇보다 데이터센터 운영자들이 비선형적 확장성 문제가 있었던 탓에 늘 30% 이상 용량을 오버프로비저닝했는데, 이제는 그럴 필요가 없어질 것이라는 주장이다.

업계에 따르면 데이터센터 운영자가 서버를 늘릴 때 이론상으로는 서버를 2배로 늘려도 처리량은 2배가 되지 않는 문제가 매번 발생한 바 있다. 마이크로서비스, 네트워크, 스토리지, CPU 캐시 미스, 컨텍스트 스위칭 등의 병목 때문이다.

실제 평균 부하는 60~70% 부근에서만 쓰는 식으로 운영했다.

Arm은 달랐다. 절감액을 메리트로 잡았다.

이날 Arm이 키노트에서 제시한 숫자는 1GW 데이터센터 기준 CAPEX 절감액은 최대 100억달러(약 14조9550억원) 수준이다. 랙당 성능이 2배가 되면 같은 CPU 처리량을 내는 데 필요한 랙 수가 절반으로 줄어들고 서버 구매비, 쿨링 설비, 랙 하우징, 전력 배분 인프라가 전부 감소하기 때문이다.

업계에 따르면 메타·구글·마이크로소프트·아마존이 짓는 하이퍼스케일 AI 캠퍼스는 이미 수GW 단위로 해당 스케일에서 랙당 성능이 2배로 이뤄질 시 실제로 수십억에서 수백억 달러의 CAPEX 차이를 만들어 낼 것으로 보인다.

하스 CEO는 "Arm 자체 전망에 따르면 앞으로 1GW 데이터센터당 최대 1200만개의 CPU가 필요하고 CPU 코어 수도 지금의 4배 이상 증가할 것"이라며 "이처럼 CPU 수요는 커지는 반면 가용 전력과 공간이 제약된 데이터센터에서 이를 확대하기는 쉽지 않다"고 설명했다.

이어 "AGI CPU는 지금까지 등장한 서버용 CPU가 안고 있는 한계를 극복하기 위해 처음부터 새롭게 설계된 제품"이라고 설명했다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

한편 이날 오픈AI와 메타도 Arm의 CPU·데이터센터에 큰 관심을 보였다.

오픈AI 케빈 휠 임원은 "우리가 오늘 사용하는 AI 모델은 앞으로 남은 평생 동안 사용할 모델 중 가장 최악의 모델일 것"이라며 "무한한 지능 수요를 감당하기 위해 CPU 전력 소모를 줄이고 그 모든 잉여 전력을 추론에 쏟아부어야 한다"고 강조했다.

메타 산토시 자나단 인프라 책임자도 "하루 30억명의 사람이 우리 앱을 사용하고 있는 상황에서 전력, 부지, 하드웨어, 소프트웨어, 실리콘이 아주 많이 필요하다"며 "Arm은 우리만큼이나 혁신에 목마름을 가지고 있고 오늘 발표된 AGI CPU는 프로덕션에 적용 가능한 제품을 만들어 시간을 단축할 수 있는 전체 생태계를 위한 주력 CPU가 될 것"이라고 말했다.

<저작권자 Copyright ⓒ ER 이코노믹리뷰 무단전재 및 재배포 금지>