미국 인디애나주 뉴칼라일에 있는 아마존웹서비스(AWS)의 인공지능(AI) 데이터센터. 글로벌 빅테크와 스탠퍼드대 등 연구진은 AI 개발에서 하드웨어의 한계가 명확해지고 있다고 지적했다. /로이터 연합뉴스

<이미지를 클릭하시면 크게 보실 수 있습니다>

“최첨단 인공지능(AI) 모델은 이전보다 훨씬 더 많은 에너지와 메모리를 요구한다. AI의 발전을 가능하게 했던 바로 그 시스템들이 이제는 기존 하드웨어 패러다임의 물리적·구조적·경제적 한계에 직면하고 있다”

미국 스탠퍼드대, UCLA와 구글, 오픈AI, 엔비디아, SK하이닉스 등 글로벌 빅테크 및 반도체 기업 연구진이 향후 10년간 AI와 하드웨어의 효율화를 이끌기 위한 AI 백서 ‘AI+HW 2035’를 최근 공개했다. AI 4대 구루(스승)로 불리는 얀 르쿤 뉴욕대 교수뿐 아니라, 각 빅테크의 AI 인프라 담당자 등 AI 인프라의 거물들이 모여 쓴 로드맵이다. 이들은 AI와 하드웨어를 연계한 발전을 통해 향후 10년간 AI의 에너지 효율을 1000배 늘릴 수 있다고 주장했다.


◇AI 최대 병목은 ‘메모리 장벽’

보고서가 꼽은 현재 AI 산업의 가장 큰 문제는 ‘메모리 장벽’이다. 현재 AI 시스템은 GPU 등 연산 장치와 메모리가 분리된 구조로, 연산에 필요한 데이터를 메모리에서 GPU로 계속 이동시켜야 한다. 문제는 이 같은 데이터 이동이 연산보다 더 많은 전력을 소모한다는 점이다.

그래픽=조선디자인랩 이연주

게다가 현재 AI 알고리즘과 반도체의 개발 주기가 맞지 않는 ‘미스매치’ 문제가 심화하고 있다. AI 모델은 몇 달마다 새 모델이 나오며 발전하는데, 이를 뒷받침할 하드웨어 칩을 설계하고 생산해 인프라를 구축하는 데는 수년이 걸린다는 것이다. 구식 하드웨어에 최신 AI 모델을 억지로 끼워 맞춰야 하는 셈이다. 보고서는 “실제 배포 환경에서 시스템은 5~20%의 활용률로만 작동한다”고 했다.

◇AI, 하드웨어와 함께 설계돼야

보고서는 앞으로의 AI 확장은 컴퓨팅 효율을 높이는 방향으로 가야 하고, AI와 하드웨어의 공동 설계가 필수적이라고 진단했다. 칩의 물리적 설계와 소프트웨어 알고리즘이 서로 피드백을 주며 톱니바퀴처럼 함께 진화하는 방향으로 기술이 개발돼야 한다는 것이다.

연구팀은 AI 구조가 현재의 연산 중심에서 메모리 중심으로 전환돼야 한다고 봤다. 메모리 자체가 연산 일부를 수행하는 ‘컴퓨팅 인 메모리(CIM)’ 구조로 바뀌어야 한다는 것이다. CIM은 연산부와 메모리를 물리적으로 밀착시켜 데이터 이동 비용을 줄인 기술이다. 지금은 창고(메모리)에서 물건(데이터)을 공장(프로세서)으로 트럭에 실어 보내서 조립하는 방식이지만, 창고 안에서 바로 조립을 하면 물류 비용이 줄어든다는 것이다.

AI 모델 역시 무조건 크게 만들기보다 작고 특화된 모델이 더 높은 정확도와 효율성을 보일 수 있다. 연구팀은 AI 알고리즘 최적화(10배), 하드웨어 발전(20배), 전력·냉각 등 시스템 발전(5배)의 결합을 통해 에너지 대비 AI 효율이 2035년까지 1000배 증가할 수 있다고 전망하고 있다.

◇K-메모리 중요도 더 커져

16일부터 19일(현지시간)까지 미국 새너제이에서 열리는 엔비디아 GTC에 전시된 삼성전자 HBM4E. /삼성전자

<이미지를 클릭하시면 크게 보실 수 있습니다>

향후 10년의 AI 시스템 발전은 “데이터를 얼마나 적게 이동시키고, 메모리와 연산 장치를 얼마나 긴밀하게 하나로 융합할 수 있는가”에 달려 있다는 진단이다. 메모리와 연산을 결합하는 구조가 중요해지면서, 고대역폭 메모리(HBM) 등 AI 메모리에서 확고한 입지를 가진 삼성전자와 SK하이닉스가 앞으로도 주목받을 수 있다.

국내 메모리 기업들은 이미 연산 기능을 탑재한 메모리와 3D 적층 기술 개발에 나섰다. 삼성전자는 GPU와 같은 계산용 칩에 HBM을 3D 기술로 수직 적층해 연결하는 zHBM, 고객사 요구에 맞게 연산 능력을 베이스다이로 일부 옮기는 커스텀 HBM을 개발하고 있다. SK하이닉스 역시 커스텀 HBM과 함께 AI에 특화한 범용 D램과 낸드플래시를 개발하고 있다.

[박지민 기자]

- Copyrights ⓒ 조선일보 & chosun.com, 무단 전재 및 재배포 금지 -