12월 5일 열린 제4회 BOK-KCCI 공동 세미나에서 최태원 대한상공회의소 회장은 이창용 한국은행 총재와 대담하며 한국의 AI 인프라 전략을 정면으로 꺼냈다. 최 회장은 “한국이 글로벌 AI 경쟁에 본격적으로 참여하려면 향후 7년 안에 20GW 규모의 AI 데이터센터 역량을 갖춰야 한다”고 언급하며, 단순한 설비 확충이 아니라 국가 차원의 전략적 선택임을 강조했다.

그는 이어 “1GW당 약 70조 원이 소요되는 점을 감안하면 총 투자 규모는 1,400조 원 수준에 이를 것”이라며, AI 데이터센터를 “글로벌 인재와 데이터, 자본을 끌어들이는 국가 전략 자산”으로 규정했다. 사실상 AI 인프라를 향후 산업·금융·안보 경쟁력의 핵심 플랫폼으로 보아, 정부와 민간이 함께 참여하는 대규모 AI 생태계 조성이 필요하다는 메시지를 던진 셈이다.

최 회장은 AI 스타트업 육성을 핵심으로 꼽으며 “매력적인 AI 기업을 대량 생산하지 못하면 승리 어렵다”고 지적, 수만 개 스타트업이 성장할 시장 조성을 촉구했다. 미·중 경쟁 속 “제한 자원으로 선택·집중해 AI 3강 진입”해야 한다며, AI 버블 논란엔 “AI 산업 자체에는 버블 없고 이미 범용 인공지능(AGI)의 초입 단계에 진입했다”라고 평가했다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

한국은행과 대한상공회의소가 공동 개최한 제4회 BOK-KCCI 세미나에서 이창용 한국은행 총재(왼쪽)와 최태원 대한상공회의소 회장(오른쪽)이 ‘AI 시대의 성장과 혁신’을 주제로 특별 대담을 나누고 있다.

1,400조 원은 한국 GDP의 60% 수준의 숫자다. 그 자체로 강한 인상을 남긴다. 그러나 이 구상이 전제로 삼는 ‘더 많은 설비와 더 큰 인프라가 곧 경쟁력’이라는 접근은, 20세기 중화학공업 시대의 물량 중심 공식을 21세기 AI 혁명에 그대로 투영한 측면이 있다. 문제는 돈의 크기 자체가 아니라, 그 돈이 어떤 기술 패러다임과 전략에 따라 쓰이느냐에 있다.

하드웨어 일변도에서 ‘효율성 패러다임’으로

중국 스타트업 딥시크(DeepSeek)가 내놓은 대형 언어모델 DeepSeek-V3는 ‘하드웨어 물량=경쟁력’이라는 통념에 중요한 질문을 던진 사례다. DeepSeek-V3는 6,710억 파라미터라는 초거대 규모에도 불구하고, H800 GPU 약 2,048개를 활용해 500만~600만 달러 수준의 비용으로 학습을 마친 것으로 알려져 있다. 이는 비슷한 세대의 초거대 모델들이 수십만 대 GPU와 수천만 GPU-hours를 투입한 것과 비교할 때, 계산 자원을 크게 줄인 사례로 평가된다.

성능 측면에서도 DeepSeek-V3는 여러 벤치마크에서 GPT-4 계열과 비슷하거나 일부 과제에서는 앞서는 수치를 기록한 것으로 보고된다. 여기서 중요한 지점은, 수만 개의 GPU를 무작정 늘려서 밀어붙인 것이 아니라 MoE(Mixture-of-Experts) 구조와 희소성(sparsity)을 활용해 매 토큰마다 실제로 활성화되는 파라미터를 줄이고, 알고리즘·프레임워크·하드웨어를 동시에 최적화했다는 점이다.

반면 한국의 정책·산업 논의는 여전히 ‘더 많은 GPU, 더 큰 데이터센터, 더 많은 전력’이라는 직선적 스케일링에 무게를 두는 경향이 있다. 딥시크 사례에서 보듯 효율 최적화에 성공한다면 같은 수준의 AI 역량을 훨씬 적은 전력과 예산으로 달성할 수 있다. 1,400조 원을 쏟아부어 거대한 전력 소비 시설을 만드는 것이 과연 최선인지, 그리고 같은 목표를 더 똑똑한 방식으로 달성할 여지는 없는지 근본적인 질문이 필요한 시점이다.

포스트 실리콘과 뉴로모픽, ‘다음 반도체’에 베팅할 때

무어의 법칙 둔화로 기존 실리콘 CMOS 공정만으로 성능 향상을 지속하기는 점점 더 어려워지고 있다. 특히 초거대 AI 모델 학습에 필요한 연산량이 폭증하면서, 데이터센터의 전력 소모와 발열 문제는 이미 각국의 에너지·환경 정책에서 중요한 이슈로 떠올랐다.

이 한계를 넘어서는 대안으로는 유기반도체뿐 아니라 탄화규소(SiC), 갈륨나이트라이드(GaN), 멤리스터 기반 뉴로모픽 소자 등 다양한 ‘포스트 실리콘’ 재료와 구조가 검토되고 있다. 이러한 신소재·신구조는 뇌 신경망의 아날로그적 특성을 반도체에 구현함으로써, 적은 전력으로 대규모 병렬 처리를 수행하는 뉴로모픽 컴퓨팅의 기반이 될 수 있다. 인간의 뇌가 약 20W 수준의 전력으로 높은 인지 능력을 발휘하듯, 차세대 뉴로모픽 칩은 기존 디지털 칩 대비 전력 효율을 획기적으로 끌어올리는 것을 목표로 한다.

삼성과 SK하이닉스가 메모리 반도체에서 세계 1위를 차지할 수 있었던 것은 남들이 먼저 주목하지 않은 영역에 과감히 투자했기 때문이다. 지금 필요한 전략 역시 기존 미세공정 경쟁을 따라가는 데 막대한 자원을 투입하는 것보다는, 뉴로모픽과 신소재 기반 AI 칩 등 차세대 구조에 선제적으로 베팅하는 쪽에 더 가깝다. 이미 국내에서도 관련 국가 프로젝트와 연구가 진행 중인 만큼, 이를 ‘다음 반도체 패러다임’으로 육성하겠다는 중장기 청사진이 요구된다.

양자·뉴로모픽·AI를 잇는 장기 구도

AI의 미래를 논할 때 양자컴퓨팅은 장기적으로 피할 수 없는 변수다. 구글이 발표한 양자 프로세서는 특정 유형의 계산에서 기존 슈퍼컴퓨터보다 압도적으로 빠른 연산을 시연하며 ‘양자 우위’ 가능성을 보여줬다. 아직 일반적 AI 모델 학습 전체를 대체할 수준은 아니지만, 특정 최적화·샘플링·시뮬레이션 영역에서는 양자 알고리즘이 의미 있는 성능 우위를 가질 수 있다는 점이 확인되고 있다.

앞으로 중요해질 것은 양자컴퓨터가 고전 디지털 시스템과 결합된 하이브리드 구조로 진화할 것이라는 전망이다. 이때 초저전력·고효율의 뉴로모픽 및 신소재 칩은 양자 프로세서와 상호작용하는 컨트롤, 전처리·후처리 계층으로 기능하며 양자-AI-뉴로모픽을 잇는 통합 구조의 한 축을 담당할 수 있다. 이는 단순히 “양자컴퓨터도 준비하자”는 수준을 넘어, 미래 연산 패러다임 전체를 어떻게 설계할 것인지에 대한 전략적 질문이다.

소프트웨어 혁신, ‘가벼울수록 강해진다’

하드웨어 혁신 못지않게 중요한 축은 소프트웨어 최적화다. 딥시크의 사례는 같은 GPU를 쓰더라도 알고리즘과 시스템 설계에 따라 학습 비용을 극적으로 줄일 수 있음을 잘 보여준다. 한국이 지금부터 집중해야 할 소프트웨어 축은 명확하다.

먼저 지식 증류, 가지치기, 양자화 등 모델 압축 및 경량화 기술이다. 이들 기술은 모델 성능을 크게 떨어뜨리지 않으면서 파라미터 수와 연산량을 줄여, 같은 하드웨어로 더 많은 작업을 수행하게 만든다. 다음으로는 엣지 AI와 연합학습(Federated Learning)이다. 중앙 데이터센터에만 거대 모델을 올려두는 방식에서 벗어나, 스마트폰·차량·IoT 기기 등 엣지 디바이스에 적응형 모델을 배치해 지연시간을 줄이고 개인정보를 로컬에 남기는 구조로 가야 한다.

여기에 AI가 스스로 효율적인 신경망 구조를 설계하는 뉴럴 아키텍처 서치(Neural Architecture Search, NAS)가 결합되면, 인간이 일일이 설계한 모델보다 연산 효율이 뛰어난 구조를 자동으로 찾아낼 수 있다. 이런 소프트웨어 중심 혁신에 전략적으로 집중한다면, 1,400조 원 전체를 투입하지 않더라도 ‘효율성 중심의 세계 최고 수준 AI 역량’을 충분히 구축할 수 있다.

에너지·기후 시대의 AI 전략

기후위기 대응과 탄소중립은 이제 AI 산업에도 직접적인 제약 조건으로 작용한다. EU AI Act는 범용 AI 모델 제공자에게 에너지 소비를 포함한 자원 사용을 문서화·공개하도록 요구하며, 향후 에너지 효율 관련 표준과 라벨링 체계를 마련하는 방향을 제시하고 있다. 각국의 데이터센터 규제와 에너지 효율 정책은 AI 인프라가 더 이상 단순한 IT 설비가 아니라 에너지·환경 정책의 핵심 대상이 되었음을 보여준다.

한국은 초고속 인터넷 인프라와 5G 네트워크, 원전과 재생에너지가 혼합된 전력 구조를 갖추고 있어 ‘그린 AI’ 전략을 추진하기에 유리한 조건을 어느 정도 보유하고 있다. 대규모 단일 데이터센터 몇 개를 짓는 방식이 아니라, 에너지 효율을 극대화한 분산형 중소 규모 데이터센터와 엣지 인프라를 전국에 조밀하게 배치한다면, ‘전력 집약형 AI’가 아니라 ‘에너지 효율형 AI 한국 모델’을 구축할 수 있다.

100조 원으로 여는 다른 길

AI와 반도체에 대한 대규모 투자가 필요하다는 문제의식은 충분히 설득력이 있다. 다만 1,400조 원이라는 숫자 자체가 목표가 되어서는 안 되며, 같은 자원을 얼마나 전략적으로 설계·집중하느냐가 중요하다. 이를 위해 다음과 같은 단계적·집중형 투자 방향을 제안해볼 수 있다.

먼저 뉴로모픽과 신소재 기반 AI 칩 R&D에 20조 원을 투입해 5~7년 내 상용화 가능한 시제품과 설계 IP를 확보한다. 이때 유기반도체에만 국한하지 않고, 멤리스터·SiC·GaN 등 다양한 포스트 실리콘 후보를 포괄하는 ‘차세대 AI 칩’ 국가 프로그램을 설계하는 것이 바람직하다.

다음으로 AI 알고리즘과 시스템 효율화에 30조 원을 투자해 비용과 전력 효율을 극대화하는 한국형 효율 특화 LLM 스택을 구축한다. 네이버, 카카오, 국내 스타트업과 글로벌 인재가 참여하는 오픈소스·공동 연구 프로젝트를 통해, 한국이 강점을 가질 수 있는 특화 영역을 중심으로 생태계를 조성해야 한다.

마지막으로 에너지 효율형 AI 인프라에 50조 원을 투자해 분산형 초고효율 데이터센터와 엣지 인프라를 조성한다. 이는 20GW급 초대형 데이터센터 전략과는 다른 길로, 상대적으로 적은 전력으로 더 많은 AI 서비스를 제공할 수 있는 ‘스마트 인프라’ 구축이 목표다. 이 정도 규모의 100조 원급 집중 투자만으로도 AI 효율성, 그린 AI, 차세대 컴퓨팅 분야에서 세계적인 기준을 제시할 수 있다.

숫자보다 ‘공식’이 중요하다

1,400조 원이라는 숫자는 눈길을 끌기에 충분하지만, 진짜 승부는 “얼마를 쓰느냐”가 아니라 “어떤 공식으로 쓰느냐”에 달려 있다. 20세기형 추격자 모델의 연장선에서 더 많은 공장과 장비를 짓는다고 해서 21세기 AI 패권이 보장되지는 않는다.

딥시크가 보여준 알고리즘·시스템 효율화, 그리고 뉴로모픽과 신소재 기술이 예고하는 하드웨어 혁신을 결합한다면, 한국은 ‘AI 물량 강국’이 아니라 ‘AI 효율성의 세계 표준’을 지향할 수 있다. 위기의식을 숫자 키우기로 풀어내는 대신, 완전히 다른 공식을 설계하는 선택이 필요하다. 1,400조 원이 아니라 그 10분의 1 수준의 자원으로도 세계를 놀라게 할 수 있다는 가능성은 이미 여러 사례에서 힌트를 주고 있다. 이제 그 다음 증명을 한국이 해낼 차례다.

IT News / 김들풀 기자 itnews@