민감한 데이터를 AI로 처리하려는 기업은 딜레마에 빠지기 쉽다. 온프레미스 AI 인프라에 더 많은 비용을 쓰거나 퍼블릭 클라우드에서 데이터 주권 및 규제 준수 장벽과 싸워야 하기 때문이다. AWS는 이런 기업을 위한 또 다른 선택지를 내놨다. 바로 AI 팩토리(AI Factories)라는 완전 관리형 온프레미스 AI 인프라 서비스다.

기존의 일반 컴퓨팅 워크로드용 ‘AWS 아웃포스트(Outposts)’와 마찬가지로 AI 팩토리는 전용 하드웨어와 소프트웨어를 고객 데이터센터에 직접 설치해 준다. 이를 통해 기업은 데이터 주권 규정을 위반하지 않고 AI와 에이전트 기반 애플리케이션을 운영할 수 있다.

AWS CEO 매트 가먼은 AWS 리인벤트(re:Invent) 컨퍼런스 기조 연설에서 “이번 발표로 고객이 AWS 전용 AI 인프라를 자체 데이터센터에 배치해 독점적으로 사용할 수 있도록 지원한다”라고 강조했다.

AI 팩토리의 전용 하드웨어·소프트웨어 스택에는 엔비디아의 최신 GPU, AWS의 트레이니움(Trainium) 칩, 고성능 네트워크, 세이지메이커(SageMaker)와 베드록 같은 소프트웨어 서비스가 포함돼 있다.

가먼은 AI 팩토리를 “프라이빗 AWS 리전”으로 규정했다. 기업이 보유한 데이터센터의 공간과 전력 용량을 활용하는 방법으로 데이터 주권에 대한 요구는 완전히 통제 가능한 인프라로 관리하면서 클라우드와 같은 탄력성을 누릴 수 있다는 설명이다.

하이퍼프레임 리서치(HyperFRAME Research)의 애널리스트 스티븐 소프코는 데이터 주권과 규제 준수가 얽힌 AI 도입 과제를 안고 있는 기업에 이 서비스가 도움이 될 것이라고 분석했다. 소프코는 “AWS AI 팩토리는 클라우드 네이티브 혁신 속도와 주권 통제 사이의 긴장을 해소하려는 시도다. 그 동안 두 목표는 서로 충돌하는 것이었다. CIO는 온프레미스 보안과 퍼블릭 클라우드의 비용 및 속도를 두고 지속 불가능한 선택을 강요받았다”라며, “소버린 AI 시장에서 AWS가 내놓은 가장 의미 있는 움직임”이라고 평가했다.

AI 팩토리가 퍼블릭 클라우드 서비스 업체가 관리하는 AI 가속기를 기업 데이터센터에 들여놓는 첫 시도는 아니다. 오라클은 지난 3월에 매니지드 온프레미스 서비스 ‘클라우드 앳 커스터머(Cloud@Customer)’에 엔비디아 프로세서를 도입했고, 마이크로소프트는 지난달 애저 로컬(Azure Local) 서비스에 엔비디아 프로세서를 추가하겠다고 발표했다. 구글 디스트리뷰티드 클라우드(Google Distributed Cloud)에도 GPU 옵션이 포함돼 있고, AWS도 이미 아웃포스트에 저전력 엔비디아 프로세서를 제공하고 있다.

AWS AI 팩토리는 엔비디아의 AI 팩토리, 델의 AI 팩토리 스택, HPE의 프라이빗 클라우드 포 AI(HPE Private Cloud for AI) 같은 다양한 유사 제품과도 경쟁할 가능성이 크다. 이들 서비스는 모두 엔비디아 GPU, 네트워크, 소프트웨어와 긴밀히 연동되며, 온프레미스 AI의 표준 플랫폼 자리를 두고 경쟁하고 있다.

하지만 소프코는 하드웨어와 소프트웨어 통합 및 운영 성숙도 측면에서 AWS가 경쟁사보다 우위에 설 것이라며, “비결은 인프라가 아니라 소프트웨어에 있다”라고 강조했다.

옴디아(Omdia) 대표 애널리스트 알렉산더 해로웰은 AWS AI 팩토리가 온프레미스 인프라의 통제력을 제공하는 아웃포스트와 더 다양한 서비스를 운용할 수 있는 로컬 존(Local Zones)의 유연성을 결합할 것으로 예상했다. 로컬 존은 대도시 인근에 소규모 데이터센터를 배치해 서비스 지연 시간을 줄이는 모델이다.

소프코는 또 오라클의 클라우드 앳 커스터머 제품군 중 하나인 OCI 전용 리전을 예로 들며, 기업이 높은 약정 비용을 감수해야 할 가능성이 크다고 경고했다.

소프코는 “오라클의 OCI 전용 리전은 최소 5년 약정을 요구하며, 연간 최소 지출 금액은 약 100만 달러 수준에서 시작한다. AWS가 하드웨어·네트워크·관리 기능을 직접 배치해야 하는 점을 감안하면, AWS도 비슷한 수준의 다년 약정을 요구할 것”이라고 설명했다.

AWS는 아직 구체적인 약정 조건을 공개하지 않았다.

dl-itworldkorea@foundryco.com