지난 10년 이상 동안 클라우드 아키텍처는 스토리지와 컴퓨팅을 의도적으로 분리하는 구조를 중심으로 구축돼 왔다. 이 모델에서 스토리지는 단순히 데이터를 보관하는 공간이 되었고, 지능적인 처리는 전적으로 컴퓨팅 계층에서 수행됐다.

이 설계는 구조화된 테이블 기반 데이터를 처리하는 전통적인 분석 작업에서는 잘 작동했다. 이런 워크로드는 예측 가능하고 일정한 주기로 실행되는 경우가 많으며, 제한된 수의 컴퓨팅 엔진이 데이터셋을 처리한다. 그러나 AI가 기업 인프라와 워크로드 요구 사항을 바꾸면서 상황이 달라지고 있다. 데이터 처리가 대량의 비정형 데이터 중심으로 이동하면서 기존 모델은 점점 한계를 드러내고 있다.

한때 효율성의 장점이었던 구조가 이제는 점차 구조적 비용이 되고 있다.

스토리지·컴퓨팅 분리 구조의 한계를 드러내는 AI

AI는 기업이 기존 분석 워크로드에서 경험해 온 방식과 근본적으로 다른 요구를 만든다. 과거에는 테이블과 행 데이터를 하나의 엔진이 배치 작업으로 처리했다. 그러나 오늘날의 AI 파이프라인은 방대한 비정형 데이터와 멀티모달 데이터를 처리하며 동시에 대량의 임베딩, 벡터, 메타데이터를 생성한다. 처리 방식 역시 점점 연속적으로 변하고 있으며, 여러 컴퓨팅 엔진이 동일한 데이터를 반복적으로 접근한다. 각 엔진은 데이터를 스토리지에서 꺼내 자신의 작업에 맞게 다시 가공한다.

그 결과는 단순한 데이터 이동 증가에 그치지 않는다. 동일한 작업이 반복적으로 수행된다. 같은 데이터셋이 스토리지에서 읽혀 모델 학습을 위해 변환되고, 다시 읽혀 추론을 위해 재구성되며, 다시 테스트와 검증을 위해 처리된다. 그때마다 데이터 전송과 변환 비용이 다시 발생한다. 이런 구조 때문에 데이터 과학자는 모델 개발이나 성능 개선보다 데이터 준비와 정리 작업에 최대 80%의 시간을 사용한다.

이런 비효율은 작은 규모에서는 눈에 띄지 않을 수 있다. 그러나 AI 워크로드가 커질수록 주요한 경제적 제약으로 빠르게 확대된다. 단순한 시간 낭비를 넘어 실제 인프라 비용으로 이어진다. 예를 들어 현재 93%의 기업은 GPU를 충분히 활용하지 못하고 있다고 답한다. 주요 클라우드 플랫폼에서 고성능 GPU는 시간당 수 달러의 비용이 발생한다. 이런 미활용은 결국 수천만 달러 규모의 컴퓨팅 비용 낭비로 이어질 수 있다. GPU가 인프라 예산의 핵심 요소가 될수록 I/O 대기로 시간을 보내는 구조는 점점 정당화하기 어려워진다.

수동적 스토리지에서 지능형 스토리지로

AI 워크로드가 드러낸 비효율은 스토리지와 컴퓨팅의 관계가 근본적으로 바뀌어야 한다는 사실을 보여준다. 스토리지는 더 이상 단순한 기록 저장 시스템으로 존재할 수 없다. 현대 AI 워크로드를 효율적으로 지원하고 기업이 보유한 데이터의 가치를 최대화하려면 컴퓨팅이 데이터가 존재하는 위치에 더 가까워져야 한다.

산업의 경제 구조 역시 이 사실을 보여준다. 기존 스토리지에 저장된 1TB 데이터는 대부분 비용 요소에 가깝다. 그러나 동일한 데이터가 컴퓨팅 계층이 통합된 플랫폼으로 이동하면 경제적 가치는 여러 배로 증가한다. 데이터 자체는 변하지 않는다. 단지 데이터를 변환하고 유용한 형태로 제공하는 컴퓨팅이 존재하느냐의 차이일 뿐이다.

따라서 데이터 이동을 계속하는 대신 컴퓨팅을 데이터로 가져오는 것이 해결책이다. 데이터 준비는 데이터가 존재하는 위치에서 한 번만 수행하고, 그 결과를 여러 파이프라인에서 재사용해야 한다. 이런 모델에서는 스토리지가 단순한 저장 계층이 아니라 데이터를 변환하고 정리하며 하위 시스템에 맞게 제공하는 활성 계층이 된다.

이 변화는 성능과 경제성 모두를 바꾼다. 데이터가 미리 준비되기 때문에 파이프라인 속도는 빨라진다. GPU는 중복 I/O를 기다리는 시간이 줄어들어 더 효율적으로 사용된다. 반복적인 데이터 준비 비용도 크게 줄어든다.

이 새로운 모델에서 스마트 스토리지는 데이터를 단순히 저장하는 공간이 아니라, AI 시스템에서 바로 활용할 수 있도록 지속적으로 정리되고 확장되는 자원으로 바꾼다. 원시 데이터를 수동적인 저장소에 그대로 두고 외부 파이프라인이 해석하도록 하지 않고, 스마트 스토리지는 데이터 계층 내부에서 컴퓨팅을 적용해 데이터가 유입되는 순간부터 변환과 메타데이터 생성, 최적화된 형태로의 가공을 수행한다.

데이터를 한 번 준비하고 여러 워크플로에서 재사용하면 스토리지는 병목이 아니라 활성 플랫폼이 된다. 이런 변화가 없다면 기업은 반복적인 데이터 처리, 지속적인 데이터 재구성, 증가하는 인프라 비용의 악순환에 계속 묶일 것이다.

AI 시대 인프라 준비

클라우드에서 스토리지와 컴퓨팅을 분리한 설계는 당시에는 올바른 아키텍처 선택이었다. 그러나 AI 워크로드는 데이터의 경제 구조를 근본적으로 바꾸었고 기존 접근 방식의 한계를 드러냈다. 필자는 이런 제약 때문에 여러 기업의 AI 프로젝트가 중단되는 사례를 직접 목격했고, 그 경험을 통해 데이터펠라고(DataPelago)를 창업했다.

현재 업계는 데이터 파이프라인의 개별 단계를 가속하는 데 집중하고 있다. 그러나 효율성은 더 이상 기존 아키텍처에서 작은 성능 개선을 반복하는 방식으로 결정되지 않는다. 반복적인 데이터 준비, 과도한 데이터 이동, 낭비되는 컴퓨팅을 줄이면서 데이터를 즉시 활용할 수 있는 새로운 아키텍처를 구축하는 것이 핵심이다. AI 요구 사항이 점점 명확해질수록 차세대 인프라는 스토리지와 컴퓨팅을 얼마나 지능적으로 결합하느냐에 의해 정의될 것이라는 사실이 분명해지고 있다.

성공하는 기업은 스마트 스토리지를 AI 전략의 핵심 기반으로 삼는 기업이 될 것이다.

dl-itworldkorea@foundryco.com