지난 1년여 동안 여러 차례 지적한 것처럼, 클라우드 컨퍼런스는 데이터센터 컨퍼런스, 데이터베이스 컨퍼런스 등과 마찬가지로 생성형 AI 컨퍼런스가 됐다. 단순한 트렌드를 넘어 업계의 판도를 바꾸고 있는 것이 분명하다. 하지만 지난 30년 동안 이런 일이 충분히 많이 일어났기 때문에 진정한 트렌드가 될 수 있는 것은 아무것도 없다는 것을 모두 알고 있다. "푸시 기술"을 기억하는가?

기업이 생성형 AI에 뛰어들면서 최적의 성능과 비용 효율성을 위해 적절한 인프라를 선택하는 것이 매우 중요해졌다. 클라우드 컴퓨팅과 기존 온프레미스 솔루션을 비교해보면, 클라우드 플랫폼에서 생성형 AI 애플리케이션을 호스팅할 때 몇 가지 흥미로운 점을 발견할 수 있다. 이런 약점은 생성형 AI 시스템을 위한 플랫폼을 선택할 때, 퍼블릭 클라우드 플랫폼이 무조건 최고의 선택은 아니라는 것을 의미한다. 쉽게 골을 넣을 수 있는 "슬램덩크"는 아니라는 것이다.

ⓒ Getty Images Bank

<이미지를 클릭하시면 크게 보실 수 있습니다>

편의성 대 비용 효율성

편의성 측면에서 클라우드는 생성형 AI를 위한 더 나은 플랫폼이다. 퍼블릭 클라우드 플랫폼은 생성형 AI 툴와 개발 지원의 생태계 전반에 걸쳐 잘 자리 잡고 있으며, 여기서 생성형 AI 시스템을 구축하고 배포하는 것은 버튼을 누르는 것만큼이나 쉬운 일이다.

대부분 기업이 생성형 AI의 사용례와 시스템 배포 방법에 대해 이제 막 알아가고 있다는 점을 고려할 때, 가장 먼저 사용하는 플랫폼은 클라우드가 될 것이다. 필자 역시 비슷한 이유로 지난 10년 동안 AI 프로젝트에서 클라우드에 집중했다.

하지만 비용은 어떨까? 배포의 용이성과 확장성 때문에 클라우드를 사용했지만, 클라우드 플랫폼이 일반적으로 같은 역할을 하는 온프레미스 환경보다 비용이 더 많이 든다는 사실을 금방 알게 된다. 연비는 환경에 따라, 그리고 특히 어디에 사용하느냐에 따라 다르다. 하지만 일반적으로 클라우드가 생성형 AI를 위한 더 비싼 플랫폼이라고 말할 수 있다.

가까운 과거에서 얻는 교훈

그렇다고 기업이 자체 데이터센터를 구매하거나 구축해야 한다는 의미는 아니다. 하드웨어와 데이터센터 공간을 임대하고 해당 시스템을 대신 운영해 주는 코로케이션 서비스 업체와 매니지드 서비스 업체가 더 나은 선택지다.

또한 새롭게 떠오르고 있는 마이크로 클라우드도 고려해야 한다. 마이크로 클라우드는 GPU와 TPU를 서비스 방식으로 제공하는 신생 AI 클라우드 서비스 업체다. 이들은 경쟁력을 위해 퍼블릭 클라우드 서비스 업체보다 낮은 비용을 청구할 것이다. 따라서 이들 신생 업체와 모험을 할 의지가 기업이라면, 더 비용 효율적인 선택이 될 것이다. 하지만 몇 년 안에 이들 업체는 대부분 대형 클라우드 업체가 삼켜버릴 것이라고 가정하는 것이 안전하다.

가까운 과거에 우리가 배운 교훈이 여기에 있다. 퍼블릭 클라우드는 훌륭하지만, 비용에 있어서는 많은 기업이 약 2.5배나 되는, 생각보다 높은 비용 때문에 큰 도움이 되지 않는다고 생각한다. 이 수치는 임의적이지만 필자의 경험에 비춰 보면 꽤 정확한 수치다.

물론 이런 초과 비용 대부분은 해당 기업이 자초한 것이다. 많은 기업이 언젠가는 워크로드를 현대화해 비용을 절감할 수 있을 것으로 기대하며 클라우드로 워크로드를 이전했다. 하지만 실제로는 그렇지 못했고, 이제 일부는 다시 온프레미스 시스템으로 돌아가고 있다. 생성형 AI 시스템은 대부분 완전히 새로운 것이므로 이런 유형의 '시작부터 잘못하는' 실수는 발생하지 않아야 한다.

재발 방지를 위한 고려사항

물론 비용 외에도 다른 문제도 있다. 보안이 가장 먼저 떠오를 것이다. 클라우드 서비스 업체가 온프레미스 환경과 동일한 수준의 보안을 제공하지 않을 수 있으므로 민감한 데이터를 클라우드에 보관하면 보안에 대한 우려가 높아진다. 산업군에 따라 데이터 저장 및 처리와 관련해 구체적인 규제 사항이 있다.

여기서 일부 현실과 인식의 괴리가 생긴다. 많은 경우 퍼블릭 클라우드 서비스 업체는 온프레미스보다 더 나은 보안을 제공할 수 있다. 하지만 일부 사용례에는 매우 민감한 데이터와 지식 모델이 포함되어 있어 데이터가 손실될 경우 비즈니스에 치명적인 상황이 발생할 수 있다. 따라서 많은 기업이 데이터와 AI 모델을 온프레미스에 보관할 것으로 고집한다.

또한 클라우드 인프라는 원격지로의 데이터 전송으로 인해 지연 시간이 발생할 수 있으며, 클라우드 환경의 분산된 특성으로 인해 데이터 프라이버시 문제가 야기할 수 있다. 또한 클라우드 서비스에 액세스하려면 원활한 운영을 위해 안정적인 인터넷 연결이 필요하다. 네트워크 서비스 중단은 운영 연속성에 영향을 미치는 요인이다.

마지막으로, 하이브리드 클라우드 시나리오에서는 여러 플랫폼에 맞게 데이터를 적절히 구조화하고 여러 환경에서 다양한 기능을 관리해야 하는 과제가 있다. 클라우드 컴퓨팅과 같이 분산된 데이터 환경에서는 동기화 프로세스를 관리하고 데이터 일관성을 보장하는 것이 복잡한 과제가 될 수 있다.

이 모든 것은 클라우드를 생성형 AI 시스템을 위한 유일한 플랫폼으로 보는 사람들이 아직 그 실체를 파악하지 못했음을 의미한다. 몇 년 동안 클라우드를 사용하면서 수백만 달러를 클라우드 인프라 비용으로 지불하고 하드웨어가 저렴해지면서 많은 기업이 생성형 AI를 위해 기존 데이터센터로 돌아갈 것이라고 생각한다.

필자는 많은 클라우드 서비스 업체가 이런 트렌드에 대응해 일시적으로 가격을 낮췄다가 나중에 다시 인상할 것이라고 생각한다. 이들은 생성형 AI 분야에 확고하게 자리 잡기 위해 수십억 달러를 투자했으며, 어떻게든 투자금을 회수해야 한다.

비즈니스에 가장 큰 가치를 돌려줄 수 있는 것이 무엇인지에 대해 결정하는 것은 각자의 몫이다. 지금은 전선이 형성되고 있는 시점이다. 필자는 가장 많은 가치를 창출하는 플랫폼이 승리하기를 바란다.
editor@itworld.co.kr

David Linthicum editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지