AI를 도입하는 과정에서 기업은 클라우드나 온프레미스 둘 중 하나를 선택해야 한다는 압박을 느낀다. 그러나 과거의 실수에서 교훈을 배우자. 모든 상황에 다 맞는 솔루션은 거의 없다는 사실을 깨달아야 한다.

왜 IT 업계는 새로운 개념이 등장하면 곧바로 한 플랫폼에서 가장 잘 실행된다는 발표가 나오는 함정에 계속 빠지는 것일까? 그러고 나면 기업은 다른 선택지에는 눈조차 돌려서는 안 되는 것처럼 말이다.

ⓒ Getty Images Bank

<이미지를 클릭하시면 크게 보실 수 있습니다>

벤처비트(VentureBeat)의 기사도 한 예다. 그러나 대부분의 기사보다 더 균형 잡힌 시각을 보여준다. 많은 전문가가 클라우드 컴퓨팅을 AI 분야의 유일한 합리적 선택으로 제시하는 반면, 많은 하드웨어 업체는 기존 하드웨어가 최선의 선택이라고 주장한다. 어느 쪽 말이 맞을까?

플랫폼을 선택할 때의 미묘한 차이

AI 강연 행사에서 받는 질문은 예전에는 "어떤 클라우드가 가장 좋은가?" 였다. 이제는 "어디에서 AI를 실행해야 하는가?"라는 질문을 가장 많이 받는다. 두 질문 모두 흑백논리로 답할 수 없다. 특정 문제를 해결할 수 있는 최고의 클라우드와 최고의 AI 플랫폼을 정의하려면 많은 계획이 필요하다.

10년 전 오직 클라우드만 행진을 주도하던 시절을 기억하는가? 많은 기업이 모든 문제에 클라우드 컴퓨팅을 적용했다. 안타깝게도 클라우드라는 네모난 못이 네모난 구멍에 맞는 경우는 절반 정도에 불과했다.

지금도 똑같이 오래된 덫에 걸려들고 있는 것 같다. 이러한 함정을 피하는 가장 간단한 방법은 기업이 해결하고자 하는 구체적인 비즈니스 문제를 이해하는 것이다. 결론부터 말하자면 최종 해답이 항상 퍼블릭 클라우드가 될 수는 없다.

필자는 전문가와의 대화에서 이러한 하나의 문제에 하나의 솔루션만 대입하는 권고에 대해 재미있게 논의해 왔다. AI에 단일 플랫폼으로 접근하는 방식을 고집하는 주장은 종종 "특정 비즈니스 사례에는 알맞지 않지만 일반적으로는 맞다"라는 식으로 특정 사례에서 일반 사례로 논리를 전개하지만 사실 비논리적이다.

필자는 클라우드 컴퓨팅에 반대하지 않는다. 클라우드 컴퓨팅은 많은 AI 솔루션의 논리적 호스트이며, 필자도 종종 이러한 솔루션의 아키텍트 역할을 해왔다. 클라우드에는 모든 생성형 AI 도구 세트, 온디맨드 확장성 등이 포함된 자체 AI 생태계가 있다.

필요에 따라 다양한 옵션을 사용할 수 있으며 최종 결정은 사용자가 내릴 수 있다는 점을 명심하자. AI 아키텍트는 비즈니스의 특정 요구사항에 따라 최적의 플랫폼을 정의한다. 숙련된 전문가가 기업에 가장 높은 가치를 창출할 수 있는 가장 비용 효율적인 AI 플랫폼을 선택할 것이다.

클라우드의 민첩성과 리소스를 즉시 확장하거나 축소할 수 있는 즉각성은 빠른 진화가 특징인 AI 분야에서 매우 중요하다. 또한 클라우드 플랫폼은 내부적으로 복제할 수 없는 고급 보안 및 운영 안정성 조치를 갖추고 있다. 그러나 너무 비싸고 특정 사용례에 대한 규정 준수 및 보안 모델에 적합하지 않은 경우도 있다. 비용 효율은 특히 냉정하게 고려해야 할 사항이다.

온프레미스 인프라를 지지하는 사람들은 특히 의료나 금융과 같이 규제가 엄격한 산업에서 더 나은 제어 및 규정 준수가 필요하다고 주장한다. 이들은 데이터가 많은 워크로드의 잠재적인 비용 절감, 특정 작업의 지연 시간 및 성능 개선, 클라우드 업체의 제약에 얽매이지 않고 인프라를 사용자 정의할 수 있는 자율성 등을 그 이유로 꼽는다. 이러한 장점은 모두 좋은 점이지만 특정한 사례에만 해당된다는 점이 문제다.

그렇다면 클라우드와 온프레미스 중 하나를 고를 때 어떻게 결정해야 할까? 다음 기준을 따르면 생각보다 쉽다.

1. 비즈니스 사용례를 결정한다.
2. 비즈니스 요구 사항에 대한 합의를 도출한다.
3. 기술 요구 사항을 고려한다.
4. 올바른 플랫폼을 선택한다.

플랫폼 선택은 가장 마지막 순서다. 해결할 문제에 대한 이해가 전혀 없음에도 불구하고 자신이 '플랫폼 천리안'이라고 주장하며 AI 플랫폼을 선택할 수 있다고 주장하는 사람이 너무 많다. 하드웨어 및 클라우드 서비스 업체가 주로 그렇다. 네모난 못을 가지고 있지만 사실 구멍 모양이 둥글 확률이 높다.

비즈니스 사례가 최우선

새로운 기술이나 그 적용의 이면에 숨어 있는 재정적 현실을 이해해야 한다. AI 전용 하드웨어(예: 엔비디아의 고성능 GPU)에는 상당한 가격표가 붙어 있다. 클라우드 서비스 업체는 이러한 비용을 흡수하고 광범위한 사용자 기반에 분산할 수 있는 재정적 여력이 있다. 반대로 온프레미스 하드웨어에 막대한 투자를 하는 기업은 업그레이드와 노후화의 끊임없는 주기에 직면하게 된다.

즉, 클라우드 서비스 업체는 너무 많은 비용이 드는 아키텍처를 너무 자주 내놓는다. 앞서 언급한 민첩성이라는 소프트 이점을 포함한 효율성에도 불구하고 최종 비용은 비즈니스에 돌아가는 가치를 크게 떨어뜨린다. 또한 기업은 고가의 하이엔드 프로세서가 필요 없는 온프레미스 시스템을 신중하게 구축할 기회도 있다. 모든 AI 애플리케이션에 GPU가 필수라는 생각은 어리석은 생각이다. 우리는 이미 스마트폰에서 AI 시스템을 실행하고 있다.

엣지 컴퓨팅은 특히 자율 주행 차량이나 실시간 분석과 같이 지연 시간에 민감한 애플리케이션의 경우 문제를 더욱 복잡하게 만든다. 일부 기업에서는 엣지 기기에 AI 워크로드를 배포하면 지연 시간 단축과 성능 향상이라는 이점을 얻을 수 있다.

각 측면의 강점 활용

환경의 복잡한 특성을 고려할 때 클라우드와 온프레미스 인프라 간의 선택은 더욱 미묘한 차이가 있어야 한다. 기업은 두 패러다임의 강점을 결합한 하이브리드 접근 방식을 채택해야 한다. 예를 들어, 기업은 지연 시간에 민감하거나 규제가 심한 워크로드는 온프레미스 또는 엣지에 배포하고 비용 효율성, 확장성, 완전한 AI 에코시스템에 대한 액세스를 위해 클라우드를 사용할 수 있다.

문제는 클라우드가 우위를 점할지, 온프레미스가 다시 부상할지가 아니라 두 가지 모두 각자의 위치가 있다는 것을 인식하는 것이다. 목표는 사용 가능한 모든 리소스를 활용하여 특정 비즈니스 요구 사항을 가장 효과적으로 충족하는 것이어야 한다.

클라우드, 온프레미스 또는 두 가지 모두에 대해 잘 이해된 목표를 가지고 객관적인 접근 방식을 추구하는 기업은 AI 도입의 복잡성을 헤쳐나가고 혁신 잠재력을 최대한 활용할 수 있는 위치를 선점할 수 있다.
editor@itworld.co.kr

David Linthicum editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지