AI 기술 도입에 실패한 사례가 늘어나면서 CIO가 기술 자체와 파급효과를 충분히 이해하기 전에는 더 이상 성급하게 추진하지 않으려는 분위기가 확산하고 있다. 시장조사 회사 옴디아는 지난주 발표한 보고서에서 기업의 AI 도입 의지는 여전히 높지만, 프로토타입이 실제 서비스로 이어지는 성공률은 낮다고 밝혔다.

옴디아는 “개념증명(PoC)이 실패하는 이유는 시험 중인 AI 기술의 결함 때문이 아니라, 기업과 공급업체 모두 AI 배포가 얼마나 복잡한 과정인지 제대로 이해하지 못하기 때문”이라고 분석했다.

조사 결과, AI 실험 단계는 자금 여력이 충분한 기업이 주도하고 있는 것으로 나타났다. 응답자의 약 58%가 6~50건의 AI 프로젝트를 실험 중이라고 답했고, 100건 이상 실험 중인 곳은 4%에 불과했다. 연 매출 1억 달러 이하 기업은 5건 미만의 AI 프로젝트만 프로토타입 단계에 있는 것으로 나타났다.

그러나 이런 초기 시도의 실패율은 매우 높았다. 조사 대상 기업 가운데 10%만이 40% 이상 성공률을 기록했고, 37%는 프로젝트의 11~40%만 서비스 단계에 도달했으며, 21%는 성공률이 5~10%에 그쳤다. 나머지 기업은 프로토타입의 5% 미만만 서비스 단계에 도입했다고 답했다.

옴디아의 최고 애널리스트 에덴 졸러는 옴디아의 ‘2025년 AI 시장 성숙도 보고서’ 블로그에서 “이는 PoC 진행 상황이 단순한 실패가 아닌 양극화 양상임을 보여준다. 일부 기업은 AI PoC를 성공적으로 서비스로 전환하고 있지만, 상당수 기업은 여전히 어려움을 겪고 있다”라고 설명했다.

하이퍼프레임 리서치의 수석 애널리스트 스티븐 디킨스는 AI 우선 조직으로 전환하려는 이사회와 CEO의 압박 속에 CIO와 IT 의사결정권자가 프로젝트 선정과 실행에서 속도를 지나치게 높일 위험이 있다고 지적했다. 디킨스는 “현명한 리더는 성급하게 움직이지 않고 검증된 가치에 집중한다. 내부 코드 생성이나 고객 서비스 분류 같은 낮은 위험·높은 효과 영역에 파일럿 프로젝트를 한정하고 있다”라고 말했다.

디킨스는 CIO는 먼저 데이터 전략을 수립하고 데이터 파이프라인을 정비한 뒤에 새로운 챗봇이나 앱 출시를 우선순위에 둬야 한다고 조언했다. 또, “서두르는 CIO는 거버넌스와 데이터 준비라는 핵심 단계를 건너뛰기 때문에 이후 막대한 재작업 비용이 발생한다”라고 덧붙였다.

제이 골드 어소시에이츠의 대표 애널리스트 잭 골드는 범용 LLM은 기업 환경에 최적화돼 있지 않기 때문에 자체 데이터를 반드시 보완해야 한다고 강조했다. 골드는 “많은 기업에서 데이터가 여러 시스템에 흩어져 있거나 접근이 어려워 모델을 제대로 미세 조정하기 어렵다는 현실적 문제에 직면하고 있다”라고 지적했다.

최근 발표된 또 다른 AI 시장 성숙도 조사에서 맥킨지는 응답자의 90%가 어떤 형태로든 AI를 활용하고 있다고 분석했다. 가장 높은 활용 분야는 보험업의 정보 관리와 서비스 운영이었고, 그 다음은 IT 산업의 소프트웨어 엔지니어링이었다. 서비스 산업에서도 정보 관리에 AI 사용이 활발했고, 소비재 시장에서는 마케팅과 영업 운영에 AI가 널리 쓰이고 있었다고 맥킨지는 설명했다.

AI 활용이 상대적으로 낮은 분야는 첨단 제조, 엔지니어링과 건설, 제약과 의료 분야였다.

조사 내용을 더 살펴보면, 에이전틱 AI는 기술 산업에서 소프트웨어 엔지니어링과 서비스 운영 용도로 가장 폭넓게 사용되고 있다. IT와 지식 관리 에이전트는 다양한 산업에서 인기를 얻고 있지만, 재고 관리와 제조 에이전트는 가장 사용률이 낮았다. 예상과 달리 HR 에이전트도 산업 전반에서 널리 활용되지 않고 있다.

맥킨지는 연구에서 “IT 서비스데스크 관리와 지식 관리의 심층 조사 같은 에이전틱 활용 사례가 빠르게 발전하고 있다”라고 분석했다.

이 실험적 과도기에 AI를 비즈니스 재구상 도구로 바라보는 조직이 초기 우위를 점할 것으로 보인다. 맥킨지의 부파트너 타라 발라크리슈난은 “많은 조직이 효율성 향상이라는 초기 신호를 확인하고 있지만, 비용 절감에만 초점을 맞추면 AI의 파급효과가 제한될 것”이라고 설명했다.

PoC를 실제 서비스로 확장하는 과정에서는 확장성, 프로젝트 비용, 인재 확보도 핵심 변수로 작용한다. 젠팩트(Genpact)의 최고 전략 및 에이전틱 AI 총괄 책임자 한진숙은 AI 도구는 단순한 ‘플러그 앤 플레이’ 기술이 아니라며, 기업이 화려한 데모나 PoC 실험은 쉽게 할 수 있지만, 기술이 실제 업무에 활용 가능하고 의미가 있으려면 더 많은 조건이 갖춰져야 한다고 지적했다.

또한, 많은 AI 프로젝트가 실패하는 이유는 레거시 IT 시스템 위에 구축되기 때문이라고 지적하며, 기업의 기술 스택과 워크플로, 프로세스를 바꾸면 AI의 효과를 극대화할 수 있다고 강조했다. 한진숙 총책임자는 에이전틱 AI가 도입된 경우 특히 인간의 감독도 여전히 필요하다며, “기계가 가장 잘하는 일은 기계에 맡기고, 사람이 가장 잘하는 일은 사람에게 맡겨야 한다”고 조언했다.

AI 업체 클린랩이 진행한 별도 조사에서는 실제 서비스 단계에 진입한 AI 에이전트가 매우 적은 것으로 나타났다. 클린랩 CEO 커티스 노스컷은 “설문과 세일즈 미팅을 합쳐 보면 전체의 60~70%가 LLM이나 에이전트를 구축한 AI 스택을 포함해 전체 기술 스택을 계속 교체하고 있다. 최소 3개월마다 한 번씩 바꾸는 셈”이라고 설명했다.

노스컷은 예산과 전문 인력 부족 상황에서 압박을 받는 CIO의 어려움에 공감한다는 입장이다. 노스컷은 “도구 호출 기능을 갖춘 진정한 에이전틱 AI 에이전트는 빠르면 2027년 초가 되어야 현실화할 것”이라고 전망했다.

잭 골드는 이미 성공 사례를 보유한 기업과 협력할 것을 권했다. 잭 골드는 “이런 기업은 다양한 실패 경험을 통해 시행착오 지점을 잘 알고 있기 때문에 도입 과정에서 시간을 절약하고 자원 낭비를 줄여 초기 성공률을 높이는 데 도움이 된다”라고 강조했다.

dl-itworldkorea@foundryco.com