챗봇은 한때 디지털 전환의 상징이었다. 기업 웹사이트와 서비스 포털에 등장한 정중한 텍스트 박스는 더 똑똑하고 저렴한 지원 체계를 약속했다. 최근 몇 년간 생성형 인공지능이 도입되면서 대화는 자연스러워졌지만, 여전히 자동화 답변 엔진에 머물러 있다. 2025년 말이 다가오면서 전통적 챗봇은 이전 시대의 유물처럼 보이기 시작했다.

새로운 흐름은 에이전틱 인공지능이다. 단순히 대화하는 것이 아니라, 기업 워크플로 내부에서 추론·계획·행동까지 수행하는 시스템이다. 이 에이전트는 말을 하는 도우미가 아니라, 생각하는 디지털 동료다.

산업 전반에서 기업은 이 새로운 역량을 활용하기 위해 운영 방식을 재설계하고 있다. 많은 기업이 깨닫고 있는 사실은, 에이전틱 인공지능이 챗봇의 업그레이드가 아니라 디지털 작업 방식 자체의 재정의라는 점이다.

반응형 봇에서 능동적 파트너로

슈퍼웹프로스(SuperWebPros) 창업자 겸 최고경영자 제시 플로레스는 이 변화를 직접 목격했다. 플로레스는 “전통적인 챗봇은 기본적으로 결정 트리였다. ‘키워드 X → 응답 Y’의 구조였다”라고 설명했다. 이러한 챗봇은 FAQ나 예약 처리에는 적합했지만, 스크립트가 허용하는 범위를 벗어나지 못했다.

GPT-5 같은 대규모 언어 모델과 연결하더라도 대다수 챗봇은 기업 데이터나 비즈니스 맥락에 대한 깊은 이해가 부족하다. 플로레스는 “챗봇은 언어 기반 응답자였다. 말을 할 뿐, 생각하거나 행동하지 않는다”라고 언급했다.

플로레스에 따르면, 에이전틱 인공지능은 이 방정식을 완전히 바꾼다. 각 에이전트는 이름과 시스템 프롬프트 기반의 미션을 갖고 있으며, 검색 증강 생성(RAG)을 통해 기업 데이터에 연결된다. 많은 에이전트는 CRM, 데이터베이스, 워크플로 플랫폼 같은 도구까지 활용한다. 플로레스는 “에이전트는 첫날부터 기업 시스템을 이해하고 있는 새로운 직원을 고용하는 것과 같다. 응답하는 것이 아니라 실행한다”라고 강조했다.

이 새로운 협업 방식은 직원의 기술 사용 방식도 변화시킨다. 플로레스는 고객이 종종 에이전트에게 이름을 붙이며 도구가 아니라 동료처럼 대한다고 설명했다. “마케팅팀이 정보를 확인할 때 ‘마르코에게 물어보자’라고 말한다. 이런 이름 부여는 도입 장벽을 낮춘다. 사람처럼 느껴지기 때문이다.”

무디스(Moody’s)에서도 유사한 통찰이 나온다. 무디스 디지털 콘텐츠 및 혁신 총괄 크리스티나 피에레티는 에이전틱 인공지능이 기업이 고객에게 제공할 수 있는 가치의 본질을 바꾼다고 분석했다.

피에레티는 “챗봇은 특정 주제에 대해 대화를 나눌 수 있을 뿐이지만, 에이전트는 사람이 하던 작업 자체를 수행할 수 있다”라고 설명했다.

무디스는 이미 고객 업무의 일부를 직접 자동화하는 에이전트를 개발 중이다. 예를 들어, 신용 메모 생성, 재무 분석 보고서 작성 등이다. 사용자는 개별 데이터를 하나씩 조회하는 대신, 에이전트가 여러 시스템에서 자동으로 정보를 불러오고, 섹션을 조합해 완성된 보고서를 버튼 한 번으로 생성할 수 있다.

피에레티는 “우리는 통찰을 제공하는 업체에서 워크플로 파트너로 역할이 전환되고 있다”라고 설명했다. 결과적으로 결정을 돕는 AI에서 결정을 실행하는 AI로 발전하는 셈이다.

기반 구축 : 거버넌스와 신뢰

IBM에서 기술 플랫폼 트랜스포메이션 최고정보책임자 매트 라이트슨은 동일한 원칙을 글로벌 규모에서 적용하고 있다. 라이트슨의 팀은 HR, IT 지원, 조달, 영업 등 기업 운영 전반에 걸쳐 에이전틱 인공지능을 내재화하며 28만 명 직원에게 서비스를 제공한다.

라이트슨은 “전통적인 챗봇은 경직된 단계별 흐름으로 작동했기 때문에 쉽게 중단되었다”고 설명했다. 이어 “에이전틱 인공지능은 프로세스를 동적으로 추론하며 처리하는 시스템을 가능하게 만든다. 이것이 미래의 업무 방식”이라고 전했다.

IBM의 초기 성공 사례 중 하나는 화려하지 않지만 어디에나 존재하는 비밀번호 재설정이었다. 이제 두 개의 에이전트가 협업한다. 하나는 요청을 분류하고, 다른 하나는 자격 증명을 확인한 뒤 재설정을 실행한다. 모든 과정은 기업의 아이덴티티 및 접근 관리(IAM) 체계에 기반한다. 에이전트는 각각 고유한 디지털 ID를 갖고 있어 감사 추적이 가능하고 위장 행위를 방지한다. 라이트슨은 “기업 보안 체계를 기반으로 한 멀티 에이전트 협업의 대표 사례”라고 설명했다.

이러한 원칙은 IBM의 확장형 엔터프라이즈 AI 플랫폼을 구성하는 근간이 되었고, 플랫폼은 왓슨x 오케스트레이트(watsonx Orchestrate) 위에서 운영된다. 기업의 애스크HR(AskHR), 애스크프로큐어먼트(AskProcurement), 애스크세일즈(AskSales), 애스크IBM(AskIBM) 시스템은 단일 거버넌스 프레임워크 아래에서 동작하는 소규모 특화 에이전트로 구성된다. IBM 직원은 매일 이러한 에이전트와 상호작용하며, 이는 세계 최대 규모의 에이전틱 인공지능 배포 사례 중 하나로 평가된다.

성과도 크다. 라이트슨에 따르면 IBM의 애스크IT(AskIT) 시스템은 82%의 지원 요청을 사람 개입 없이 해결하고 있다. 이로 인해 IT 인력은 더 복잡한 문제에 집중할 수 있게 되었고, IBM은 IT 서비스 데스크 전화 지원을 완전히 종료했다. 라이트슨은 “IBM은 이제 신뢰와 협업에 집중하고 있으며, 직원은 여러 에이전트와 자신 있게 함께 일한다”고 강조했다.

책임 있는 지능과 AI의 다음 단계

프레시웍스(Freshworks) 최고기술책임자 무랄리 스와미나탄은 새로운 에이전틱 인공지능 시대에서는 혁신만큼 책임이 중요하다고 강조했다. 스와미나탄은 인공지능의 발전을 세 단계로 구분했다. 첫째는 스크립트 기반이면서 취약한 전통적 챗봇, 둘째는 인간을 지원하기 위해 지식을 색인화하는 에이전트 보조 시스템, 그리고 셋째는 맥락을 이해하고 행동까지 수행하는 현재의 에이전틱 인공지능이다. 스와미나탄은 이를 “안내 주행에서 완전 자율 주행으로 이동하는 변화”라고 표현했다.

프레시웍스는 2018년 프레디(Freddy) AI 플랫폼을 출시했으며, 플랫폼은 단순한 챗 지원에서 엔드 투 엔드 워크플로 자동화 시스템으로 발전했다. HR에서 직원이 휴가를 요청할 경우, 에이전트는 어떤 HR 시스템을 조회해야 하는지 판단하고, 정책과 잔여 일수를 확인한 뒤 요청을 자동 실행한다. 스와미나탄은 “지금의 핵심은 추론과 행동이며, 단순 검색이 아니다”라고 설명했다. 영국의 프레이저스 그룹(Frasers Group)은 이미 이러한 에이전틱 워크플로를 통해 전체 지원 요청의 약 25%를 자동 처리하고 있다.

스와미나탄은 책임 있는 AI가 마케팅 용어가 아니라 기술적 실천 방식이라고 강조했다. 프레시웍스는 프레디 트러스트 프레임워크(Freddy Trust Framework)를 통해 공정성, 투명성, 프라이버시를 모든 에이전틱 워크플로에 체계적으로 내재화했다.

프레임워크는 욕설 및 부적절한 콘텐츠 필터, PII(개인식별정보) 자동 마스킹, 세션 종료 후 고객 데이터를 저장하지 못하도록 하는 규칙 등을 포함한다. 고객사도 자체 가드레일을 추가할 수 있다. 스와미나탄은 “모든 배포는 처음부터 데이터를 보호하도록 설계된다”고 전했다.

프레시웍스는 또한 기업이 안전하게 에이전트를 개발·배포할 수 있는 프레디 에이전틱 AI 스튜디오(Freddy Agentic AI Studio)를 출시했다. 스튜디오는 템플릿, 사전 구성된 프롬프트, 내장 필터 등을 제공해 실험을 쉽게 하되 통제 하에 운영할 수 있도록 구성됐다. 스와미나탄은 “프레시웍스는 소규모 기업부터 대기업까지 모두 지원한다. 단순성과 통제는 반드시 함께 가야 한다”고 말했다.

스와미나탄은 이러한 철학을 ‘안전한 권한 부여(safe empowerment)’라고 부른다. 이는 AI의 접근성을 넓히면서도 신뢰를 유지하는 것이다. 스와미나탄은 “기업이 가드레일·명확성·단순성을 기반으로 AI를 빠르고 자신 있게 도입하도록 돕는 것이 목표”라고 설명했다.

챗봇에서 에이전틱 AI로 도약하기 위한 실전 로드맵

에이전틱 인공지능은 단순 소프트웨어 업그레이드가 아니라 디지털 업무 수행 방식 전체의 재설계에 가깝다. 인터뷰에 참여한 리더 모두는 성공이 데이터·거버넌스와 더불어 문화와 실험 정신에 달려 있다고 강조했다. IT 리더는 챗봇을 넘어서는 첫 단계에서 “할 수 있는가?”가 아니라 “어디서 시작하며 어떻게 안전하게 실행할 것인가?”를 질문해야 한다.

작게 시작하고, 올바른 문제를 선택하라.

슈퍼웹프로스의 플로레스는 “10점 만점에 4점 정도의 불편함을 주는 문제”에서 시작하라고 조언한다. 즉, 조금 불편하지만 사업의 핵심을 위협하지 않는 문제다. 플로레스는 “목표는 큰 위험이 아니라 빠른 성과”라고 설명했다. 90일 파일럿은 눈에 띄는 가치를 빠르게 입증해야 하며, 초기 성공이 내부 지지층을 만든다.

무디스의 피에레티도 동의한다. 피에레티는 반복 가능하고 잘 정의된 워크플로, 그리고 자동화 효과가 명확한 영역을 선택해야 한다고 강조했다. 피에레티는 “바다를 끓이지 말라(한 번에 모든 것을 해결하려 하지 말라)”고 조언했다.

강력한 데이터 및 거버넌스 기반을 마련하라.

IBM의 라이트슨은 ‘AI 스프로울(AI Sprawl)’—수많은 비기업적 파일럿이 민감한 데이터를 불규칙하게 건드리는 상황—을 경고한다. 라이트슨은 “시작 단계부터 ID·접근 제어·감사 기능이 강제되는 엔터프라이즈 AI 플랫폼이 필요하다”고 말했다. IBM 플랫폼은 각 에이전트에 고유한 디지털 ID를 부여하며, 직원 권한 체계를 그대로 반영해 책임성과 추적성을 보장한다.

프레시웍스의 스와미나탄도 프레디 트러스트 프레임워크를 통해 동일한 원칙을 적용한다. 프레임워크는 공정성·프라이버시·투명성을 모든 에이전틱 워크플로에 구조적으로 포함한다. 스와미나탄은 “큰 힘에는 큰 책임이 따른다. 가드레일은 선택이 아니라 아키텍처 요소”라고 말했다.

코드보다 문화를 설계하라.

플로레스는 기술보다 사람의 변화 적응이 더 어렵다고 설명했다. 플로레스는 “사람은 변화를 거부하는 경향이 있다. 에이전트에 ‘마르코·베티·해리’처럼 이름을 붙여 동료처럼 느끼게 만들면 도입이 훨씬 쉽다”고 설명했다.

무디스의 피에레티도 같은 경험을 공유했다. 피에레티는 “핵심은 ‘AI가 나를 대체한다’는 두려움을 ‘AI가 나를 강화한다’라는 인식으로 전환하는 것이다”라고 강조했다. 교육·커뮤니케이션·공동 제작은 직원이 변화의 희생자가 아니라 참여자가 되도록 돕는다.

거버넌스를 기반으로 점진적·반복적 배포를 진행하라.

라이트슨과 스와미나탄은 모두 지속적 모니터링과 버저닝—1.0·1.1·1.2—을 강조한다. 각 버전은 편향·일탈·안정성을 검증해야 한다. 무디스 팀은 배포 전후로 적대적 침투(jailbreaking) 테스트를 수행해 에이전트가 비정상적 상황에서도 안전하게 동작하는지 확인한다.

스와미나탄은 성공을 우회율(deflection rate), 해결 시간, 사용자 만족도 같은 명확한 지표로 측정해야 한다고 조언했다. 스와미나탄은 “플러그 앤 플레이 AI는 존재하지 않는다. 작게 시작하고 측정하고 확장하라”고 강조했다.

준비 상태를 점검하라.

IT 리더는 에이전틱 인공지능 도입 전 다음 네 가지를 평가해야 한다:

• - 전략: 자동화가 측정 가능한 결과를 내는 사용례가 정의돼 있는가?
• - 데이터·통합: 시스템이 문서화되어 있으며 안전한 API 또는 메타데이터로 접근 가능한가?
• - 거버넌스: ID·권한·감사 추적을 위한 명확한 가드레일이 마련돼 있는가?
• - 문화: 책임 있는 활용을 모범적으로 이끌 내부 옹호자가 있는가?

슈퍼웹프로스, 무디스, IBM, 프레시웍스의 공통 메시지는 뚜렷하다.

• - 에이전틱 인공지능은 거버넌스와 상상력이 만나는 지점에서 성공한다.
• - 챗봇은 반응만 한다. 그러나 에이전트는 추론하고 행동한다.
• - 이 능력은 신뢰·투명성·협업이 구축된 환경에서만 안전하게 발휘된다.

준비된 IT 리더가 말하는 도구에서 생각하고 일하는 디지털 동료로의 전환을 이끌 것이다.

dl-itworldkorea@foundryco.com