에이전틱 AI를 최대한 활용하는 것이 2026년을 준비하는 기업의 최우선 과제로 떠오르고 있다. 경영진은 자율적으로 작동하는 AI 에이전트를 도입해 다양한 비즈니스 운영과 업무 흐름을 전면적으로 재편하려는 데 큰 관심을 보이고 있다.

다만 이 기술은 아직 초기 단계에 머물러 있다. 생성형 AI 도입 초기와 마찬가지로 CIO는 에이전틱 AI 전략을 빠르게 추진해야 한다는 압박을 받고 있다. 광범위한 에이전틱 AI 실험과 배포 속에서 조직의 보안을 책임지는 CISO는 상당한 부담을 느낄 수 있다.

특히 우려가 큰 영역은 아이덴티티(ID)와 인증 문제다. 일부 보안 전문가들은 자율형 에이전트를 도입했거나 실험 중인 기업의 95% 이상이 PKI(public key infrastructure)와 같은 기존 사이버보안 메커니즘을 활용하지 않은 채 에이전트를 추적·식별·통제하고 있다고 추산한다. 이 문제는 에이전틱 AI 환경에서 흔히 나타나는 에이전트 간 통신 구조로 인해 더욱 심각해진다.

에이전틱 AI가 제대로 작동하려면 AI 에이전트가 다른 에이전트와 자율적으로 통신하며 작업, 데이터, 맥락을 전달해야 한다. 충분한 아이덴티티 관리와 인증, 관련 사이버보안 체계가 갖춰지지 않으면 에이전트가 사이버 범죄자나 국가 단위 공격자에게 장악될 수 있을 뿐 아니라, 악성 에이전트가 다수의 정상 에이전트를 대상으로 다양한 프롬프트 인젝션 공격을 수행할 가능성도 커진다.

탈취된 에이전트가 기업의 정상 에이전트와 통신하는 상황에서는 이를 탐지해 자격 증명을 회수하는 것만으로는 피해 확산을 막기 어렵다. 정상 에이전트가 이미 악성 에이전트의 이전 지시에 따라 움직이고 있을 수 있기 때문이다.

이런 연쇄 효과가 발생할 가능성은 적지 않다. 현재 널리 쓰이는 강력한 인증 메커니즘은 이상 행위가 감지되면 자격 증명을 폐기하거나 중단하는 방식으로 작동한다. 그러나 행위 분석 시스템은 문제를 식별하기 전에 실제 악성 행위를 일정 수준 이상 관찰해야 하는 경우가 많다. 그 사이 침해된 에이전트가 시작한 작업은 이미 에이전트 체인 전반으로 확산했을 수 있다.

보안 업계가 지향하는 이상적인 목표는 모든 상호작용을 추적하는 기록을 확보하고 악성 에이전트와 상호작용한 모든 정상 에이전트에 자동으로 통지해 해당 에이전트의 지시를 무시하도록 하는 시스템을 구축하는 것이다. 동시에 이미 실행된 조치가 있을 경우 이를 IT 보안 부서에 즉시 알릴 수 있는 자동화 체계도 필요하다. 그러나 현재까지 이 같은 요구를 해결한 업체는 아직 없다. 일부 보안 전문가는 이 문제가 구조적으로 너무 복잡해 단기간에 해결하기 어렵다고 보고 있다.

시스코의 수석 엔지니어이자 CoSAI(Coalition for Secure AI) 및 ACM(Association for Computing Machinery)의 AI 보안 프로그램 위원회 위원으로 활동 중인 닉 케일은 “자율형 에이전트가 조직 내에서 실제 행동을 수행할 수 있는 수준으로 발전하면서 악의적인 공격자가 에이전트의 의사결정 계층에 영향을 미칠 경우, 그로 인한 피해는 기존 침해 사고보다 기하급수적으로 커질 수 있다”라고 설명했다.

끊임없이 확대하는 자율형 에이전트의 공격 표면

케일은 “에이전트는 지시를 따르도록 프로그래밍돼 있기 때문에 요청의 안전성을 검증하기 위해 처리 속도를 늦추도록 강제하는 메커니즘이 없다면 문제가 될 수 있는 지시도 그대로 따를 가능성이 크다. 인간은 직관이 있어 무언가 이상하다고 느낄 수 있지만, 에이전트는 이런 본능적 감각이 없다. 시스템 차원에서 이를 막지 않는 한 어떤 요청이든 수행하게 된다”라고 말했다.

통제되지 않은 에이전틱 AI 배포로 인한 사이버보안 위험은 지금까지 CISO가 경험한 그 어떤 위협과도 비교할 수 없다. 보안 업체 일루미넥스(IllumineX) CEO 게리 롱사인은 “자연어 인터페이스와 더불어 방대한 수의 다른 에이전틱 시스템을 호출할 수 있는 능력 때문에 AI 에이전트의 공격 표면은 사실상 무한하다고 볼 수 있다”라고 지적했다.

디지서트(DigiCert) CTO 제이슨 세이빈은 에이전트 탈취가 상대적으로 쉽다는 점에서 상황이 더 심각할 수 있다며 “강력한 에이전틱 인증 체계가 없다면, 기업은 단 하나의 가짜 지시만으로도 탈취될 수 있는 자율 시스템을 배포하는 위험에 노출된다”라고 강조했다.

에이전틱 AI의 아이덴티티 위기

인증과 에이전틱 AI 분야의 여러 전문가는 자율형 에이전트를 실험 중인 기업 가운데 에이전틱 아이덴티티 시스템을 실제로 구축한 곳이 5% 미만에 불과하다고 추산했다. 이들 가운데 3명은 그 비율이 5%에도 못 미친다고 봤다.

에이전트 시스템에 대한 보안 강화가 제대로 이뤄지지 않는 이유는 여러 가지다.

우선 상당수 프로젝트가 사실상 섀도우 IT 형태로 진행된다. 사업부(LOB) 임원이 PoC을 승인해 에이전트의 가능성을 시험하는 방식이다. 이런 경우 IT 부서나 사이버보안팀이 개입하지 않는 일이 많아 PoC 단계에서 보안은 우선순위에서 밀려나기 쉽다.

또 다른 이유는 많은 경영진이 PoC 단계에서 관행적으로 보안을 간소화해 왔다는 점이다. 공급망, 유통, 제조를 담당하는 외부 파트너 기업도 예외는 아니다. 기존 PoC는 기업의 실제 운영 환경과 분리된 샌드박스 안에서 진행되는 경우가 많았기 때문이다. 그러나 에이전틱 시스템은 이런 방식으로 작동하지 않는다. 역량을 제대로 시험하려면 일반 운영 환경에 투입될 수밖에 없다.

전문가들은 IT 승인 여부나 현업 주도 여부, 서드파티 에이전트 여부와 관계없이 환경 내 모든 에이전트를 추적하고 통제할 수 있도록, 에이전틱 인증 업체의 PKI 기반 아이덴티티로 관리하는 것이 바람직하다고 조언한다. 완전한 식별 정보를 갖추지 않은 에이전트와의 통신을 모든 승인된 에이전트가 거부하도록 설정하는 방식도 강력한 전략으로 거론된다. 다만 생성형 AI와 마찬가지로 자율형 에이전트는 이러한 지침, 이른바 가드레일을 무시하는 경우가 적지 않다는 한계가 있다.

타타 컨설턴시 서비스(Tata Consultancy Services)에서 사이버보안 전략을 연구하는 칸와르 프리트 싱 산두는 “에이전틱 AI에 우호적인 상호작용은 핵심 보안 원칙과 충돌한다. 기업은 에이전트가 자율적으로 서로를 발견하고 통신 채널을 만들며 거래 관계를 형성하는 상황을 감수할 수 없다”라고 설명했다.

또한 AI가 수행할 작업과 목표를 명확히 정의하고, 그 범위를 해당 업무로 제한해야 한다. 산두는 “에이전트 간 상호작용이 기술적으로 가능하다고 해도 최소 권한 원칙이나 역할 분리 같은 보안 원칙에는 심각한 위험을 초래한다. 구조적이고 계획된 협업이나 통합이 필요할 경우에는 이를 위해 마련된 MCP(Model Context Protocol)나 A2A(Agent to Agent)와 같은 엄격한 프로토콜을 따라야 한다”라고 조언했다.

디지서트 CTO 세이빈 역시 기업과의 논의에서 자율형 에이전트에 아이덴티티를 부여하는 사례를 거의 보지 못했다고 지적했다. 세이빈은 “10%도 안 되고, 아마 5%에도 못 미칠 것이다. 아이덴티티 측면에서 엄청난 공백이 존재한다”라고 언급했다.

열린 병뚜껑 다시 닫기

적절한 아이덴티티 체계 없이 에이전틱 AI 실험이 시작되면, 이후에는 아이덴티티 인증을 추가하는 일이 훨씬 어렵다.

세이빈은 “사후적으로 아이덴티티를 어떻게 추가할 것인가? 애초에 이런 프로세스가 마련돼 있지 않기 때문에 에이전트는 탈취되거나 침해될 수밖에 없다. 반드시 킬 스위치가 필요하다. 누가 명령을 내리는지, 그리고 그 인간이나 시스템이 실제 권한을 갖고 있는지를 AI 에이전트가 검증할 수 있는 능력은 에이전틱 AI 보안에서 가장 핵심적인 쟁점 가운데 하나”라고 말했다.

이 문제를 해결하기 위해 CISO는 아이덴티티와 인증, 권한 개념 전반을 다시 설계해야 할 수도 있다.

시스코의 케일은 “이제는 사람이 시스템에 어떻게 인증하는지를 판단하는 문제가 아니다. 자율형 에이전트가 지시를 내리는 개인이 정당한지, 그리고 그 지시가 예상된 행동 패턴 안에 있는지를 어떻게 판단할 것인가를 고민해야 하는 상황이다. 단순히 인간의 신원을 식별하는 수준을 넘어, 에이전트가 인간의 의도를 스스로 평가해 정당성을 판단하도록 전환되면서 기존 인증 방식에서는 전혀 고려되지 않았던 새로운 위험 요인이 등장하고 있다”라고 전했다.

코딩 생산성 도구를 서비스하는 업체 코드지(Kodezi)의 CEO 이슈라크 칸 역시 CISO가 에이전틱 AI 시스템 내 보안 위협을 과소평가하고 있을 가능성이 크다고 봤다.

기존 인증 프레임워크는 고정된 아이덴티티와 예측 가능한 요청 패턴을 전제로 한다. 하지만 자율형 에이전트는 스스로 행동을 시작하고 기억을 바탕으로 행동을 확장하며, 새로운 통신 경로를 자율적으로 형성하기 때문에 완전히 새로운 위험 범주를 만든다. 즉, 에이전트 시스템의 위협 표면은 정적인 것이 아니라 동적이다.

칸은 “에이전트가 내부 상태를 업데이트하거나 과거 상호작용을 학습하고 워크플로우 내 역할을 변경하면 보안 관점에서의 아이덴티티 역시 시간에 따라 변하게 된다. 대부분의 조직은 인증 이후에도 역량과 행동이 진화하는 에이전트를 전제로 한 보안 모델을 준비하지 못하고 있다”라고 분석했다.

이어 “침해된 에이전트는 협업 패턴을 가장하거나 시스템 상태를 조작하고, 다른 에이전트를 유도해 연쇄적인 실패를 일으킬 수 있다. 이는 단순한 악성코드 문제가 아니라 의사결정 자체를 겨냥한 행위 기반 공격”이라고 강조했다.

옥타의 AI 보안 담당 수석부사장 겸 총괄 책임자인 하리시 페리는 보다 직설적인 경고를 던졌다. 페리는 “단순한 NHI(non human identity) 문제가 아니다. 재앙으로 이어질 수 있는 구조”라고 표현했다. 이어 “이는 새로운 유형의 아이덴티티이자, 끊임없이 행동하는 새로운 형태의 사용자”라고 말했다.

탈취된 에이전트가 정상 에이전트에 악성 지시를 내린 뒤 발생한 피해를 되돌릴 수 없는 문제에 대해, 페리는 아직까지 아무도 제대로 해결하지 못한 난제라며 “위험 신호가 충분히 강할 경우 권한뿐 아니라 액세스 토큰 자체를 철회하는 기능은 있다. 실시간으로 이어지는 에이전트 간 체인을 차단하는 문제는 훨씬 더 많은 고민이 필요하다”라고 설명했다.

에이전트 상호작용을 되돌리는 일은 어렵다

문제 중 하나는 사후 추적, 이른바 역방향 체이닝을 위해 기업 환경 내 모든 에이전트의 상호작용을 기록해야 한다는 점이다. 이를 위해서는 방대한 양의 데이터를 수집해야 한다. 자율형 에이전트는 인간이 따라갈 수 없는 속도로 작동하기 때문에, 이러한 활동을 저장하는 데이터 웨어하우스는 매우 빠른 속도로 가득 찰 가능성이 크다.

에이전트가 문제 행동을 한 뒤 아이덴티티가 회수될 때쯤이면 하위 단계의 모든 에이전트는 이미 해당 침해된 에이전트와 상호작용을 마친 상태다. 이미 작업을 할당받았고, 다음 단계 행동까지 대기열에 올려둔 상황인 셈이다. 시스코의 케일은 “이 회수 조치를 과거로 거슬러 전파할 수 있는 메커니즘은 없다. 킬 스위치는 필요하지만, 그것만으로는 충분하지 않다”라고 지적했다.

영향을 받은 모든 에이전트로 거슬러 올라가 조치를 취하는 과정은 겉보기에는 단순한 스크립트처럼 보일 수 있다. 그러나 제대로 구현하는 것은 전혀 간단하지 않다. 케일은 “에이전트가 발행한 모든 지시를 파악해야 하고, 무엇을 되돌릴지 결정하는 과정이 가장 어렵다”라고 말했다. 케일은 이 상황을 경보 피로에 비유하며 “이 시스템은 자체 무게에 눌려 붕괴될 수도 있고, 결국에는 보안이 아니라 소음만 남을 위험도 있다”라고 경고했다.

섹티고(Sectigo)의 수석 펠로우 제이슨 소로코 역시 영향을 받은 에이전트에 대한 역방향 경고 체계가 “현재로서는 전혀 완전히 해결된 상태가 아니다”라는 데 동의했다.

다만 소로코는 에이전틱 사이버보안이 스스로를 궁지로 몰아넣은 측면도 있다며 “많은 자율형 AI 에이전트 인증 방식이 단순한 API 토큰에 의존하는데, 이는 도난당한 공유 비밀만 기다리는 무기를 우리가 스스로 만들어온 셈”이라고 말했다.

이어 “이 문제를 해결하려면 공유 비밀을 넘어, 암호학적 소유 증명 방식으로 나아가야 한다. 에이전트가 단순한 ‘콘서트 입장용 손목밴드’ 같은 인증 수단이 아니라, 명령을 내리는 주체가 누구인지를 실제로 검증할 수 있어야 한다”라고 강조했다.

dl-itworldkorea@foundryco.com