전통적 보안 모델만으로는 에이전틱 AI 활동을 충분히 보호하기 어려울 수 있다. 기업은 소프트웨어 개발, 고객 지원 자동화, 로보틱 프로세스 자동화(RPA), 직원 지원 등 점점 더 많은 업무와 프로세스에 에이전틱 AI를 활용하게 될 것이 분명하다. 보안 책임자와 보안 기업이 직면한 핵심 질문은 “에이전틱 AI의 사이버 보안 위험은 무엇이며, 기업이 이를 지원하기 위해 얼마나 더 많은 노력이 필요한가”다.

2024년 보고서에서 시스코 탈로스는 2025년 위협 행위자가 AI를 어떻게 악용할 수 있는지를 지적하며, 인간의 지속적 개입 없이 목표를 달성할 수 있는 자율형 AI 시스템과 모델이 대비가 부족한 기업을 위태롭게 할 수 있다고 경고했다.

보고서는 “에이전틱 시스템이 다양한 서비스와 공급업체와 점점 더 통합될수록, 취약점이나 악용 가능성은 커진다. 또한 에이전틱 시스템은 다단계 공격을 수행하거나, 제한된 데이터 시스템에 접근하는 창의적 방법을 찾거나, 무해해 보이는 행위를 연쇄적으로 이어 유해한 결과를 내거나, 네트워크와 시스템 방어자의 탐지를 회피하는 방법을 학습할 가능성도 있다”라고 분석했다.

에이전틱 AI는 사이버 보안 팀에 중요한 도전 과제가 될 것이며, 기업이 해당 기술을 채택함에 따라 보안 책임자가 반드시 논의의 중심에 있어야 한다. 기업 다수가 시스템을 충분히 강화하지 않은 채 AI 전면 도입에 나서면서, 이러한 경향은 더욱 뚜렷하다.

컨설팅 기업 PwC의 글로벌 사이버보안·프라이버시 리더 션 조이스는 “기업이 효율성, 의사결정, 자동화를 높이기 위해 에이전틱 AI를 도입하는 만큼, 새로운 유형의 사이버 위험에 직면하게 된다”라며 “기존 AI 모델이 직접적 요청에 반응하는 것과 달리, 에이전틱 AI 시스템은 고차원 목표를 향해 자율적으로 행동하고, 결정을 내리며, 다른 시스템과 상호작용하고, 시간이 흐름에 따라 행동을 적응시킬 수 있다”라고 설명했다.

조이스는 “보안 책임자가 이러한 신흥 위험을 이해하고 완화하는 것은 안전하고 책임 있는 AI 도입을 위한 핵심”이라고 강조했다.

가시성 부족과 섀도우 AI의 확산

보안 책임자는 ‘보이지 않는 상태’에서 운영되는 것을 꺼리는데, 에이전틱 AI는 바로 그런 위험을 가져온다. 다양한 애플리케이션을 통해 보안·IT 부서의 적절한 감독 없이 팀이나 개인 사용자가 자율적으로 배치할 수 있기 때문이다.

이로 인해 인증 같은 통제 장치 없이 작동하는 ‘섀도우 AI 에이전트’가 생겨나며, 이들의 행위와 행동을 추적하기 어렵게 된다. 이는 보이지 않는 에이전트가 취약점을 유발할 수 있어 상당한 보안 위험을 초래한다.

법률 기업 CM 로(CM Law)의 파트너 리나 리히터마이어는 “가시성 부족은 보안 위험, 거버넌스·규제 준수 문제, 운영 위험, 투명성 부족으로 인한 신뢰 상실 등 여러 위험을 만든다. 이는 직원, 공급업체의 신뢰 상실로 이어져 AI 도입을 저해할 수 있다”라고 지적했다.

컨설팅 기업 노스웨스트 AI의 수석 컨설턴트 와이어트 메이햄은 “가장 두드러진 문제는 가시성 부족”이라며, 에이전틱 AI가 종종 개인이 챗GPT나 다른 도구를 설정해 업무를 자동화하는 가장자리에서 시작된다고 설명했다.

메이햄은 “이러한 에이전트는 IT 부서의 승인이나 검토를 거치지 않기 때문에 기록되거나 버전 관리되거나 통제되지 않는다”라고 말했다. 그는 보안 책임자가 기존 섀도우 SaaS에 익숙했지만 이제는 섀도우 AI 행위를 다뤄야 한다고 덧붙였다.

근거리 소프트웨어 개발 기업 베어리스데브(BairesDev)의 보안 책임자 파블로 리볼디는 “기업은 종종 이러한 시스템이 어디에 구현되어 있는지, 누가 사용하는지, 어느 정도 자율성을 가지는지 인식하지 못한다. 이로 인해 보안 팀이 실시간으로 결정을 내리거나 민감한 시스템에 접근하는 에이전트를 모른 채 운영하게 되며 이는 중요한 섀도우 IT 문제를 만든다”라고 경고했다.

자유 에이전트 : 자율성이 키우는 위험

에이전틱 AI는 인간 개입 없이 스스로 판단하고 행동하는 특성을 지닌다. 이 기능은 기업에 사이버 보안 취약성을 초래할 수 있다.

조이스는 “에이전틱 AI 시스템은 목표 지향적이며 인간의 직접적 승인을 받지 않고 결정을 내릴 수 있다. 목표가 불분명하거나 모호할 경우, 에이전트는 기업 보안이나 윤리 기준에 맞지 않는 방식으로 행동할 수 있다”라고 설명했다.

예를 들어 보안운영센터의 ‘소음을 줄이라’라는 지시를 받은 에이전트가 지시를 문자 그대로 해석해 정상적인 경고까지 억제하면, 침입이 진행 중임에도 기업이 눈치채지 못할 수 있다.

리볼디는 “에이전틱 AI 시스템은 독립적으로 작동하도록 설계됐지만, 강력한 거버넌스가 없다면 자율성은 곧 위험이 된다”라며 “모호한 지시를 받은 무해해 보이는 에이전트가 범위를 넘어 워크플로를 시작하거나 데이터를 변경하거나 핵심 시스템과 예기치 않게 상호작용할 수 있다”라고 지적했다.

메이햄은 “에이전틱 AI 환경에는 감독 없는 자율적 행동이 많다. 기존 자동화와 달리 에이전트는 링크 클릭, 이메일 전송, 워크플로 실행 같은 선택을 확률적 추론에 기반해 한다. 이런 선택이 잘못되면 원인을 파악하기 어렵다. 실제로 일부 고객이 내부 민감 URL을 잘못 공유하면서 노출한 사례를 본 적 있다”라고 말했다.

의도치 않은 데이터 공유의 결과

다중 에이전트 시스템은 기업에 큰 잠재력을 제공하지만, AI 에이전트가 서로 상호작용하고 데이터를 공유하면서 보안, 프라이버시, 의도치 않은 결과와 관련된 위험을 초래할 수 있다고 CM 로의 리히터마이어는 말했다. 리히터마이어는 “이러한 위험은 AI가 방대한 데이터에 접근할 수 있는 능력, 자율적 특성, 그리고 다중 에이전트 AI 시스템을 관리하는 복잡성에서 비롯된다”라고 설명했다.

예를 들어, AI 에이전트가 계약상 또는 엄격히 규제되는 민감한 정보에 접근하고 처리해 무단 사용이나 공개가 발생할 경우, 기업에 잠재적 법적 책임을 만들 수 있다.

노스웨스트 AI의 메이햄은 “다중 에이전트 구성을 도입하는 순간 조정 위험이 발생한다”라며 “한 에이전트가 작업 범위를 확장하면 다른 에이전트는 그에 맞게 훈련되지 않았을 수 있다. 샌드박싱이 없다면 이는 특히 에이전트가 새로운 현실 데이터를 흡수할 때 예측 불가능한 시스템 동작으로 이어질 수 있다”라고 지적했다.

PwC의 조이스는 “에이전트는 종종 서로 협력해 작업을 완수하며, 이는 복잡한 의사소통과 의사결정의 연쇄를 만든다. 이러한 상호작용은 의도치 않게 민감한 데이터를 전파해 규제 준수와 보안 위험을 발생시킬 수 있다”라고 설명했다.

예를 들어 고객 서비스 에이전트가 계정 세부 정보를 요약해 유지 분석을 담당하는 내부 에이전트에 전달하고, 두 번째 에이전트가 해당 데이터를 보호되지 않은 위치에 저장해 내부 데이터 처리 정책을 위반하는 상황이 생길 수 있다.

서드파티 통합 : 공급망 위험 가속화

에이전트는 API를 통해 서드파티 파트너의 애플리케이션과 통합·데이터 공유를 할 수 있으며, 이는 보안 책임자에게 또 다른 과제를 안긴다. 다양한 서비스와 공급업체와의 통합은 악용이나 취약점 노출 가능성을 키운다.

리볼디는 “에이전틱 AI는 API와 외부 통합에 크게 의존한다. 에이전트가 더 많은 시스템에 접근할수록 그 행위는 점점 더 복잡하고 예측 불가능해진다. 이 상황은 공급망 위험을 만든다. 서드파티 서비스의 취약점이 다른 플랫폼과의 에이전틱 상호작용을 통해 악용되거나 무심코 촉발될 수 있다”라고 말했다.

메이햄은 많은 초기 단계 에이전트가 불안정하거나 문서화되지 않은 API, 혹은 브라우저 자동화에 의존한다고 지적했다. “일부 에이전트가 범위가 잘못 설정된 통합을 통해 토큰을 유출하거나, 예상치 못한 플러그인 연쇄를 통해 데이터를 탈취하는 사례가 있었다. 업체 스택이 더 파편화될수록 이런 일이 발생할 표면적은 커진다. AI 코딩 도구가 이런 문제로 악명이 높다”라고 말했다.

조이스는 “각 통합 지점은 공격 표면을 확장하고 공급망 취약점을 불러올 수 있다. 예를 들어 한 AI 에이전트가 서드파티 인사(HR) 플랫폼과 통합해 온보딩을 자동화하는데, 해당 업체의 API에 알려진 취약점이 존재하면 공격자가 이를 악용해 내부 HR 시스템으로 횡적 접근할 수 있다”라고 경고했다.

조이스는 또 많은 에이전틱 도구가 오픈소스 라이브러리와 오케스트레이션 프레임워크에 의존하는데, 이는 보안 팀이 알지 못하는 취약점을 품고 있을 수 있다고 덧붙였다.

다단계 공격 : 오류와 악용의 경계 흐리기

에이전틱 시스템은 다단계 공격을 수행하거나, 보안 도구의 탐지를 피하며 제한된 데이터 시스템에 접근할 새로운 방법을 찾을 잠재력이 있다.

리볼디는 “에이전틱 시스템이 고도화됨에 따라, 의도치 않게 다단계 공격을 모방하는 행위를 학습하거나 개발할 수 있다. 더 나쁜 것은 목표 지향적 행동이 회피를 보상하기 때문에 전통적 탐지 방법을 우회하는 방법을 무심코 발견할 수 있다는 점이다”라고 말했다.

또한 “결국 오류와 악용의 경계가 흐려져, 보안 팀은 사건의 성격을 명확히 판별하기 힘들다.”라고 덧붙였다.

메이햄은 “이 위험은 겉보기에 이론적으로 보이지만 실제로는 그렇지 않다. 실험실 테스트에서 에이전트가 도구를 예기치 않게 결합하는 사례를 목격했는데, 이는 악의적이라기보다는 창의적이었다. 하지만 같은 추론 능력이 시스템을 탐색하고, 엔드포인트를 시험하며, 패턴 기반 탐지 도구를 피하는 데 악용된다면 어떻겠는가”라고 말했다.

조이스는 “에이전틱 AI는 피드백으로부터 학습하기 때문에 탐지 시스템을 회피하도록 행동을 바꿀 수 있다. 이는 의도적일 수도 있고 비의도적일 수도 있다. 이 점이 전통적 규칙 기반 탐지·대응 도구에 심각한 도전을 준다”라며, 에이전트가 특정 행동이 엔드포인트 탐지 플랫폼의 경고를 유발한다는 사실을 파악하고 탐지 한계 아래에서 활동하도록 방식을 바꿀 수 있다고 설명했다. 악성코드가 안티바이러스 검사를 회피하기 위해 진화하는 방식과 유사하다.

새로운 패러다임에는 새로운 방어 모델 필요

조이스는 “에이전틱 AI는 강력한 새로운 모델이자, 근본적으로 다른 사이버 보안 도전 과제를 제시한다. 자율성, 적응성, 상호 연결성은 생산성을 배가시키는 동시에 잠재적 공격 벡터가 되기도 한다. 보안 책임자에게 기존 보안 모델은 더 이상 충분하지 않다”라고 강조했다.

조이스에 따르면, 견고한 에이전틱 AI 방어 전략은 다음과 같은 기본 요소를 포함해야 한다.

• - 실시간 가시성 및 텔레메트리
• - 엄격히 범위가 설정된 거버넌스 정책
• - 보안 설계 기반 개발 관행
• - 보안, IT, 데이터 관리, 규제 준수 팀 간의 교차 기능 협력

조이스는 “선제적이고 다층적인 보안 접근법을 채택하고 처음부터 거버넌스를 내재화함으로써, 기업은 에이전틱 AI가 제공하는 가능성을 안전하게 활용하면서 그 위험을 최소화할 수 있다”라고 말했다.

dl-itworldkorea@foundryco.com