마이크로소프트는 마이크로소프트 365을 비롯해 거의 모든 제품군에 통합하고 있는 생성형 AI 어시스턴트인 코파일럿에 많은 것을 걸었다. 마이크로소프트는 모든 규모의 기업이 코파일럿의 생산성 향상에 주목할 것이며, 수십억 달러 수익에 기여할 것으로 예상하고 있다.

최근 CEO 사티아 나델라가 지난 분기에만 코파일럿 포 마이크로소프트 365의 매출이 60% 증가했으며, 같은 기간 동안 코파일럿 포 마이크로소프트 365 고객 수가 1만 계정으로 두 배 증가했다고 말한 것이 그 증거다.

ⓒ Getty Imgaes Bank

<이미지를 클릭하시면 크게 보실 수 있습니다>

나델라는 마이크로소프트 365용 코파일럿이 “이전 세대에 출시된 그 어떤 소프트웨어보다 빠른 성장률을 보이고 있다”고 말했다.

마이크로소프트에는 분명 좋은 소식이다. 하지만 앞으로의 길에는 장애물이 있을 수 있다. 연구원과 애널리스트는 특히 마이크로소프트 365와 함께 코파일럿을 사용하는 기업에 대해 다양하고 심각한 코파일럿 보안 문제의 가능성을 경고하고 있다. 가트너는 무게를 실은 자체적인 보안 경고를 발표했고 적어도 한 연구원은 기업이 이미 코파일럿 구매를 기피하고 있다고 말한다.

보안 문제가 과장된 것일까, 아니면 마이크로소프트에 진짜 문제가 있는 것일까? 코파일럿 배포를 고려하는 기업이 염두에 두어야 할 사항은 다음과 같다.

데이터 액세스 위험 : 마이크로소프트 365와 코파일럿

코파일럿의 심각한 보안 위험은 생성형 AI 도구가 기업 데이터에 어떤 종류의 액세스 권한을 부여하는지, 그리고 해커나 회사 내 직원에 의해 어떻게 액세스가 악용될 수 있는지에서부터 시작된다.

마이크로소프트 365 관리 구성 및 보안을 전문으로 하는 코어뷰(CoreView)의 공동 설립자이자 CTO 이반 피오라반티는 블로그에서 기업이 마이크로소프트 365용 코파일럿을 설치하면 마이크로소프트 365에 이미 적용된 데이터 액세스 권한 모델을 그대로 적용받는다고 말했다. 피오라반타에 따르면 이 모델은 “권한이 부여된 사용자만 민감한 정보와 상호 작용할 수 있도록” 설계되었다.

하지만 기업에서 쉽게 놓칠 수 있는 보안 공백이 있다. 피오라반티는 위험한 코파일럿 구성 설정이 기본적으로 활성화될 수 있다고 경고한다. 이러한 설정에 따라 코파일럿은 “적절한 보호 장치 없이 민감한 데이터에 액세스할 수 있도록 허용할 수 있다. 기본 설정으로 인해 코파일럿이 외부 플러그인과 상호 작용하고 웹 콘텐츠에 액세스해 새로운 공격 서피스를 만들” 위험이 있다는 것이다.

그 외에도 피오라반티는 코파일럿 보고 도구가 “사용자가 민감한 데이터에 부적절하게 액세스하는 등의 우려되는 영역을 식별하기에 충분하지 않다”라고 경고했다. “...코파일럿은 실수로 기존의 보안 허점을 노출시켜 사용자가 액세스해서는 안 되는 정보를 쉽게 발견하고 공유할 수 있게 만들 수 있다.”

피오라반티는 “코파일럿이 마이크로소프트 365 전반의 데이터에 광범위하게 액세스할 수 있기 때문에 추가적인 보안 위험이 발생한다. 사용자의 계정이 손상된 경우 공격자는 코파일럿을 활용해 기밀 정보를 추출할 수 있다. 코파일럿을 구동하는 AI 모델도 악용될 수 있는 취약점이 있다”라고 설명했다.

이러한 우려는 비단 혼자만의 것이 아니다. 가트너도 동일한 문제를 많이 지적하고 있으며 한 가지를 더 추가한다. 코파일럿은 “프롬프트 인젝션 공격에 취약해 환각, 독성 콘텐츠 또는 저작권으로 보호되는 자료 등 원치 않는 결과를 생성할 수 있는 내재적 위험을 내포하고 있다”는 것이다.

프롬프트 인젝션 공격은 그보다 더 심각한 결과를 초래할 수 있다. 마이크로소프트 365용 코파일럿에 액세스 권한을 얻은 해커는 프롬프트를 사용해 회사의 비공개 데이터를 찾아서 훔칠 수 있다. 또한 프롬프트 인젝션 공격은 탐지되기 어려우며, 악성 코드를 생성하고 실행할 수도 있다. 해커는 민감한 정보에 대한 높은 수준의 액세스 권한을 가진 회사 내 누군가를 사칭해 해당 정보를 악의적인 목적으로 사용할 수 있다.

기업의 우려도 현실

보안 위험 때문에 기업이 이미 마이크로소프트 365용 코파일럿을 기피하고 있다는 증거가 있다.

보안 회사 시큐리티(Securiti)의 최고 데이터 책임자 잭 버코위츠는 복잡한 사용 권한 규칙을 가진 대기업의 경우 직원이 “상충되는 권한 또는 데이터 액세스 충돌”로 제한되어야 하는 등급의 정보에 액세스하는 경우가 많다고 경고한다. 코파일럿은 해커가 정보를 찾기 위한 프롬프트만 있으면 되기 때문에 해커가 해당 정보를 얻기가 어렵지 않다.

버코위츠는 코파일럿과 관련된 보안 문제로 인해 기업이 제품 사용을 중단하고 있다고 주장한다. “몇 주 전 뉴욕에서 조촐한 만찬을 주최했는데, 뉴욕에 있는 20개 이상의 대기업 CDO에게 문제 제기를 했더니 많은 사람이 정말 엉망진창이라고 답했다”라고 말했다.

버코위츠에 따르면 만찬에 참석한 기업 중 절반이 보안에 대한 우려로 인해 마이크로소프트 365용 코파일럿 도입을 줄이거나 중단했다고 한다.

다음 단계는 주의 또 주의

마이크로소프트 365용 코파일럿은 너무 새롭기 때문에 현재로서는 보안 우려가 과장된 것인지 과소평가된 것인지, 그리고 실제로 기업이 도입을 주저하게 만드는지 여부를 판단하기 어렵다.

하지만 마이크로소프트는 이 문제를 신속하게 해결해야 한다. 미국 사이버보안국은 민감한 정부 데이터가 유출될 위험이 있다고 경고했고 이어 하원에서는 의회 직원의 코파일럿 사용을 금지했다. 가트너의 경고를 반영한 것이다.

과거를 돌이켜 보면 마이크로소프트는 보안 면에서 그다지 뛰어나지 않았다. 그러나 이번에는 제대로 해야 한다. AI 분야에서 선도적 역할을 하고 있는 마이크로소프트에 보안 문제가 발생하면 상황이 달라질 것이다.

마이크로소프트는 정부 기관을 겨냥한 AI 제품군을 개발 중이며, 보안을 고려하고 있는 것으로 보인다. 초기단계로서는 좋지만 어디까지나 작은 시작일 뿐이다. 코파일럿의 AI 보안 문제를 신속하게 해결하지 못하면 한순간에 후발주자로 전락할 수 있다.
editor@itworld.co.kr

Preston Gralla editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지