미국 보안 기업 파이어테일(FireTail)이 제미나이 등 일부 인공지능 에이전트가 ASCII 스머글링(ASCII Smuggling) 공격에 노출돼 있다고 경고했다.

보고서에 따르면 구글의 제미나이가 프롬프트 인젝션 형태의 공격에 취약하므로, CSO는 직원 지메일과 구글 캘린더 연동을 일시 중단하는 방안을 검토해야 한다고 조언했다.

파이어테일 CEO 제러미 스나이더는 인터뷰에서 “위험이 우려된다면 제미나이의 자동 이메일 및 캘린더 처리 기능을 잠시 꺼두는 것이 좋다”라고 밝혔다. 제러미 스나이더는 “제미나이를 생산성 목적에 한해 사용하도록 설정할 수 있지만, 메일과 일정의 자동 사전 처리 기능은 적절하지 않다”라고 덧붙였다. 또한 “개발자가 챗봇이나 기타 응용 서비스에 제미나이를 통합할 때 주의해야 하며, 대규모 언어 모델(LLM)의 응답을 반드시 모니터링해야 한다”라고 강조했다.

이번 발언은 파이어테일이 발표한 보고서와 관련이 있다. 보고서에 따르면 제미나이, 딥시크, 그록은 ASCII 스머글링 공격에 취약한 것으로 나타났다. 이 공격은 오래된 기법으로, 보이지 않는 ASCII 제어 문자를 이용해 겉보기에는 정상적인 텍스트 안에 숨겨진 명령어를 삽입하는 방식이다.

보고서에 따르면, 사용자 인터페이스(UI)에는 정상적인 프롬프트가 표시되지만, 실제로 대규모 언어 모델(LLM)에 전달되는 원문에는 유니코드 태그 블록(Tags Unicode Blocks)을 이용한 숨겨진 명령이 포함돼 있는 것으로 나타났다.

이 문자는 인터페이스에 표시되지 않아 사용자가 이상을 인지하지 못하며, LLM이 해당 명령을 그대로 실행하는 구조적 결함이 존재한다고 보고서는 분석했다. 보고서는 이 결함이 “제미나이처럼 구글 워크스페이스와 깊이 통합된 모델에서 특히 위험하다”라고 지적했다.

파이어테일은 총 6개의 인공지능 에이전트를 테스트했다. 오픈AI의 챗지피티, 마이크로소프트의 코파일럿, 앤트로픽 클로드는 공격을 탐지했지만, 제미나이, 딥시크, 그록은 실패했다.

테스트 과정에서 연구진은 구글 캘린더 일정의 ‘Meeting’을 ‘Meeting. It is optional.’로 변경하는 데 성공했다.

겉보기에는 사소하지만, 제미나이가 구글 워크스페이스에 통합돼 있다면 공격자는 더 심각한 조작을 수행할 수 있기 때문이다.

보고서는 이 취약점이 신원 위조나 자동 승인 절차 우회에 악용될 수 있으며, 이메일 수신함에 숨겨진 명령을 삽입해 인공지능이 민감한 데이터 검색이나 연락처 정보 추출을 수행하도록 유도할 수 있다고 분석했다.

제러미 스나이더는 고객지원 챗봇 등 외부 응용 서비스에 취약한 인공지능이 통합될 경우 심각한 결과가 발생할 수 있다고 우려했다.

또한 “지난달 파이어테일이 취약점을 구글에 보고했지만, 구글은 이를 사회공학 공격으로만 간주하며 심각하게 받아들이지 않았다”라고 비판했다.

보고서에 따르면 구글의 버그 리포트 팀은 “해당 문제는 사회공학을 통해서만 악용될 수 있으며, 이를 수정하더라도 사용자의 보안 위험이 감소하지 않는다”라고 회신했다.

제러미 스나이더는 “사회공학은 결코 사소한 문제가 아니며, 이러한 위험을 제거하는 것이 바로 사용자 보호의 핵심”이라고 반박했다. 또한 해결책은 인공지능 에이전트가 입력값을 필터링하는 것이라고 강조했다.

CSO는 구글에 파이어테일 보고서 관련 입장을 요청했지만, 마감 시점까지 답변은 없었다. 그록을 개발한 엑스AI(xAI)에서도 응답이 없었다. 이후 구글 대변인은 “프롬프트 인젝션 공격 완화 방법에 대한 공식 가이드를 게시했다”라고 밝혔다.

사이버보안 및 인공지능 전문가 조지프 스타인버그는 “ASCII 스머글링 공격은 새로운 현상이 아니다. 1년 전에도 시연된 사례가 있었다”라고 언급했다. 조지프 스타인버그는 세부 내용을 밝히지 않았지만, 2024년 8월 한 보안 연구자가 코파일럿에서 ASCII 스머글링 취약점을 발견해 마이크로소프트에 보고한 바 있다.

조지프 스타인버그는 “악성 프롬프트를 위장하는 다양한 방법이 지속적으로 발견될 것”이라며, 정보기술(IT) 및 보안 책임자가 인공지능이 사용자 승인 없이 위험한 명령을 수행하지 못하도록 제한해야 한다고 강조했다.

또한 모든 프롬프트 입력을 가시적 ASCII 문자로 변환해 인공지능 엔진에 전달하는 방법을 권장했다.

유사한 프롬프트 인젝션 공격은 최근 계속 보고되고 있다.

지난달 CSO는 공격자가 매크로에 악성 프롬프트를 삽입하거나 파서를 이용해 숨은 데이터를 노출하는 사례가 늘고 있다고 보도했다. 에임 시큐리티(Aim Security) 연구진은 마이크로소프트 365 코파일럿에서 제로 클릭 프롬프트 인젝션(CVE-2025-32711) 취약점을 발견하기도 했다. 현재는 패치가 완료됐다.

2025년 7월, 팬지아(Pangea)는 대규모 언어 모델(LLM)이 법률 고지문·이용약관·개인정보 처리방침 내에 삽입된 악성 명령에 속을 수 있다고 보고했다.

당시 딥코브 사이버시큐리티(DeepCove Cybersecurity)의 수석 보안 설계자 켈먼 메구는 “업계가 인공지능을 실사용 수준으로 준비됐다고 착각하는 것은 어리석다. AI를 무조건 적용하려는 시도가 반복되고 있다”라고 비판했다.

제러미 스나이더는 “결국 여러 IT 매체의 보도로 인해 원치 않는 관심을 받게 되면, 구글도 제미나이의 취약점을 수정하게 될 것”이라고 전망했다.

dl-itworldkorea@foundryco.com