AI는 기술 산업 전반을 재편하고 있으며, 사이버 범죄 생태계 역시 예외가 아니다. 공격자는 생성형 AI를 활용해 전술·기법·절차를 개선하고 더 빠르고 강력하며 은밀한 공격을 수행하고 있다.

합법적 활용 사례와 마찬가지로, 현재까지 생성형 AI의 악용은 전례 없는 새로운 공격 유형 창출보다는 생산성과 효율성 향상에 초점이 맞춰져 있다. 진입 장벽을 낮추고 자동화 가능한 작업을 기계에 맡김으로써 인간은 보다 고차원적 사고에 집중하는 구조다.

AI 보안 테스트 업체인 마인드가드(Mindgard) CEO이자 영국 랭커스터대학교 교수 피터 개러건은 인터뷰에서 “AI가 새로운 범죄 유형을 반드시 만들어내는 것은 아니다. 대신 기존 범죄를 가속화하거나 확장하고 새로운 위협 벡터를 추가하는 수단이 된다”라고 밝혔다. 이어 “합법 사용자가 자동화, 복잡한 패턴 분석, 기술 진입 장벽 완화, 비용 절감, 신규 콘텐츠 생성에 AI을 활용한다면 범죄자도 같은 방식을 택하지 않을 이유가 없다”라고 설명했다.

다만 최근에는 자율적으로 행동하는 에이전트형 AI가 등장하면서 상황이 달라지고 있다. AI가 단순 보조 도구를 넘어 공격 자동화의 주체로 진화하고 있다.

시스디그(Sysdig) 선임 사이버보안 전략가 크리스털 모린은 “지난 1년간 가장 큰 변화는 AI가 단순 보조자를 넘어 완전 자율적이며 공격자의 공범처럼 전체 공격 체인을 실행할 수 있는 단계로 발전한 점”이라고 말했다.

현재 기업 시스템 공격에 악용되는 생성형 AI 사례를 살펴보면 다음과 같다.

피싱 고도화

생성형 AI는 매우 정교한 피싱 이메일을 제작할 수 있어 사용자가 사기 사이트에 민감 정보를 입력하거나 악성코드를 내려받을 가능성을 크게 높인다.

과거처럼 어색하고 오류가 많은 일반적 이메일을 대량 발송하는 대신, 공격자는 특정 수신자를 겨냥한 정교하고 개인화된 메시지를 빠르게 생성할 수 있다.

소셜미디어에서 수집한 표적 정보 등 다양한 데이터도 피싱 캠페인에 통합할 수 있다.

개러건은 “AI는 어떤 이메일이 차단되거나 열람되는지 학습하고, 피싱 성공률을 높이기 위해 접근 방식을 조정할 수 있다”라고 설명했다.

악성코드 개발 지원

AI는 더욱 정교하거나 개발 부담이 적은 악성코드 생성에도 활용된다.

예를 들어 공격자는 생성형 AI로 악성 HTML 문서를 제작한다. 악성 코드를 포함해 악성코드를 다운로드·실행하는 X웜(XWorm) 공격은 HTML 스머글링 방식으로 시작되며, 개발 과정에서 AI가 사용된 흔적이 확인된다.

HP 울프 시큐리티(HP Wolf Security)의 2025년 위협 인사이트 보고서는 로더 코드가 줄 단위로 상세 설명돼 있어 생성형 AI로 작성된 정황이 보인다고 분석했다.

또한, 대규모 언어 모델에 파일 다운로드용 HTML 페이지 생성을 요청했을 때 출력되는 결과와 X웜 전달 페이지 디자인이 거의 동일하다고 덧붙였다.

보안 기업 체크포인트의 위협 인텔리전스·연구 조직 체크포인트 리서치(Check Point Research)에 따르면 이중 갈취 전술을 사용하는 알제리 연계 랜섬웨어 서비스형 공격 기업 펑크섹(FunkSec) 역시 AI 기술을 도입했다.

연구진은 펑크섹 운영자는 AI 지원 악성코드 개발을 활용하는 것으로 보이며, 경험이 적은 공격자도 고급 도구를 빠르게 제작·개선할 수 있다고 밝혔다.

취약점 탐색과 익스플로잇 가속화

생성형 AI는 시스템 취약점 분석과 익스플로잇 개발도 단순화한다. 개러건은 “공격자가 직접 시스템 경계를 정찰하는 대신 AI 에이전트에 자동 수행을 맡길 수 있다”라고 말했다.

위협 인텔리전스 업체 릴리아퀘스트(RelialQuest)의 지난해 연구에 따르면 취약점 발견 후 실제 악용까지 걸리는 시간은 47일에서 18일로 62% 단축됐다.

릴리아퀘스트는 “이처럼 급격한 감소는 생성형 AI와 같은 중대한 기술 발전이 전례 없는 속도로 취약점 악용을 가능하게 했음을 시사한다”라고 분석했다.

공격자는 침투 테스트 도구와 생성형 AI를 결합해 네트워크 스캔, 권한 상승, 페이로드 맞춤화 스크립트를 작성한다. 스캔 결과를 분석하고 최적의 익스플로잇을 제안하는 데도 AI가 활용된다.

릴리아퀘스트는 이런 발전이 공격 체인의 여러 단계를 가속화하며 특히 초기 접근 단계에 영향을 준다고 결론 내렸다.

사이버 복원력 업체 사이버마인더(Cybermindr)는 2025년 평균 취약점 악용 시간이 5일로 감소했다고 밝혔다. AI 기반 정찰, 자동화된 공격 스크립트, 지하 익스플로잇 시장이 무기화 속도를 높였다는 분석이다.

AI 기반 첩보 활동 자동화

앤트로픽은 2025년 9월 정교한 AI 기반 자동화 사이버 첩보 캠페인을 차단했다고 밝혔다.

공격자는 클로드 코드를 악용해 캠페인 활동의 약 80%를 자동화했으며, 약 30개 주요 기술 기업과 금융기관, 정부 기관을 표적으로 삼았다.

앤트로픽은 일부 사례에서 공격이 성공했으며, 배후에 중국 정부 지원 기업이 있을 가능성이 높다고 전했다. 해당 캠페인은 금지 기능을 활성화하기 위해 탈옥 도구를 활용한 것으로 분석됐다.

지난해 카네기멜론대학교 사이랩 보안·프라이버시 연구소(CyLab Security & Privacy Institute) 연구진은 앤트로픽과 협력해 GPT-4o와 같은 대규모 언어 모델이 인간 개입 없이 기업 규모 네트워크를 대상으로 정교한 사이버 공격을 계획·실행할 수 있음을 입증했다.

연구진은 고수준 계획 기능과 특수 에이전트 프레임워크를 결합한 대규모 언어 모델이 실제 침해 사례와 유사한 네트워크 침투를 시뮬레이션할 수 있다고 설명했다.

범죄자 전용 대규모 언어 모델 등장

사이버 범죄자는 주류 생성형 AI 플랫폼의 안전장치를 우회하기 위해 자체 대규모 언어 모델을 개발하고 있다.

대표 사례로 웜GPT(WormGPT), 프로드GPT(FraudGPT), 다크버트(DarkBERT) 등이 있으며, 피싱 이메일 작성과 악성코드 생성 등에 활용된다.

보안 연구자 크리스 큐베카는 2024년 말 맞춤형 챗GPT 버전인 제로데이 GPT(Zero Day GPT)를 통해 수개월 동안 20개 이상 제로데이 취약점을 발견했다고 밝혔다.

LLM재킹을 통한 자원 탈취

공격자는 고가의 대규모 언어 모델 자원을 탈취하기 위해 클라우드 자격 증명을 훔치는 LLM재킹 공격을 수행하고 있다.

시스디그의 모린은 성숙한 플랫폼과 달리, 안전장치가 없는 신규 모델을 찾아 악성 코드 생성이나 지역 제재 우회를 시도하는 사례도 확인되고 있다고 밝혔다.

AI 에이전트 암시장 등장

보안 전문가는 여러 전문 에이전트가 협력하는 자동화된 범죄 구조를 추적하고 있다.

네트워크 기반 위협 탐지 업체 벡트라 AI(Vectra AI) 사이버위협 연구 매니저 루시 카르디에는 정찰·도구 제작·실행·데이터 이동 등 역할별 에이전트가 상호작용하는 초기 사례가 나타나고 있다고 설명했다.

대표 사례로 다크웹 형태의 AI 에이전트 마켓플레이스 ‘몰트 로드(Molt Road)’가 있으며, 현재 등록 수는 많지 않지만 구조적 위험성은 존재한다.

카르디에는 자율 에이전트가 인간 개입 없이 목록 생성, 접근 권한 판매, 작업 조정, 거래 완료까지 수행하며 사이버 범죄의 경제 구조를 자동화할 수 있다고 분석했다.

인증 우회 공격

생성형 AI는 캡차(CAPTCHA)나 생체 인증과 같은 보안 방어 체계를 우회하는 데 악용된다.

보안 기업 디스퍼시브(Dispersive)는 AI가 캡차를 무력화하고 음성 생체 인증을 분석해 인증 체계를 침해할 수 있다고 경고했다.

딥페이크 기반 사회공학

AI 생성 딥페이크는 이메일보다 신뢰도가 높은 음성·영상 채널을 악용하는 데 사용된다.

딥페이크 탐지 플랫폼 리얼리티 디펜더(Reality Defender) CTO 알렉스 리슬은 영상 기반 자격 증명 초기화 절차가 악용된 사례를 소개했다.

리얼리티 디펜더는 비밀번호 재설정을 위해 관리자가 줌 화상 통화에 참여해 신원을 확인하는 절차를 운영했으나, 공격자는 실시간 영상 딥페이크로 관리자를 사칭해 재설정을 승인받는 데 성공했다.

설계·엔지니어링 업체 아럽(Arup)에서는 재무 담당 직원이 영국 기반 최고재무책임자를 사칭한 딥페이크 화상회의에 속아 2억 홍콩달러(약 2,560만 달러)를 송금한 사건이 발생했다.

오픈클로(OpenClaw) 악용

공격자는 오픈소스 AI 에이전트 프레임워크 ‘오픈클로(OpenClaw)’도 표적으로 삼고 있다. 공급망 공격과 설정 오류가 결합될 경우 악성코드 유포로 이어질 수 있다.

AI 기반 보안 운영 자동화 플랫폼 드롭존 AI(Dropzone AI) 최고경영자 에드워드 우는 가상 비서를 악용해 암호화폐 지갑 개인 키를 탈취하거나 피해자 기기에서 코드를 실행할 수 있다고 밝혔다.

모델 메모리 오염

에이전트형 AI는 지속 메모리를 활용해 장·단기 맥락을 유지한다. 공격자가 허위 정보를 메모리에 주입하면 이후 모든 의사결정에 영향을 줄 수 있다.

보안 연구자 요한 레베르거는 2025년 9월 챗GPT의 장기 메모리에 허위 정보를 삽입하는 실험을 공개했다.

마이크로소프트 보안 기술 리드 시리 바르마 베기라주는 악성 이미지에 숨겨진 지침을 이용해 조작 데이터를 장기 메모리에 주입했고, 세션 간 지속되며 공격자가 통제하는 서버로 사용자 데이터를 유출했다고 설명했다.

AI 인프라 직접 공격

최근 공격자는 생성형 AI 자체보다 이를 구동하는 인프라를 노리고 있다.

대표 사례는 모델 컨텍스트 프로토콜 서버(Model Context Protocol Server) 공급망 오염이다.

2025년 초 발견된 위조 ‘포스트마크 MCP 서버(Postmark MCP Server)’는 처리된 모든 이메일을 공격자 도메인으로 몰래 참조 발송했다.

슈어패스 AI(SurePath AI) 최고경영자 케이시 블리커는 악성 MCP 서버 다수가 이미 확인됐으며, 정상적인 AI 활동처럼 위장해 정보를 유출한다고 밝혔다.

현실 점검

전문가는 AI가 강력한 도구이지만 한계도 존재한다고 지적한다.

포어스카우트(Forescout) 보안 인텔리전스 부사장 릭 퍼거슨은 공격자가 취약점 악용 같은 복잡한 작업보다는 반복 업무 자동화에 주로 활용한다고 분석했다.

관리형 탐지·대응 기업 헌트리스(Huntress)는 지난 12개월 동안 공격자가 스크립트와 브라우저 확장 프로그램, 피싱 유인 메시지 생성에 AI를 활용하는 사례를 추적했다.

헌트리스 수석 전술 대응 애널리스트 안톤 오브루츠키는 일부 자동 생성 스크립트가 실행에 실패하는 사례도 확인됐다고 전했다. 그러나 AI가 새로운 공격 전술이나 익스플로잇 유형을 창출하지는 못했다고 평가했다.

대응 전략

생성형 AI 오남용은 숙련도가 낮은 범죄자의 진입 장벽을 낮추고 있다.

마인드가드 CEO 겸 CTO 피터 개러건은 AI 기반 위협을 시험·탐지·대응하기 위해 방어 측 역시 AI를 적극 활용해야 한다고 강조했다.

디스퍼시브 기술 마케팅 부사장 로렌스 핑리는 공격자와 방어자 간 자동화·정찰·허위정보 경쟁에서 승리하기 위한 선제적 방어 전략을 제시했다. 또한, 기존 탐지·대응 체계만으로는 충분하지 않다고 경고했다.

기업은 임직원 교육과 함께 생성형 AI 기반 위협을 실시간 탐지·무력화하는 체계를 구축해야 한다.

포어스카우트의 퍼거슨은 CIO가기업 서비스형 소프트웨어(SaaS) 플랫폼을 관리하듯 기업 내 AI도 동일한 수준으로 관리해야 한다고 조언했다. 동시에 신원 및 조건부 접근 통제를 강화하고, 권한을 최소화하며, 키 관리를 철저히 하고, 비정상적 AI 및 API 사용과 비용을 모니터링해야 한다고 강조했다.

dl-itworldkorea@foundryco.com