2025년 초, 여러 해외 매체가 구글의 이메일 서비스인 지메일 사용자를 겨냥한 새로운 위협에 대해 경고했다. 보도에 따르면 공격자들은 AI 기술을 활용해 피싱 메일을 정교하게 다듬고, 실제 사람에게서 온 것처럼 더욱 설득력 있게 꾸몄다.

이런 공격을 위해 AI는 인터넷상에서 자유롭게 접근할 수 있는 정보를 수집해 이메일 내용을 조작했다. 소셜네트워크, 웹사이트, 온라인 포럼 등에서 공개된 데이터를 분석해 마치 지인이나 가족, 혹은 상사에게서 온 것처럼 보이는 속임수 이메일을 자동으로 만들어냈다.

게다가 이 AI는 이메일이 더욱 진짜처럼 보이도록, 실제 존재할 법한 도메인 주소를 자동으로 생성해 발신자 주소로 사용했다. 이처럼 AI가 딥러닝 기술을 활용해 피싱 메일을 정교하게 위조하는 이 새로운 수법은 일명 ‘딥피싱(Deepphishing)’이라고 불린다.

물론 초기 보도에는 몇 가지 의문점도 있었다. 예를 들면 왜 지메일 사용자가 이 공격의 주요 표적이 됐는지에 대한 설명은 부족했다. 그럼에도 이번 사례는 여러 전문가가가 이미 예견한 중요한 흐름을 보여준다. 사이버범죄 집단이 AI 도구를 활용해 공격의 속도와 정밀도를 극대화하는 시대가 본격화되고 있다.

AI가 만든 ‘가짜 도메인’, 피싱의 새로운 무기

기존 피싱 공격의 가장 큰 약점은 발신자 주소였다. 대부분 피싱 메일은 발신 주소만 확인해도 쉽게 진위를 구별할 수 있었다. 예를 들어, 넷플릭스나 디즈니 같은 스트리밍 서비스에서 온 것처럼 보이더라도, 발신 주소가 andy@brandbot.com이라면 메일의 형식이 아무리 그럴듯해도 가짜일 가능성이 높다.

그러나 AI를 사용한 새로운 형태의 피싱 공격에서는 이야기가 달라진다. AI가 알고리즘 기반으로 이메일 내용과 문맥에 맞춰 자연스럽게 어울리는 가짜 도메인 주소를 자동으로 생성하기 때문이다. 즉, 메일 본문과 발신 주소가 정교하게 일치해 사용자가 진짜 서비스에서 보낸 메일이라고 믿게 만든다.

실제로 미국의 데이터센터 운영 기업 식스테라 테크놀로지(Cyxtera Technologies)의 연구팀은 2018년 이런 AI 알고리즘이 실제로 얼마나 효과적인지 분석한 바 있다.

연구팀은 ‘딥피시(Deepphish)’라는 알고리즘을 개발했다. 이 알고리즘은 피싱 공격에 적합한 URL을 자동으로 제안하도록 설계됐으며, 이를 위해 과거 이메일 피싱 공격에 사용된 100만 개 이상의 URL 데이터를 신경망에 입력해 학습시켰다. 연구팀은 훈련 과정에서 피싱 공격을 수행하는 행위자의 특성을 두 가지 프로파일로 구분해 알고리즘이 다양한 공격 패턴을 학습하도록 설계했다.

일반적으로 피싱 메일은 발신자 주소만으로도 파악하기 쉽다. 예를 들어 디즈니에서 보낸 것처럼 보이는 메시지가 andy@brandbot.com 같은 주소에서 왔다면, 그 자체로 이미 문제가 있다는 신호다.Foundry

<이미지를 클릭하시면 크게 보실 수 있습니다>

AI가 생성한 발신자 주소를 사용하자 공격 효율은 두 프로파일에서 각각 0.69%에서 20.9%, 4.91%에서 36.28%로 크게 증가했다.

원래 딥피싱이라는 명칭은 식스테라 연구팀이 개발한 알고리즘만을 지칭했지만, 현재는 AI를 활용한 피싱 공격 전반을 통칭하는 용어로 널리 사용되고 있다.

딥피싱 공격은 어떻게 진행되는가

딥피싱 공격은 비교적 표준화된 절차를 따른다. 첫 단계는 공격 대상의 사회적 환경을 조사하는 것이다. 예를 들어 AI는 인터넷에서 다음과 같은 질문에 대한 답을 수집·분석한다.

• - 어디에 거주하는가?
• - 어디에서 일하는가?
• - 가족 구성원의 이름은 무엇인가?
• - 친구들의 이름은 무엇인가?
• - 동료와 상사의 이름은 무엇인가?
• - 이들의 이메일 주소는 무엇이며, 대상자와의 관계는 얼마나 밀접한가?

AI는 소셜네트워크와 온라인 포럼은 물론, 기업 네트워크나 웹사이트 침해 사건에서 해커가 유출해 공개한 데이터까지 광범위하게 활용한다. 이렇게 모은 정보가 많을수록 공격자는 특정한 피해자의 상황에 꼭 맞춘 맞춤형 피싱 이메일을 훨씬 정교하게 만들어낼 수 있다.

딥피싱과 같은 알고리즘이 적용되는 다음 단계는, 피싱에 사용할 적합한 도메인을 등록하고 AI로 발신자 주소를 생성하는 것이다.

AI는 이후 이메일 본문을 직접 작성한다. 수집한 정보를 바탕으로 적절한 제목, 수신자에게 맞춘 호칭, 실제 발신자가 썼을 법한 문장 구조와 표현을 자동으로 만들어낸다. 이처럼 정교하게 개인화된 메시지는 일반적인 피싱 메일보다 훨씬 더 신뢰감 있어 보인다.

그렇다면 범죄자는 딥피싱 공격을 통해 무엇을 노리는 것일까? 목표는 단순하다. 수신자가 메일을 진짜라고 믿고, 첨부파일이나 삽입된 링크를 클릭하도록 만드는 것이다.

이후 과정은 대부분 자동으로 이어진다. 첨부파일을 열면 악성코드가 다운로드돼 설치되고, 링크를 클릭하면 신용카드 정보나 스트리밍 서비스 계정 정보를 요구하는 가짜 웹사이트로 연결된다. 딥피싱이 위험한 이유는 바로 이처럼 사용자의 ‘한 번의 클릭’을 유도하는 데 최적화돼 있다는 점이다.

딥피싱을 넘어…범죄자 돕는 AI 툴의 확산

물론 딥피싱 알고리즘은 시작에 불과하다. 이제는 범죄자가 피싱 메시지를 작성하는 전 과정을 AI가 대신 수행해주는 도구가 이미 널리 퍼져 있다. 대표적인 프로그램으로 프로드GPT(FraudGPT), 웜GPT(WormGPT), 고스트GPT(GhostGPT) 등이 있다. 이들 도구는 특정 개인이나 기업을 정조준한 맞춤형 피싱 이메일을 자동으로 생성한다.

예를 들어, 사용자가 프로그램에 “넷플릭스 공지처럼 보이는 이메일을 만들어서, 계정 정보를 가짜 사이트에 입력하도록 유도해”라고 지시하면 곧바로 해당 형식의 피싱 메일이 생성된다.

또는 “와이파이 비밀번호는 어떻게 해킹해?”와 같은 질문을 하면 범죄에 활용할 답변을 제공하기도 한다.

심지어 AI에 컴퓨터에서 입력되는 모든 키보드 타이핑 정보를 인터넷을 통해 특정 서버로 전송하도록 설계된 키로거(keylogger) 프로그램을 코딩하도록 지시할 수도 있다.

챗GPT와 같은 LLM은 기본적으로 위법 행위나 공격 지시에는 응답하지 않도록 필터가 내장돼 있다. 챗GPT는 소스코드를 공개하지 않기 때문에 이런 필터를 직접 우회하거나 제거할 방법도 없다.

그러나 다크웹에는 특정 프롬프트 조합을 이용해 챗GPT 같은 LLM을 혼란시키고, 내장된 안전 필터를 무력화하도록 만드는 방식이 공유된다. 일부 범죄 집단은 아예 오픈소스 기반 LLM으로 눈을 돌려 필터를 제거한 뒤 악용 가능한 형태로 다시 구성하기도 한다.

AI 기반 악성코드 제작, 얼마나 간편해졌나?

AI 기반 악성코드가 어디까지 진화했는지는 스톱워치 AI(Stopwatch AI)에서 확인할 수 있다. 이 사이트는 AI가 3단계만으로 주요 백신 프로그램의 방어막을 우회하는 악성코드를 만들어낼 수 있음을 시연한다.

첫 번째 단계는 ‘플랫폼 선택’이다. 공격하려는 대상 컴퓨터의 OS를 고르는 과정으로, 선택지는 맥, 윈도우, 리눅스, AWS, 구글 클라우드, 마이크로소프트 애저가 있다.

스톱워치 AI 웹사이트는 AI 도구만으로 몇 단계 만에 악성코드를 생성할 수 있는 과정을 보여준다. 첫 번째 단계는 공격 대상 OS를 선택하는 것으로, 사용자는 이 단계에서 어떤 시스템을 공격할지 지정하게 된다.Foundry

<이미지를 클릭하시면 크게 보실 수 있습니다>

두 번째 단계는 ‘보안 도구 선택’이다. 이 단계에서는 우회 대상으로 삼을 9종의 안티바이러스 솔루션이 제시된다. 마이크로소프트 디펜더(Microsoft Defender), ESET 엔드포인트 프로텍션 어드밴스드(Eset Endpoint Protection Advanced), 맥아피 엔드포인트 시큐리티(McAfee Endpoint Security), 시만텍 엔드포인트 시큐리티(Symantec Endpoint Security), 카스퍼스키 엔드포인트 시큐리티 포 비즈니스(Kaspersky Endpoint Security for Business) 등이다.

두 번째 단계에서는 스톱워치 AI 사용자가 악성코드로 공략하고자 하는 보안 프로그램을 선택한다. 여기에는 마이크로소프트 디펜더를 포함해 여러 주요 안티바이러스 제품이 목록에 올라 있다.Foundry

<이미지를 클릭하시면 크게 보실 수 있습니다>

세 번째 단계인 ‘공격 유형 선택’에서는 생성하려는 악성코드의 종류를 지정한다. 선택 가능한 범위는 애드웨어·스파이웨어부터 랜섬웨어, 키로깅, 데이터 탈취에 이르기까지 다양하다.

스톱워치 AI는 키로거부터 랜섬웨어까지 총 10가지 유형의 악성코드를 제공한다. 다만 선택한 악성코드를 실제로 생성하거나 실행하려면 사용자 등록 절차를 반드시 거쳐야 한다.Foundry

<이미지를 클릭하시면 크게 보실 수 있습니다>

공격 유형을 선택하면 스톱워치 AI는 로그인 정보를 입력하라고 요청한다. 이 사이트는 구글, 깃허브, 마이크로소프트 계정으로도 등록할 수 있으며, 가입이 완료되는 즉시 AI가 사용자가 지정한 악성코드를 자동으로 프로그래밍하기 시작한다.

사이트를 사용하려면 이용약관에 동의해야 한다. 약관에는 다른 시스템을 공격하는 행위를 금지하는 조항이 포함돼 있는데, 이는 스톱워치 AI가 AI 기반 악성코드 개발 연구 목적으로만 제공되기 때문이다. 모든 프로젝트는 사용자 계정에 귀속되어 저장된다.

AI가 만든 피싱 이메일 구별하기

이메일을 확인할 때는 반드시 발신자 주소를 먼저 확인해, 실제로 있을 법한 주소인지 판단해야 한다. 또한 다음과 같은 특징이 보이면 의심하는 편이 안전하다.

• - 평소 연락하지 않던 사람에게서 갑자기 이메일이 온 경우, 특히 오랜만에 연락이 왔는데 평소 하지 않던 부탁이나 이례적인 요청을 포함하고 있다면 주의해야 한다.
• - 이메일에 포함된 링크에 마우스를 올려(URL 미리보기) 링크가 어디로 연결되는지 확인한다. 발신자 정보나 이메일 내용과 전혀 맞지 않는 주소라면 피싱일 가능성이 높다.
• - 은행, 스트리밍 서비스, 공공기관은 절대 이메일로 비밀번호나 계정 정보를 요구하지 않는다. 이런 요청이 포함된 메일은 거의 대부분 사기다.
• - 시간 압박을 주며 즉시 조치를 요구하는 이메일도 경계 대상이다. “긴급”, “즉시 처리 필요”, “곧 계정이 비활성화됩니다”와 같은 표현은 피싱 메일에서 흔히 쓰이는 전형적 수법이다.

AI로 안티바이러스 툴 우회

대부분의 안티바이러스 프로그램은 최신 바이러스 정의 파일을 매일 제조사 서버에서 내려받는다. 이는 최근 발견된 악성코드의 특성을 기록한 데이터로, 사용자의 컴퓨터에서 새로운 멀웨어를 신속하게 탐지하기 위한 기본 장치다.

그러나 이 보호막이 점점 더 취약해지고 있다. 이유는 단순하다. 수십 년 전부터 다크넷 등지에서는 초보 개발자도 손쉽게 악성코드를 만들 수 있는 바이러스 제작 키트가 유통돼 왔다. 심지어 이런 툴은 다크넷뿐 아니라 일반 웹 환경에서도 찾을 수 있다.

이런 방식으로 만들어지는 악성코드는 대부분 기존에 알려진 바이러스의 변형 버전이다. 제작자가 시그니처를 조금만 수정해도 백신에서는 새로운 악성코드로 분류되기 때문에 탐지 우회를 하기 쉽다. 전 세계 안티바이러스 업체가 하루 평균 56만 개의 새로운 악성코드가 보고된다고 밝히는 현실도 쉽게 설명된다.

AI 시대에 접어들면서 악성코드 변종 생성은 완전히 새로운 단계에 들어섰다. 그동안 보안 업체는 이미 알려진 악성코드의 변형을 식별하도록 백신 엔진을 고도화해 왔지만, 이제 AI의 등장으로 이러한 대응 방식이 무력해질 위험이 커지고 있다.

AI를 활용하면 기존 악성코드를 정교하게 조작해 백신 탐지를 회피하도록 변형할 수 있다. 이는 단순히 시그니처를 바꾸는 수준을 넘어, 탐지 규칙 자체를 벗어나도록 악성코드의 구조를 ‘목적에 맞게’ 재작성하는 방식이다.

보안 업체 아크로니스(Acronis)는 최근 발표에서 이를 시연했다. 연구팀은 악성코드 샘플을 구글의 악성코드 탐지 서비스인 바이러스토탈(Virustotal)에 업로드한 뒤, AI를 활용해 샘플을 연속적으로 변형시키자 기존 백신이 더 이상 이 악성코드를 탐지하지 못하는 사례를 보여줬다.

초기 상태에서 이 악성코드는 바이러스토탈에 포함된 9개 안티바이러스 엔진에 의해 악성으로 분류됐다. 그러나 이를 그록3(Grok3)의 AI로 재가공하자, 악성으로 인식한 프로그램은 단 1개였다. 같은 샘플 코드를 제미나이 2.0 플래시와 딥시크(Deepseek) R1로 다시 변형했을 때는 바이러스토탈에 등록된 어떤 보안 프로그램에서도 탐지되지 않았다.

사용하는 AI 도구에 따라 공격자는 기존 악성코드를 바꿔치기해 바이러스토탈에 거의, 혹은 완전히 탐지되지 않는 형태로 만들 수 있다.Foundry

<이미지를 클릭하시면 크게 보실 수 있습니다>

하지만 AI로 코드가 변형된 악성코드라 하더라도 안티바이러스 프로그램의 휴리스틱 탐지나 행위 기반 분석 방식은 여전히 유효하다. 즉, 코드 서명이 바뀌어도 실제 실행 과정에서 나타나는 이상 행동 패턴은 탐지를 피하기 어렵다.

이메일 스푸핑은 어떨까?

이메일 주소를 위조하는 이메일 스푸핑(email spoofing)은 이제 거의 발생하지 않는다. 2014년 이후 SPF, DKIM, DMARC 인증 방식이 차례로 표준으로 자리 잡았고, 주요 이메일 서비스 업체가 이를 단계적으로 도입했기 때문이다.

SPF·DKIM·DMARC가 도입된 이후로는 이메일 주소의 도메인 정보를 임의로 조작하는 것이 사실상 불가능해졌다. 예를 들어 magazine@pcworld.com이라는 주소에서 도메인은 pcworld.com이다. 만약 해당 도메인의 이메일 시스템에서 인증 절차(SPF, DKIM, DMARC)를 비활성화하면, 이러한 메일은 수신 단계에서 대부분 스팸으로 자동 분류된다.

스푸핑 시도 자체는 여전히 존재한다. 여러 이메일 클라이언트에서 발신자 이름을 손쉽게 바꿀 수 있기 때문이다. 이 방식은 이메일 주소 자체를 바꾸지는 못하지만 해킹 공격에서는 같은 메뉴 위치에서 회신 주소를 조작할 수 있다. 이렇게 설정하면, 사용자가 메일에 답장을 보냈을 때 모든 회신이 해커가 지정한 주소로 전달된다. 또 다른 수법으로는 매우 비슷해 보이는 도메인을 사용하는 방식이 있다. 예를 들어 magazine@pcworld.com 대신 magazine@pcworlde.com처럼 한 글자만 다른 도메인을 사용해 수신자가 착각하도록 만드는 식이다.

dl-itworldkorea@foundryco.com