마이크로소프트가 CISO에게 인공지능 기술을 더 잘 활용해야 했다고 주문했다. 위협 행위자가 이미 악성코드, 피싱, 딥페이크 영상을 만드는 데 생성형 AI를 사용하고 있기 때문에 기업을 방어하는 방법도 진화해야 했다는 논리다.

지난주 발행된 마이크로소프트의 연례 디지털 방어 보고서에서는 “생성형 AI 애플리케이션 증가는 충분한 데이터 거버넌스 제어가 구현되지 않은 기업에 심각한 위협”이라는 내용이 실려 있다.

ⓒ Getty Images Bank

<이미지를 클릭하시면 크게 보실 수 있습니다>

두 가지 트렌드

이 보고서는 “AI를 이용한 사이버 위협 행위자와 방어자와 관련해 두 가지 상반된 트렌드가 나타날 것”이라고 예상했다.

AI 도구를 일찍 받아들인 기업은 머신러닝을 사용해 진화하는 전술, 기술 및 절차(TTP)를 빠르게 수집하고 추론해 멀웨어와 악성 코드를 탐지 및 차단했다. 보고서는 “방어 전략에 AI를 통합하는 것을 주저하면 위협 행위자가 AI 도구로 식별한 틈새를 악용할 수 있는 기회의 창이 열리게 될 것”이라고 경고했다. 즉, AI를 조기에 도입하는 기업은 AI의 민첩성으로 인해 단기적인 이점을 누릴 수 있다.

“그러나 AI를 이용한 위협 행위자의 인간 표적 공격의 경우, 방어 전략을 지원하는 AI 도구가 있더라도 위협을 탐지하고 방어하기가 더 어려워질 것이다.”

낮은 진입 장벽

인텔471 수석 위협 애널리스트 애슐리 제스는 AI가 위협 환경을 변화시키는 주된 방법은 이 첨단 기술의 사용 진입 장벽을 낮추는 것이라고 말했다. 그 결과, 악의적인 의도를 가졌으나 기술력이 없는 사람도 오늘날에는 사이버 범죄자가 코딩, 소셜 엔지니어링, 딥페이크 등에 사용하는 전술과 기술을 쉽게 탐색할 수 있다.

제스는 “불과 몇 년 전만 해도 이러한 작업을 직접 수행하려면 비용이 매우 많이 들었다. 직접 호스팅해야 했고, 그럴듯한 딥페이크를 만들려면 평균 500개의 소스 이미지가 필요했다. 하지만 생성형 AI 도구가 공개되고 개선되어 사용 비용이 저렴해지면서 더 많은 사람에게 AI의 활용 폭이 열렸다”라고 설명했다.

제스는 위협 행위자가 사회공학적 피싱 공격의 성공 여부에 대한 정보를 수집한 다음, AI를 사용해 어떤 미끼가 가장 효과적인지 시각화하는 도구 등 범죄 시장에 특화된 AI 기술을 제공하는 사례를 목격했다. 이런 도구의 사용자는 더 많은 피해자가 악성 파일을 클릭하게끔 유도하는 방법을 배울 수 있다.

또한 제스는 “소셜 엔지니어링 분야가 가장 우려스러운 이유는 그 효과 때문이다. 가장 간단하고 피해자 수 측면에서 가장 영향력이 크다”라고 강조했다. 동시에 “많은 사용자가 멀웨어 코딩 측면에서 AI의 갈 방향을 올바르게 진단하지만, AI가 만들 수 있는 코드에 대해서는 아직 매우 초보적인 수준”이라고 덧붙였다.

오픈AI는 최근 영향력 및 사이버 운영 보고서에서 위협 행위자가 챗GPT 모델을 사용해 멀웨어를 만드는 것을 목격했다고 인정했다. 그러나 지금까지는 “실질적으로 새로운 멀웨어를 만들거나 바이러스 잠재고객을 구축하는 능력에서 의미 있는 혁신으로 이어졌다는 증거는 보지 못했다”라고 강조했다.

마이크로소프트 캐나다 보안 책임자인 존 휴이는 이메일을 통해 랜섬웨어 운영자의 생산성을 높이는 등 위협 행위자가 공격 생태계의 효율성과 속도를 높이는 데 생성형 AI가 어떻게 사용될지에 대한 우려가 커지고 있다고 말했다. 디지털 방어 보고서에 따르면 인간이 운영하는 랜섬웨어와 관련된 공격이 매년 2.75배씩 증가하고 있다.

“또한 휴이는 “전 세계가 공식 및 비공식 채널을 통해 전달되는 압도적인 정보 유입을 관리하고 있는 이 시점에서 잘못된 정보에 대처하는 문제는 점점 더 중요해지고 있다”라고 덧붙였다. 혁신적 기술 시대의 초입에서 AI가 산업에 미치는 영향도 중요하지만, 증가하는 사이버보안 위협으로부터 중요한 데이터와 자산을 보호하는 역할도 매우 중요했다.

휴이는 많은 CISO가 사이버보안 분야에서 AI가 가져올 잠재력을 알고 있지만, 그 가능성을 받아들일 준비가 되어 있는지는 몇 가지 요인에 따라 달라진다고 말했다.

“첫째, CISO는 AI가 위협 탐지를 강화하고, 대응을 자동화하며, 방어를 강화할 수 있다는 것을 이해하고 있다. 머신러닝을 사용해 이상 징후를 탐지하거나 위협을 예측하는 도구가 사이버보안 전략에 점점 더 많이 통합되고 있다. 또한 이미 AI 기반 사이버보안 솔루션을 도입한 CISO는 AI를 활용해 효율성을 높이고, 인적 오류를 줄이고, 기존 시스템보다 더 빠르게 대량의 데이터를 처리함으로써 진화하는 위협에 앞서 나가기 위한 조치를 취하고 있다.”

필요한 기술을 갖추지 못한 CISO도 많다. 휴이에 따르면 AI를 효과적으로 구현하려면 전문 지식이 필요한데, 많은 CISO가 AI 기술, 알고리즘 또는 이러한 시스템을 최적화하는 데 필요한 데이터 과학에 대한 이해가 깊지 않다. AI 전문가를 고용하거나 교육하는 것은 많은 기업에게 여전히 어려운 과제다.

AI는 고품질 데이터를 기반으로 작동하지만, 많은 기업이 AI 모델을 효과적으로 학습시키는 데 필요한 데이터의 양과 수준을 관리하고 제공하는 과정에서 어려움을 겪고 있다. 이로 인해 AI의 기능을 완전히 실현하는 데 한계가 있다. 또한 사이버 보안에 AI를 구현하려면 AI를 지원하지 않을 수 있는 레거시 시스템과 통합해야 한다.

휴이는 “AI의 힘을 완전히 수용하려면 장벽을 해결할 수 있는 교육, 도구, 강력한 전략에 투자해야 한다”라고 강조했다.

국가 기반 위협 공격자의 위험

보고서는 러시아, 중국, 이란의 지원을 받는 위협 행위자가 소셜 미디어 영향력 작전에서 AI를 가장 많이 사용한다고 말했다.

예를 들어, 보고서는 중국과 연계된 위협 행위자가 AI로 “매끄럽고 매력적인 시각적 내러티브”를 만들어 미국의 디스코드를 강조하고 바이든 행정부를 비판하고 있다고 말했다. 타이지 플러드라고 불리는 한 그룹은 58개 언어로 175개 웹사이트에 기사를 게재하는 가상 뉴스 앵커를 생성했다. 러시아와 관계 있는 한 위협 행위자는 저명한 정치인의 딥페이크 동영상을 완전히 합성해 제작하지만, 지금까지는 가짜임이 빠르게 드러났다. 그러나 우크라이나가 프랑스 대통령을 암살할 계획을 세웠다는 주장이 마치 실제로 프랑스에서 방송된 것처럼 조작된 동영상이 주목을 받는 일도 있었다.

친이란 단체들은 지금까지는 AI를 거의 사용하지 않고 있지만, 점차 AI 생성형 이미지와 동영상을 늘리고 있다.

보고서는 지금까지 국가적 위협 행위자에 의한 AI 생성형 콘텐츠는 제한적인 영향을 미쳤다고 말했다. 하지만 이러한 콘텐츠가 창의적이고 다각적인 영향력 행사에 통합된다면, AI는 “향후 잠재 고객에 도달하고 참여를 유도하는 데 중요한 기능을 제공할 수 있을 것”이라고 덧붙였다.

AI시대의 CISO가 할 일

보고서는 또한 AI 시스템에는 한계가 있다고 지적했다.

개발자는 시스템을 구축할 때 잘못될 가능성이 있는 방법의 목록을 작성하고 이러한 결과를 유발할 수 있는 대규모 예제 입력 테스트 앱을 개발해야 한다. 마찬가지로 시스템에 대한 의도된 입력과 ‘일반적이지 않은’ 입력 목록도 작성해야 했다. 그런 다음 테스트 프레임워크를 사용해 이러한 목록을 시스템에 대해 대량으로 실행하고, 이때 생성형 AI는 다시 한번 출력의 정확성을 효율적으로 평가하는 데 도움을 준다. 보고서에 따르면 이러한 테스트는 일반적인 통합 테스트와 마찬가지로 시스템이 업데이트될 때마다 다시 실행할 수 있다.

보고서는 CISO가 가능한 경우 AI를 활용해야 한다고 주장했다. 예를 들면 다음과 같은 업무다.

• AI를 사용해 인시던트의 우선 순위를 정하고 해결/완화 시간을 단축했다. 보고서에 따르면 AI 보안 솔루션은 단순히 이벤트를 그래픽으로 보여주는 것 이상의 기능을 제공하며, 종합적인 사고 요약을 생성해 SOC 애널리스트가 상황을 빠르게 이해하고 미션 크리티컬 기기와 사용자를 노리는 사람이 운영하는 랜섬웨어를 식별해 신속하고 결정적인 조치를 취할 수 있게 해준다. 애널리스트는 AI를 사용해 인시던트에서 의심스러운 기기에서 실행되는 인코딩된 명령줄을 평가할 수 있다. 보고서는 주니어 애널리스트가 수십 분과 여러 도구를 사용해 수행했을 작업을 이제 기계의 속도로 수행할 수 있다고 평가했다.
• AI를 사용해 위험 평가를 위해 독점 정보 또는 공개 정보를 스캔한다.
• LLM을 사용해 다양한 데이터(티켓, 이전 보안 사고에 대한 보고서, 플레이북 등)에서 시간 경과에 따른 테마를 스캔한다.
• AI를 사용해 관련 정책과 절차에 따라 규정 준수를 포함한 IT 부서의 업무 우선순위를 정한다.
• AI를 사용해 온라인 콘텐츠에서 위협 인텔리전스 및 취약점을 스크랩해 사내 사이버보안 관련 데이터 세트를 보강한다.
• LLM을 사용해 직원의 보안 관련 질문에 대한 완전하고 정확한 답변을 생성한다.
• 보안 애널리스트가 “다음 이메일을 분류하고 의심스러운 부분을 지적해 주세요”, “조사 결과를 바탕으로 격리 계획을 세워주세요”와 같은 프롬프트를 통해 AI 시스템에 쿼리할 수 있다.

제스는 이 외에도 CISO가 다음과 같은 다양한 도구를 사용할 수 있다고 언급했다.

• 오픈 월드와이드 애플리케이션 보안 프로젝트(OWASP)의 AI 익스체인지와 AI 보안 및 AI 개인정보 보호 가이드;
• MITRE AI 성숙도 모델 및 평가 도구;
• NIST AI 위험 관리 프레임워크.

많은 국가가 기업이 따라야 할 AI 가이드라인을 마련해 두었다. 여기에는 미국 CISA의 중요 인프라 공급자를 위한 안전 및 보안 가이드라인 등이 있다. 올해 초 유럽 이사회는 유럽연합 내에서 사업을 하는 기업을 위해 법적 구속력이 있는 조약을 채택해 AI 시스템의 전체 수명 주기를 포괄하는 법적 프레임워크를 제시했다.

CISO는 AI가 시스템에 통합되는 방식과 AI 제품이 상호 작용하는 방식을 이해해야 한다. 제스는 AI가 매일 반복되는 작업에는 매우 유용하지만, 보안 리더가 더 많은 일을 하고 싶다면 출력물에 가드 레일이 있는지, 즉 시스템의 모든 권장 사항을 확인해야 한다고 조언했다. CISO는 또한 각 AI 시스템이 액세스하게 될 모든 데이터를 이해해야 한다.

한편, 제스는 AI가 직원을 속일 만한 멋진 미끼와 딥페이크를 만들 수 있지만, 기본적인 사이버 위생 습관을 통해 AI의 영향을 매우 효과적으로 무력화할 수 있다는 사실을 잊지 말아야 한다고 강조했다. 여기에는 피싱에 대한 사이버보안 인식 교육, 자금 지출에 대한 비즈니스 프로세스 규칙, 적응형 인증 및 액세스 관리가 포함된다.
editor@itworld.co.kr

Howard Solomon editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지