‘AI 리스크 아틀라스: AI 위험 탐색을 위한 분류 체계와 도구(AI Risk Atlas: Taxonomy and Tools for Navigating AI Risks)’라는 보고서의 핵심 내용을 보면, IT 업계가 중대한 도전에 직면해 있다는 사실을 알 수 있다. 보고서는 최신 AI에 내재한 위험을 이해하고 분류하며 완화할 수 있도록 돕는 포괄적 프레임워크를 제시한다. 도구와 분류 체계는 점차 성숙해지고 있지만, 대부분 기업은 이렇게 빠르게 진화하는 위협을 다루는 데 있어 위험할 정도로 뒤처져 있다.

AI 리스크 아틀라스는 AI와 관련된 특수한 위험을 분류하고 관리할 수 있는 강력한 프레임워크를 제공하지만, 유일한 시스템은 아니다. 미국표준기술연구소(NIST)의 AI 위험 관리 프레임워크, 다양한 ISO AI 거버넌스 기준, 주요 클라우드 서비스 업체가 개발한 모델 등도 AI 관련 위협을 이해하고 적절한 보호 조치를 구성하는 데 유용한 가이드를 제공한다. 각각 일반 원칙, 산업별 가이드라인, 컴플라이언스 점검 목록 등 저마다의 초점과 강점을 지니고 있다.

여기서는 아틀라스 프레임워크를 기반으로 클라우드 환경에서의 AI 복잡성에 대응할 때 외부 전문성과 검증된 전략을 활용하는 데 중점을 둔다. 아틀라스 프레임워크는 체계적인 리스크 분류 체계와 기업이 명확하고 포괄적인 AI 클라우드 보안 접근 방식을 수립할 수 있도록 돕는 오픈소스 기반의 실용적인 도구를 제공한다. 이런 프레임워크를 제대로 활용하면, 처음부터 모든 것을 새로 시작할 필요 없이 보안 및 AI 커뮤니티의 집단 지식을 활용할 수 있어 보다 안전하고 효율적인 AI 구현이 가능해진다.

주목을 받지 못하는 AI의 위험 요소

너무 많은 기업이 AI를 또 하나의 추가 요소처럼 취급한다. 특히, 생성형 모델과 에이전틱 기술이 5년 전에는 존재하지 않았던 공격 벡터를 만들어냈다는 사실을 간과하고 있다. AI 리스크 아틀라스는 적대적 입력, 프롬프트 기반 공격, 모델 추출, 데이터 오염, 자동화 시스템에 대한 과도하거나 부족한 의존에서 발생하는 위험 등 새롭게 형성된 위협 지형을 설명하고 있다.

그동안 경계 보안과 접근 제어에 집중해온 클라우드 보안 담당자는 이제 맥락에 민감한 자연어 기반 AI의 행동을 악용해 기존 보안 조치를 우회하는 공격자와 마주하고 있다. 대표적인 사례가 프롬프트 인젝션이다. 공격자는 생성형 모델을 구동하는 자연어 프롬프트를 조작해 악성 또는 유해한 결과물을 유도한다. AI 리스크 아틀라스는 이런 취약점이 더 이상 이론적인 수준에 머물지 않으며, 실제 클라우드 환경에서도 공격 대상이 되고 있다고 강조한다.

여기에 더해, 최신 AI 학습에 활용되는 데이터의 양과 다양성이 늘면서 데이터 오염이나 멤버십 추론 공격의 위험도 높아지고 있다. 공격자는 모델을 쿼리함으로써 민감한 정보를 복원하거나 노출시킬 수 있다. 아틀라스는 클라우드 기반 기업의 데이터가 상호 연결돼 있고, AI 모델이 데이터를 무심코 누설할 수 있기 때문에 이런 유형의 공격에 특히 취약하다고 경고한다.

대부분 기업은 준비되지 않았다

AI 리스크 아틀라스는 한 가지 확실한 사실을 밝혔다. 현재 대부분 기업이 운영 중인 위험 평가 및 완화 체계는 AI 시대에 충분하지 않다는 점이다. 클라우드 자산 목록이나 컴플라이언스 프로세스를 세밀하게 관리하는 기업도 많지만, 이들 대부분은 AI에 특유한 위험, 특히 자율적으로 작동하는 AI 시스템에서 발생하는 복합적인 위험을 식별하거나 이해하도록 설계돼 있지 않다.

AI 거버넌스도 수작업 위주로 느리고, 일상적인 개발 과정과 동떨어져 있다. 아틀라스는 기술적 취약점(적대적 공격 등)과 프로세스 측면의 문제(문서 미비, 검증되지 않은 모델, 불분명한 책임 소재 등)를 연결하는 포괄적이고 유연한 위험 분류 체계가 필요하다고 강조한다. 이런 체계 없이는 대부분 기업이 여전히 사후 대응에 머무를 수밖에 없다.

공격자는 AI의 기능 자체를 활용해 취약점을 탐색하고 악용하는 기술을 고도화하고 있는 반면, 방어자는 위협 자체를 제대로 이해하지 못한 채 구식 프로토콜을 무리하게 적용하려 애쓰는 상황이다. 여기에 더해, 종종 섀도우 IT 프로젝트로 도입되는 생성형 AI 확산은 보안의 사각지대를 더욱 확대하고 있다.

‘그럭저럭 괜찮은’ 위험 관리로는 부족하다

기업 위험 관리가 여전히 연례 감사를 기반으로 하거나 정형화된 컴플라이언스 점검표에 의존하고 있다면, AI 리스크 아틀라스는 이런 방식이 더는 통하지 않는다고 경고한다. AI 기반 시스템은 너무 빠르게 진화하기 때문에 정기 점검식 거버넌스로는 부족하며, 상시 감시와 역동적 대응이 필수다. 특히 클라우드 환경에서 생성형 AI와 에이전틱 AI가 초래하는 미묘한 위험을 감지하고 대응할 준비가 대부분 기업에 부족하다.

예를 들어 프롬프트 기반 공격은 기존 보안 모니터링 체계에서는 거의 탐지되지 않는다. 하지만 이를 사전에 관리하지 않으면, 우발적인 데이터 유출부터 직접적인 침해까지 발생할 수 있다. 마찬가지로 ‘블랙박스’ 모델의 결과물에 대한 과도한 의존이나 모델 관련 문서 부족과 같은 세부 요소도 작은 문제를 심각한 사고로 키울 수 있다. 아틀라스는 기술적, 조직적, 인간적 요인이 AI 위험에서는 더 이상 분리될 수 없다고 강조한다.

자동화 기술이 컴플라이언스 역량을 확대할 것으로 기대되지만, 아틀라스는 명확히 정의되지 않았거나 제대로 통제되지 않는 문제는 자동화만으로 해결할 수 없다고 지적한다. 많은 기업이 위험 경계를 명확히 설정하지 않은 상태에서 AI를 도입하고 있으며, 이로 인해 AI가 클라우드 API를 조작하고 작업을 실행할 수 있는 에이전틱 AI 시스템이 확산되면 더욱 심각한 보안 취약점이 생겨날 수 있다.

위험 평가 방식의 대전환

AI 리스크 아틀라스의 가이드라인과 분류 체계에 기반해 기업이 취해야 할 대응 전략은 다음과 같다.

• - 새로운 위협에 맞춰 자산을 매핑한다. 적대적 공격, 프롬프트 인젝션, 모델 거버넌스 등 아틀라스의 분류 체계를 자사 클라우드 AI 자산 전반에 적용하라. 공식 시스템에만 한정해서는 안 된다.
• - 자동화를 활용하되, 감독 체계를 유지한다. 아틀라스 넥서스(Atlas Nexus) 같은 오픈소스 도구를 포함해 자동화 도구를 적극 사용하되, 반드시 사람이 직접 검토하고 상시 감사 및 독립적인 긴급 대응팀을 병행해야 한다.
• - 위험 거버넌스를 전사적으로 통합한다. 개발자, 위험 담당자, 비즈니스 책임자가 함께 참여하는 교차 기능 대응 조직을 구성해 AI 위험의 의미와 대응 전략에 대한 기업 전체의 공감대를 형성한다.
• - 테스트하고 공격하고 기록한다. 적대적 기술과 프롬프트 기반 공격 시나리오를 적용해 AI 모델에 대한 스트레스 테스트를 체계적으로 수행한다. 모델 행동과 대응 전략 모두를 철저히 문서화한다.
• - 교육하고 개선한다. 기업 구성원이 AI 고유의 위협을 이해하도록 교육하고, 단순한 규제 준수를 넘어서 아틀라스의 지표를 활용해 지속적인 개선을 이뤄야 한다.

이는 단순한 제안이 아닌, 긴급한 경고다. 취약점을 선제적으로 해결할 수 있는 시간은 빠르게 줄어들고 있다. AI 리스크 아틀라스는 단순한 분류 체계가 아니라, 기업이 대응 역량을 대폭 향상시켜야 한다는 ‘콜투액션(call to action)’이다. AI가 클라우드 운영의 핵심으로 자리 잡는 지금, 지금보다 훨씬 책임감 있고 명확하며 민첩한 위험 관리가 반드시 필요하다. 오늘 등장한 새로운 위협이 내일 대재앙으로 번지기 전에 대응해야 한다.

dl-itworldkorea@foundryco.com