“똘똘한데 해킹에는 약하네”... 생각하는 AI, 더 쉽게 뚫린 [그림=제미나이]

<이미지를 클릭하시면 크게 보실 수 있습니다>

추론 능력을 갖춘 최신 인공지능(AI) 모델일수록 오히려 해킹 공격에 더 취약하다는 연구 결과가 나왔다. ‘더 똑똑한 AI가 더 안전하다’라는 기존 가정이 뒤집힌 셈이다.

앤스로픽과 옥스퍼드대, 스탠퍼드대 공동연구진은 최근 아카이브에 발표한 논문에서 AI의 사고 과정을 역이용하는 ‘연쇄 사고 탈취’ 기법을 통해 주요 상용 모델의 안전장치를 무력화할 수 있다고 밝혔다. 포천에 따르면 실험 결과 일부 모델의 공격 성공률은 80%를 넘었다.

이 공격 방식은 AI가 질문을 단계별로 ‘생각’하며 답변을 도출하는 추론 과정을 노린다. 공격자는 해가 없어 보이는 사고 단계 수십 개 사이에 해로운 명령을 숨겨 넣는다. AI는 긴 사고 사슬 초반에만 집중하고 마지막에 삽입된 위험 지시를 인식하지 못해 결과적으로 자체 안전장치를 건너뛰는 일이 나타나게 된다.

연구진은 “추론 단계가 길어질수록 공격 성공률이 급격히 높아졌다”라고 밝혔다. 간단한 사고 과정에서는 27%였던 성공률이 일반적인 추론 길이에서는 51%로, 사고 단계를 길게 늘이면 80% 이상까지 치솟았다.

이 같은 취약성은 오픈AI의 GPT, 앤스로픽의 클로드, 구글 제미나이, 그록 등 주요 모델 전반에서 확인됐다. 특히 안전성을 높인 ‘정렬 튜닝’ 모델도 내부 추론 단계가 조작될 경우 방어에 실패했다.

최근 AI 업계는 모델 성능 한계를 극복하기 위해 단순 데이터 학습 대신 ‘추론 능력 확장’에 주력해왔다. 대규모 연산 시간을 투입해 질문을 더 깊이 분석하도록 설계된 이른바 ‘고도 추론형 모델’이 대표적이다. 그러나 이번 연구는 이런 고도화가 오히려 보안 취약점을 키울 수 있음을 보여준다.

연구를 이끈 옥스퍼드대 AI안전센터는 “추론 과정이 길어질수록 모델의 안전 신호가 희미해진다”라며 “AI가 스스로 위험을 인식하고 차단하는 메커니즘이 여전히 불안정함을 드러낸다”라고 설명했다.

연구진은 대응 방안으로 ‘추론 인식형 방어’ 체계를 제안했다. 이는 AI가 문제를 단계별로 사고하는 동안 각 단계의 안전 신호를 실시간으로 추적해 위험 지시가 포함된 단계에서는 자동으로 경고 또는 중단하도록 하는 방식이다. 이 시스템을 적용하면 기존 성능을 유지하면서도 안전성을 회복할 수 있다는 초기 실험 결과도 제시됐다.

AI의 연쇄 사고 탈취 공격은 단순한 콘텐츠 생성 위험을 넘어 무기 제조 지침이나 민감 정보 노출 같은 실제 피해로 이어질 가능성이 있다. 연구진은 “AI의 추론 능력이 인간처럼 복잡해질수록, 그 내부 사고 흐름을 악용하려는 시도도 정교해지고 있다”라며 “AI의 사고 자체를 이해하고 통제하는 새로운 보안 패러다임이 필요하다”라고 강조했다.

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]