<이미지를 클릭하시면 크게 보실 수 있습니다>

피지컬 AI(물리적 인공지능) 시대가 코앞으로 성큼 다가오면서, 인공지능의 능력만큼이나 '통제 가능성'이 중요한 화두로 떠오르고 있다. AI 보안 스타트업 에임인텔리전스는 "인공지능이 사람처럼 보고, 듣고, 행동을 취하는 시대에는 기존 보안 개념만으로는 위험을 막을 수 없다"고 경고하며 차세대 AI 보안 프레임워크를 제시했다.

19일 서울 중구 페럼타워에서 메트로경제·메트로신문 주최로 열린 '2025 뉴테크놀로지 포럼'에서 에임인텔리전스 공동 창업자 김하늘 이사는 "인공지능은 빠르게 진화하지만, 이를 안전하게 제어하는 기술은 아직 초기 단계"라며 "이 격차를 해소하지 못하면 물리적인 위험까지 이어질 수 있다"고 밝혔다.

김 이사는 현재 기업들이 직면한 가장 큰 문제로 '통제 불가능한 AI 리스크'를 꼽았다. AI가 생성하는 유해한 콘텐츠, 개인정보 유출, 할루시네이션(환각) 현상은 기업에 막대한 경제적 피해를 입힐 수 있다. 이에 대한 해법으로 그는 자사의 핵심 제품인 '에임 슈퍼바이저'를 소개했다.

에임인텔리전스의 보안 솔루션 에임 슈퍼바이저는 공격을 담당하는 '레드'와 방어를 맡은 '가드' 두 가지 컴포넌트로 구성된다. 레드는 악성 행위자 역할을 맡은 AI가 대상이 되는 AI를 공격해 취약점을 찾아내는 자동화된 레드 티밍 도구다. 기존에 해커가 수동으로 진행하던 과정을 자동화한 것으로, AI 에이전트가 대상 모델과 지속적으로 대화를 주고받는 '멀티턴' 방식을 통해 유도 신문하면서 깊숙이 숨겨진 취약점을 찾아낸다.

반면, 가드는 사용자와 AI 시스템 사이에서 입력값과 출력값을 실시간으로 필터링하는 방어막 역할을 한다. 사용자가 무의식적으로 입력하는 민감 정보나 개인 식별 정보가 AI로 넘어가는 것을 막고, AI가 생성한 답변에 악의적이거나 사실이 아닌 정보가 포함되는 것을 차단한다. 에임인텔리전스는 대부분의 오픈소스 가드레일 모델이 한국어를 제대로 지원하지 못하는 점을 개선하고자 한국어 특화 데이터셋으로 파인튜닝을 진행, 공격 방어 성공 확률을 90%에서 99%까지 끌어올렸다고 설명했다.

김 이사는 글로벌 빅테크 기업의 최신 프론티어 모델에서도 폭탄 제조, 사이버 공격, 금융 정보 탈취 등 응답해서는 안 되는 질문에 답하는 사례가 반복되고 있다고 지적했다. 이는 텍스트 기반 모델에 국한되지 않으며 피지컬 AI, 즉 시각·음성·공간 인지 능력이 결합된 '몸 있는 AI'에서는 훨씬 치명적인 위협이 된다.

에임인텔리전스는 VLM(비전-언어 모델)을 탑재한 자율주행차를 운행하는 과정에서 생길 수 있는 여러 가지 리스크를 분석하기 위한 실험을 진행했다. 사람이 서 있는 이미지 앞에 텍스트로 특정 명령어를 넣을 경우 VLM이 시각 정보(사람)보다 텍스트 입력값을 우선시해 악의적인 공격자가 지시하는 대로 사람들에게 돌진하는 오판을 내리는 사례가 발견됐다. 군사용 VLM에서도 텍스트와 이모지를 결합한 공격과 같은 '교묘한 포인트(프롬프트)'에 모델이 속아 잘못된 판단을 하는 문제가 재현됐다.

피지컬 AI 시대의 핵심 과제는 결국 '누가, 어떻게 AI의 자율 행동을 제어할 것인가'이다. 김 이사는 "사람처럼 보고 듣고 판단하는 AI가 사용자의 감시가 닿지 않는 환경에서 스스로 행동할 때, 이를 윤리적으로 제어하는 프레임워크가 필수"라고 말했다.