[디지털데일리 김보민기자] 인공지능(AI) 에이전트가 개인정보를 유출하고 악성 행위를 저지를 주체가 될 수 있다는 지적이 나왔다. 자율적으로 웹을 탐색하고 작업을 수행한다는 특징이 있는 만큼 학습 단계에서부터 보안을 내재화할 필요성이 제기됐다.

송현민 단국대학교 사이버보안학과 교수는 19일 서울 중구에서 열린 '2025 개인정보 미래포럼'을 통해 "AI 에이전트에 대한 기술 개발이 빨라지고 있지만 상대적으로 보안에 대한 관심은 많지 않다"며 "설계 단계부터 보안을 생각하고 대형언어모델(LLM)을 학습시킬 때 오동작 시나리오를 고려하는 대처 방안이 필요하다"고 밝혔다.

AI 에이전트는 사용자 지시를 받아 스스로 판단하고 행동해 목표를 수행하는 시스템을 뜻한다. 기존에는 AI가 질문에 답하거나 결과를 추천하는 수준이었다면, AI 에이전트는 필요한 정보를 직접 찾고 다양한 도구, 웹사이트, 시스템과 연결해 작업을 수행할 수 있다. 상황에 따라 다음 행동을 결정할 수도 있다.

송 교수는 "과거에는 (자연어 입력 등) 사용자 질의 능력을 통해서만 LLM이 동작했지만 에이전트 환경으로 넘어오면서 화면에 있는 텍스트, 이미지, 문서 정보를 인식하고 외부에서 데이터를 받아들이기 시작했다"며 "외부 데이터 소스로부터 악의적인 데이터가 섞여 들어올 가능성이 있다"고 설명했다. 이어 "LLM이 이를 기반으로 잘못된 판단을 내릴 때 보안 사고가 발생한다"고 경고했다.

웹보안 기준으로 여겨지는 OWASP도 최근 10대 취약점에 AI 에이전트를 포함시켰다. 송 교수는 "대리인 혼동뿐만 아니라 간접 프롬프트 인젝션, 과도한 권한, 메모리 중독 등 새로운 보안 위협이 등장했다"고 소개했다.

LLM은 명령과 데이터를 구분하지 못하고 단일 토큰 스트림으로 처리하는 일원론적 구조를 갖고 있다. 권한을 가진 에이전트가 외부 데이터에 숨겨진 권한을 혼동하는 '혼동된 대리인' 문제가 발생하는 이유다. 송 교수는 "데이터 출처가 명확하게 '사용자 질의'인지 '외부 데이터'인지 구분되지 않고 하나의 스트림으로 입력되기 때문에 LLM 입장에서는 (두 개가 다르다는 것을) 판단하지 못할 수 있다"며 "이럴 경우 사용자 명령이 아닌 외부 데이터에 들어있는 잘못된 명령을 따라가는 경우가 발생한다"고 부연했다.

간접 프롬프트 인젝션이 일어나는 이유다. 한 연구에서는 AI 에이전트가 '냉장고를 구매해줘'라는 명령에 따라 웹에 정보를 검색하던 중, 커뮤니티에 올라온 피싱 사이트를 구분하지 못한다는 점이 확인됐다. 해당 에이전트는 악성 사이트에 접속해 위장 제품을 구매한다는 명목으로 사용자 결제 정보를 넘겼다. 중요 개인정보를 넘기지 않기 위한 보안 가드레일이 제대로 설정되지 못한 경우다.

이외에도 공격자가 AI와 직접 상호작용하지 않고, 에이전트가 읽는 외부 데이터에 악성 명령을 은닉할 수 있다는 점도 확인됐다. 기업 임직원이 사내 데이터베이스에 잘못된 정보를 담은 문서를 저장하면 에이전트가 이를 걸러내지 못하고 잘못된 정보를 전파하거나 기밀정보를 유출할 수 있다는 의미다.

현재 한국을 비롯한 주요국은 AI 에이전트가 보안 사고를 낼 경우 책임소재를 누구에게 물어야 할지 갑론을박을 이어가고 있다. 유럽연합(EU)은 법적 불확실성과 업계 반발로 'AI 책임' 지침을 철회했지만, 이를 '제조물 책임' 지침으로 확장해 통합했다. 미국에서는 AI 기업에 대한 책임을 강화하는 방향으로 판례가 나오고 있다.

송 교수는 "에이전트를 독립적인 인격체, 즉 '전자적 인격체'로 볼 수 있을지 이야기가 나오고 있다"며 "OECD 등에서는 전자적 인격체를 받아들이지 않고 인간적 원칙을 중시하는 분위기"라고 전했다. 브라질은 에이전트가 오작동했을 때 반드시 운영주체인 '인간'이 완전 배상 책임을 지도록 하고 있다.

송 교수는 이러한 논의를 통해 개인정보 주체를 보호해야 한다고 제언했다. 그는 "이제 우리는 정보 주체의 실질적인 통제권을 어떻게 보장할지를 고민해야 한다"며 "데이터 처리 과정에서 최종 정보 주체가 이를 인지하고 통제할 권리를 어떻게 보장할지 심도 있는 고민이 필요한 때"라고 말했다.

한편 이날 현장에는 송경희 개인정보보호위원회 위원장을 비롯해 주요 포럼 관계자들이 참석했다. 황규호 법무법인 디엘지 파트너변호사는 'AI 에이전트와 개인정보 법·제도 방향'을 주제로 발표를 진행했다.

송 위원장은 "지금까지 (개인정보 분야는) 최소 수집과 최소 활용을 대원칙처럼 여겨왔지만, 이제는 AI를 잘 활용하기 위한 새 고민이 필요해졌다"며 전문가들의 활발한 논의가 필요하다고 강조했다.

최근 연이어 발생한 개인정보 유출 사고를 해결하기 위해 제재와 인센티브 제도를 강화하겠다는 의지도 재확인했다. 개인정보위는 반복적이거나 중대한 사고를 낸 기업에게 매출 10%를 과징금으로 부과하는 안을 추진 중이다. 송 위원장은 "강력한 제재 구조를 갖추는 동시에 예방 투자를 많이 한 곳에 인센티브도 확실하게 줄 것"이라며 "기업과 기관이 상시적으로 사전예방 노력을 하도록 만드는 것이 개인정보위의 내년도 주요 과제"라고 밝혔다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -