"해커나 자연재해 아닌 AI 오류가 인프라 마비사태 유발"
"핵심 인프라에 AI 킬스위치나 수동전환 의무화 해야"

[파이낸셜뉴스] 향후 2년 내에 주요 20개국(G20) 국가 중 한 나라에서 설정이 잘못된 인공지능(AI) 때문에 전력, 가스 등 국가 핵심 인프라가 멈추는 사태가 발생할 것이라는 경고가 나왔다.

이 때문에 모든 핵심 인프라 시스템에 AI를 적용할 때 안전한 강제중단장치(킬 스위치)나 수동전환 장치를 의무적으로 둬, AI가 시스템을 자동으로 운영하더라도 최종 통제권은 사람이 갖도록 하는 등 국가 차원의 사전 통제 장치 마련이 시급하다는 조언이 나왔다.

23일 글로벌 IT 자문사 가트너는 “2028년까지 주요 G20 가운데 한 나라에서 사이버물리시스템(CPS·Cyber-Physical Systems)에 적용된 AI의 ‘설정 오류’가 대규모 인프라 중단을 초래할 수 있다고 경고했다.

[서울=뉴시스] 향후 2년 내에 주요 20개국(G20) 국가 중 한 나라에서 설정이 잘못된 인공지능(AI) 때문에 전력, 가스 등 국가 핵심 인프라가 멈추는 사태가 발생할 것이라는 경고가 나왔다. /사진=뉴시스

<이미지를 클릭하시면 크게 보실 수 있습니다>

CPS란 센서로 정보를 감지하고, 이를 연산·분석해 실제 기계와 설비를 제어하는 시스템이다. 전력망, 발전소, 제조공장 자동화 설비, 산업제어시스템(ICS), 산업용 사물인터넷(IIoT), 로봇, 드론 등이 여기에 포함된다. 쉽게 말해, 디지털 시스템이 현실 세계의 설비를 직접 움직이는 구조다.

가트너의 왐 보스터 부사장은 "다음번 대형 인프라 사고는 해커나 자연재해 때문이 아니라, 선의의 엔지니어의 실수나 잘못 작성된 업데이트 프로그램, 혹은 소수점 하나의 입력 오류 때문에 발생할 수 있다”며 “AI 오작동으로 인한 갑작스러운 가동 중단을 막기 위해, 권한 있는 운영자가 즉시 개입할 수 있는 킬 스위치 또는 오버라이드(수동 전환) 기능이 반드시 필요하다”고 강조했다.

보스터 부사장은 "최근 전력망은 발전량과 전력 소비량을 실시간으로 맞추기 위해 AI를 활용하는데, AI 예측모델이 전력수요 증가를 시스템 불안정이라고 잘못 판단하면 전력망을 분리하거나 대규모 정전을 유발하는 부하차단 조치를 취할 수 있다"고 지적하고 "그 결과 특정 지역은 물론 국가 전체로 전력공급이 차질을 빚을 수 있다"고 설명했다.

그러면서 "설정이 잘못된 AI는 필수서비스를 스스로 멈추거나, 센서 데이터를 잘못 해석하면서 위험한 제어 명령을 내릴 수 있다"면서 "이 경우 물리적 설비 손상은 물론, 대규모 서비스 중단으로 이어질 수 있다"고 덧붙였다. 특히 전력망이나 대형 제조설비처럼 국가 경제와 직결된 시스템이 영향을 받을 경우 공공 안전과 경제 안정성에 심각한 위협이 될 수 있다고 강조했다.

보스터 부사장은 "현대 AI모델은 구조가 매우 복잡해 일종의 블랙박스와 같다”며 “작은 설정 변경이 전체 시스템의 행동에 어떤 영향을 미칠지 개발자조차 완전히 예측하기 어렵고, 시스템이 복잡하고 불투명해질수록 설정 오류의 위험은 커지기 때문에, 언제든 인간이 개입해 통제할 수 있어야 한다”고 강조했다.

이에 따라 정부와 핵심 인프라 기업들은 AI가 인프라를 완전 자동으로 운영하더라도 모든 핵심 인프라 시스템에 안전한 킬 스위치나 수동 전환 장치를 의무적으로 설치해 최종 통제권은 사람에게 둬야 한다고 조언했다. 또 실제 설비와 동일한 가상 환경인 ‘디지털 트윈’을 구축해, AI 업데이트나 설정 변경을 실제 적용 전에 충분히 시험해야 한다고 제안했다.

이와함께 AI 설정변경 사항을 실시간으로 감시하고 문제가 발생하면 이전 상태로 즉시 되돌릴 수 있는 롤백 체계를 마련하는 한편 국가 차원의 AI 사고 대응 전담팀도 구성할 필요가 있다고 강조했다.

cafe9@fnnews.com 이구순 기자

Copyrightⓒ 파이낸셜뉴스. 무단전재 및 재배포 금지.