<이미지를 클릭하시면 크게 보실 수 있습니다>

인공지능(AI)이 우리의 삶을 혁신하면서, AI 기반 로봇의 역할은 더욱 커지고 있다. 자율주행 차량부터 산업 자동화, 서비스 로봇까지 다양한 분야에서 로봇은 우리의 일상에 깊숙이 들어왔다. 이러한 발전과 함께 로봇의 안전성과 신뢰성에 대한 우려도 커지고 있다.

이 가운데 인공지능 보안 전문가인 강장묵 교수(동국대 국제정보보호대학원 AI보안)가 지난 12일 오후 4시, 카이스트에서 로봇의 할루시네이션 문제와 신뢰성 확보 방안에 대해 발표했다.

강 교수는 2023년 서울대학교에서의 블록체인과 보안 관련 특강을 시작으로, 2024년 하버드대학교, 보스턴대학교, 예일대학교에서 LLM의 할루시네이션 연구를 발표하며 국제적인 학술 활동을 이어왔다.

이번 특강을 통해 강 교수는 AI와 로봇 공학에 관심 있는 대학원생과 연구자들에게 귀중한 통찰과 지식을 전달했다. 로봇의 안전성과 신뢰성을 높이기 위한 최신 연구 동향과 실질적인 해결 방안을 제시했다.

이날 강연에 따르면, AI 모델이 실제로 존재하지 않는 정보를 생성하거나 잘못된 판단을 내리는 현상을 ‘할루시네이션(Hallucination)’이라고 한다. 예를 들어, 자율주행 차량이 도로에 없는 장애물을 인식하거나, 반대로 존재하는 장애물을 인식하지 못하는 상황을 말한다. 이는 로봇의 오작동을 유발하여 ‘안전사고‘로 이어질 수 있어 심각한 문제로 대두되고 있다.

강장묵 교수가 발표 중 소개한 OWASP의 거대 언어모델의 10가지 보안 취약점

<이미지를 클릭하시면 크게 보실 수 있습니다>

현재의 대형 언어 모델(LLM)은 방대한 양의 데이터로 학습되지만, 그 데이터의 품질과 실제 상황과의 차이로 인해 오류가 발생할 수 있다. 또한, 모델이 학습 데이터에 과도하게 의존해 새로운 상황에 적응하지 못하는 오버피팅(overfitting) 현상이 나타난다. 이는 로봇이 예상치 못한 입력이나 상황에 대처하지 못하고 잘못된 판단을 내릴 가능성을 높인다.

이와 관련, 강 교수는 SLAM 기술과 AI의 융합에 대해 구체적으로 설명했다. 로봇이 주변 환경을 인식하고 자신의 위치를 파악하는데 핵심적인 기술인 SLAM(Simultaneous Localization and Mapping)은 AI와의 융합을 통해 더욱 발전하고 있다. SLAM은 로봇이 미지의 환경에서 자신의 위치를 추정하고 주변의 지도를 작성하는 기술로, 자율주행과 내비게이션에 필수이다.

딥러닝을 적용한 SLAM 기술은 환경 인식 능력을 향상시켜 로봇의 정확한 위치 추정과 경로 계획을 가능하게 한다. 그러나 AI 모델의 할루시네이션 문제는 여전히 남아 있어, 로봇의 안전한 운용에 장애물이 되고 있다.

이러한 문제를 해결하기 위해 경량화된 특화 언어 모델(sLLM)이 주목받고 있다. sLLM은 특정 분야에 최적화된 작은 규모의 언어 모델로, 로봇 내부에 직접 탑재돼 실시간 처리와 보안 강화를 동시에 실현한다. 이를 통해 할루시네이션 발생을 줄이고 로봇의 신뢰성을 높일 수 있다.

예를 들어, 메타(Meta)의 Llama 3.1:1B-405B까지 모델은 경량화된 언어 모델로 높은 성능을 보여주지만, 일부 취약점이 발견됐다. 이러한 취약점을 보완하고 보안을 강화함으로써 더욱 안정적인 sLLM을 개발하는 노력이 필요하다. 최근 소개된 라마 3.2-vision:11B-90B 역시 OCR인식에 탁월한 성능을 보여준다.

로봇의 안전한 운용을 위해서는 AI 모델의 할루시네이션 문제를 근본적으로 해결해야 한다. 이를 위해서는 다음과 같은 노력이 필요하다. 먼저, 모델이 학습하는 데이터의 정확성과 다양성을 강화하는 품질 향상이 필요하다. 새로운 상황에서도 정확한 판단을 내릴 수 있도록 모델을 개선해 모델의 일반화 능력을 키워야 한다. 모델의 출력 결과를 검증하고 오류를 수정하는 시스템을 구축해 검증 메커니즘을 도입해야 한다. 마지막으로 모델이 외부 공격에 취약하지 않도록 보안 프로토콜을 적용해야 한다.

강 교수는 “AI 기반 로봇의 신뢰성 확보는 우리 사회가 직면한 중요한 과제”라며 “이를 위해 다양한 연구와 기술 개발이 이뤄지고 있으며, 이러한 노력이 모여 로봇 기술의 발전을 이끌 것"이라고 말했다.

박혜선 기자

ⓒ 세상을 보는 눈, 세계일보