[디지털데일리 이건한기자] "인공지능(AI)은 의식적 경험 없이도 어려운 문제를 척척 풀어낸다. 하지만 실수한 이유는 잘 이해하지 못한다. 또한 디지털 세상에만 존재하는 AI가 현실에 영향을 주려면 결국 다른 인간, 기계를 통해야 한다. 그 가운데 일어날 수 있는 윤리적이고 사회적인 문제들을 포함해 AI 시대의 사용자 안전을 고민해야 할 시점이다."

19일 서울 양재동 엘타워에서 방송통신미디어위원회와 정보통신정책연구원(KISDI) 주최로 '2025 인공지능서비스 이용자보호 컨퍼런스'가 열렸다. 이날 기조발표를 맡은 이상욱 한양대학교 철학과 교수는 AI의 본질적 특성과 AI가 인간사회와 사용자에게 미칠 수 있는 잠재적 위협을 심도 있게 분석한 결과를 전했다.



◆ AI의 '파국적 실수'는 언제든 일어나

이 교수는 현세대 AI는 기술적 특성상 기존 도구와 다른 낯선 특징 3가지가 있다고 정의했다. 이는 앞서 언급된 '자각 없는 수행', '이해할 수 없는 실패', 그리고 '계산과 실재의 간극'이다. 이 정의에 따르면 AI는 예상치 못한 시점에 상식과 거리가 멀고 치명적인 '파국적 실수'를 저지를 가능성이 늘 존재한다. 또한 AI는 태생적으로 상업적인 기술이다. 따라서 사용자에게 친화적이며 아첨을 잘 하도록 설계돼 있다. 반면 설명 가능성은 낮은 한계 탓에 어떤 사고가 벌어질 가능성을 예측하기 어려우며 피해 범위도 예측 불가능한 수준으로 확산될 수 있다.

이 교수는 이런 위험성을 통제하고 신뢰 가능한 AI를 만드는 역량을 AI 시대의 핵심 경쟁력으로 진단했다. 그는 "윤리적이고 안전한 AI를 만드는 일은 필연적으로 돈과 시간이 든다"면서도 "대신 이를 남들보다 적은 비용과 효율성으로 구현할 수 있다면 차별화된 경쟁력이 될 수 있다"는 설명이다.

특히 이는 국제사회와 정치적 관점에서도 중요하다. 이 교수는 향후 선진국들이 높은 수준의 AI 윤리 기준을 앞세워 후발주자들의 추격을 막는 '사다리 걷어차기'가 일어날 수 있다고 예측했다. 개발도상국에게 감당하기 어려운 윤리적 AI 운영 비용을 강제함으로써 그들의 도약을 막을 수 있다는 것이다. 이 가운데 한국이 먼저 비용 효율적인 AI 사용자 윤리·보호 기술을 갖춘다면 그 자체로 국제·외교적 경쟁력을 갖출 수 있다는 분석이다.

◆ '탈숙련'의 공포… 코어 스킬은 남겨야

AI 교육과 인간 역할에 대한 논의도 이어졌다. 이 교수는 특히 초심자의 AI 과의존으로 인한 '탈숙련' 문제 발생 가능성을 심각하게 지적했다. 그는 "연구소에 갓 들어온 석사 1년 차에게 AI를 쓰도록 허용하겠는가 물으면 대부분 '아니오'라고 답한다"며 "처음부터 AI에 의존하면 무엇이 문제인지 판단할 능력을 기를 기회를 영영 잃게 되기 때문"이라고 말했다.

이 교수는 "결국 인류가 어떤 능력을 AI에게 넘겨주지 않고 '핵심 역량(Core Skill)'으로 남길지 치열하게 고민해야 한다"며 "의사들이 병원에 전기가 끊겨도 환자를 살릴 최소한의 스킬은 익히고 있어야 할 것처럼, 인간은 AI 없이도 판단하고 검증할 수 있는 능력을 유지해야 한다"고 강조했다.

◆ KISDI "AI 생성물 공유하는 순간 '유통'의 영역"

이어진 발표에서는 이런 철학적 담론을 현실적인 법·제도 안에서 고민한 이야기가 전해졌다. 조성은 정보통신정책연구원(KISDI) 연구위원은 새로운 법을 만드는 것만큼이나 중요한 것으로 AI 시대의 현행 법령 재해석과 보완을 꼽았다. 이에 실제로 KISDI는 지난 1년 동안 'AI서비스 사업자를 위한 통신관계 법령 안내서'를 준비했다고 밝혔다.



곧 공개될 안내서에서 KISDI는 특히 온라인 AI 서비스 이용자 보호와 직결된 '전기통신사업법'과 '정보통신망법' 두 축을 중심으로 AI 서비스가 야기할 구체적인 문제와 해법을 제시할 예정이다.

그중 전기통신사업법에서는 사용자 보호에 중점을 둔다. 일례로 통신사들이 기존 통신 요금에 AI 서비스 요금을 슬그머니 얹어서 청구할 경우를 가정해보자. 이때 이용자는 자신이 어떤 서비스에 얼마를 지불하는지 명확히 알기 어렵다. 조 위원은 "기존 통신 서비스 요금과 새롭게 추가된 AI 서비스 요금이 명확히 분리되지 않은 채 청구되는 것은 이용자 이익 저해 행위가 될 수 있다"며 "부당 청구 시나리오에 대한 대비가 필요하다"고 설명했다.

'중요 사항 고지' 의무도 강화되어야 한다. AI 모델이나 서비스 정책이 변경될 때 이용자에게 충분히 알리지 않는 것 역시 '중요사항 미고지 행위'로 간주될 수 있다. 더 나아가 AI 사용으로 인한 피해 발생 시 플랫폼 사업자와 AI 모델 개발자 사이의 책임 소재를 명확히 하는 손해배상 관련 가이드라인도 필수라는 설명이다.

정보통신망법 논의에서는 '유통'의 개념을 재정립할 수 있다는 아이디어도 나왔다. 조 위원은 "생성형 AI 등장 이후 사적 영역에서 불법 콘텐츠 제작이 쉬워졌으며 이는 통제가 매우 어렵다"면서 "중요한 건 이 결과물이 밖으로 나가는 순간"이라고 지적했다.

이에 조 위원은 영국의 '온라인 안전법' 사례를 예로 들며 개인이 만든 AI 결과물을 제3자에게 전송하거나 공유할 수 있는 기능이 서비스에 포함된다면, 이를 단순 생성이 아닌 유통의 영역으로 볼 수 있다고 설명했다. 이때 AI 생성물을 외부로 공유할 수 있게 만든 사업자에게 일정 기준에 따른 법적 책임을 부과하면 사적 영역의 AI 위협이 사회적 위험으로 확산되는 부작용을 완화할 수 있다는 시각이다.

◆ '무해, 유용, 정직'... 네이버의 'HHH' 원칙

마지막으로 허상우 네이버 AI RM(안전관리) 센터 PL은 기업 현장의 목소리를 전했다. 그는 특히 지난 2월 프랑스 AI 행동 정상회의에서 발간된 '국제 AI 안전 보고서' 내용을 인용하며 현재 AI의 위험 수준을 전했다. 특히 해당 보고서는 AI가 기만, 설득과 같은 능력을 넘어 스스로를 복제하거나 환경에 적응하는 '자율 복제와 적응 역량'까지 가질 가능성을 예의주시하고 있다. AI가 인간의 통제를 벗어나 스스로 더 나은 AI를 만드는 수준으로 진화할 위험까지 감시 대상으로 볼 수 있다는 견해다.



이런 트렌드에 발맞춰 네이버는 자체 초거대 AI '하이퍼클로바X' 개발 과정에 강력한 안전장치를 적용 중이다. 허 PL은 그 중심에 'HHH(Harmless, Helpful, Honest: 무해하고 유용하며 정직함)'이라는 핵심 가이드라인이 있다고 소개했다. 또한 "AI의 혐오, 괴롭힘, 편견, 자기 의인화 등이 주요 위험 요인으로 분류하고 관리 중"이라고 설명했다.

주목할 만한 기술은 'CoT(Chain of Thought, 생각의 사슬)'를 이용한 안전 모니터링이다. 이는 AI가 사용자에게 답변을 내놓기 전에, 내부적으로 "이 답이 올바른가? 안전한가?"를 스스로 추론하고 검증하는 과정을 거치게 하는 기술이다. 또한 추가적인 안전 강화를 위해 AI를 직접 공격해 취약점을 찾아내는 'AI 레드팀(Red Team)'도 강화 중이다. 점점 고도화된 AI 공격, 예상치 못한 취약점에 대비한 방어 전략을 끊임없이 갱신하는 것이다. 이 밖에도 허 PL은 "네이버는 연구 과정에서 축적된 한국어 특화 안전 데이터셋 등을 오픈소스로 공개해 국내 AI 생태계 안전 수준 개선에도 기여하고 있다"고 말했다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -