노벨상 수상자 및 주요 AI 연구자가 서명한 공개서한이 AI 공급업체에 대한 규제를 촉구하며 유엔 총회 전에 발표됐다. 하지만 각국 정부가 규제안을 수용할 경우, 기업 IT 부문도 확대된 생성형 AI 규제에 직면할 수 있다.

노벨 평화상 수상자 마리아 레사는 유엔 총회 연설에서 “AI에 대한 전 세계적 ‘레드라인’ 설정”을 촉구하며, 각국 정부에 “보편적으로 수용할 수 없는 위험을 막기 위한 명확한 국제 기준”을 수립하고 “AI가 결코 수행해서는 안 되는 행위”를 최소한 명시해야 한다고 강조했다.

레사가 언급한 ‘AI 레드라인에 대한 전 세계적 촉구(Global Call for AI Red Lines)’ 문서는 노벨상 수상자, 전직 국가 수반, 산업계 주요 인사 등 200명 이상이 서명했다. 문서는 “각국 정부가 2026년 말까지 작동 가능한 수준의 AI 금지 기준과 강력한 집행 메커니즘에 대한 국제적 합의에 도달해야 한다”라고 촉구했다.

해당 캠페인의 문답 자료에 따르면, 제안된 AI 금지 목록에는 다음과 같은 항목이 포함됐다.

• - 핵무기 통제 및 운영에서의 AI 활용 금지
• - 치명적 자율 무기 금지
• - 대규모 감시 목적의 AI 사용 금지
• - 인간처럼 행동하도록 설계되어 사용자에게 AI임을 알리지 않는 ‘인간 가장형 AI 시스템’ 금지
• - 핵심 인프라를 교란할 수 있는 사이버 공격용 AI 에이전트의 무분별한 배포 금지

이 캠페인은 또한 인간의 명시적 승인 없이 스스로 복제하거나 성능을 향상시킬 수 있는 AI 시스템의 배포와, 의미 있는 인간 통제가 상실됐을 때 즉시 종료할 수 없는 AI 시스템의 개발도 금지해야 한다고 제안했다.

나아가, 향후 조약에는 세 가지 기반이 포함돼야 한다고 강조했다. 명확한 금지 목록, 검증 가능한 강력한 감사 메커니즘, 그리고 당사국이 설립한 독립적 감독 기관의 임명이다.

그러나 애널리스트와 전문가 다수는 이러한 글로벌 규제가 현실적으로 실행 가능하고 효과적일 수 있는지에 의문을 제기했다.

비판은 캠페인의 목적 자체보다는, 충분한 수의 국가가 지지할 것인지, 2026년 말이라는 목표 시점이 효과를 발휘할 만큼 빠른지, 실질적 집행이 가능한지에 집중됐다.

규제가 실현된다면, 적용 가능성과 집행 가능성은 기업의 컴플라이언스 요구사항에 직접적인 영향을 미칠 수 있다. 다만 이번 제안의 주된 타깃은 하이퍼스케일러 및 생성형 AI 공급업체이며, 고객은 2차적인 영향 대상이다.

기업에 영향을 줄 수 있는 규제로는 AI를 활용한 채용 심사, 대출 심사, 고객 기밀 데이터로의 모델 학습 제한 등이 있다.

어떤 국가든 해당 협약에 서명한 경우, 그 국가에서 사업을 운영하는 기업은 규제를 준수해야 한다. 하지만 독일, 캐나다, 스위스, 일본 등 주요 국가들은 자체 AI 컴플라이언스 체계를 이미 보유하고 있어, 이번 조치가 실질적 변화를 유발하지 않을 수도 있다.

인포테크리서치그룹(Info-Tech Research Group)의 자문 연구원 밸런스 하우든은 이번 노력의 취지에는 공감하면서도, 실현 가능성에 대해 의문을 제기했다.

“AI 관련 리스크는 국가 경계를 초월하는 문제인데, 기업을 어떻게 보호할 수 있을까?”라고 하우든은 지적하며, “필요성에 대한 합의는 예상보다 크다. 미국은 이 문제에 있어 예외적 존재이며, AI 통제를 원하지 않는다. 심지어 중국조차도 긍정적인 입장을 취하고 있다”라고 말했다. 반대할 것으로 예상됐던 주체가 의외로 반대 의견을 내지 않은 것이다.

실제로, 하우든에 따르면 미국 외에 강하게 주저한 국가는 프랑스뿐이었다. 프랑스 역시 혁신 저해 우려로 미국과 비슷한 입장을 보였지만, 단지 회의장 내 다른 대표국들 때문에 표면적으로만 그런 표현을 했을 가능성이 있다고 분석했다.

하우든은 2026년 말까지 규제를 실현하겠다는 목표에도 우려를 표했다. “많은 조치들이 필요하며, 빠르게 실행돼야 한다. 하지만 현재의 거버넌스 및 보호 장치는 관료주의 속도로 움직이고 있다”라고 설명했다.

하우든은 AI 공급업체 시장이 ‘통제 불능의 경계점’에 매우 근접하고 있다고 경고했다. 또한 “지금도 그 경계선에 아주 가까이 와 있으며, 돌이킬 수 없는 시점에 도달하고 있다”라고 덧붙였다.

그리고 설사 ‘레드라인’ 제안이 통과된다 하더라도, 현재 생성형 AI 모델을 제공하는 주요 하이퍼스케일러들이 준수할 가능성은 낮다고 했다. 하우든은 “지금도 이행하지 않는데, 이가 앞으로 그럴 것이라 믿을 수 있겠는가? 불가능하다”라고 비판했다.

브라이언 레빈은 전 연방 검사이자, 전직 정부·군사 전문가 디렉터리인 포머거브(FormerGov)의 디렉터로, 과거 미 법무부에서 인터폴과의 국제 랜섬웨어 대응, 중국과의 공동 연계 그룹(JLG) 등 다수의 국제 표준화 작업에 참여했다.

레빈은 레사가 유엔 총회에서 제안한 조치가 “대다수 회원국이 기본 원칙에 동의하기 때문에 실현 가능성이 있다”라고 분석했다. 하지만 “그 원칙이 너무 추상적이고 포괄적이어서 실질적 변화는 기대하기 어렵다”라고 덧붙였다.

“국가는 ‘어차피 집행은 어렵다’고 생각하면서 저위험 방식으로 동의할 가능성이 크다”고도 언급했다.

유엔은 과거에도 유사한 시도를 한 바 있다. 약 11년 전, 자율 살상 로봇 금지를 추진했지만, 이렇다 할 성과는 없었다.

휴스턴대학교 법학센터의 조교수 피터 살리브는 오늘날의 생성형 AI 시스템이 현실에 실제 배치되고 있는 만큼, 2014년 당시보다 AI로 인한 위협이 훨씬 구체적이고 실체적이라고 분석했다.

하지만 이번 주 발표된 노력에 대해서는 회의적이었다.

살리브는 “실질적으로 의미 있는 결과는 없을 것이다. 이 문제에 크게 관심을 가지는 국가는 적으며, 자국 주권을 양보할 정도로는 더욱 아니다”라고 밝혔다.

dl-itworldkorea@foundryco.com