UN은 각국에 ‘AI 레드라인(AI Red Lines)’ 합의를 제안했다. AI 레드라인은 “인류와 글로벌 안정성에 가장 심각한 위험을 예방하기 위해 2026년 말까지 마련해야 하는 AI의 절대적 금지선”으로, UN 총회에서 전직 정상, 노벨상 수상자, 학계 및 산업계 석학들이 연대해 제안한 일종의 글로벌 이니셔티브다.

UN은 최근 발표한 성명에서 “구속력 있는 국제 규정이 없다면 인류는 인위적 팬데믹, 대규모 허위정보 확산, 글로벌 안보 위협, 체계적인 인권 침해, 고도화된 시스템에 대한 인간 통제력 상실 등 점점 더 큰 위험에 직면하게 될 것”이라고 경고했다.

UN은 이번 이니셔티브와 관련해 발표한 Q&A 문서를 통해 매우 구체적이고 폭넓은 AI 금지안을 제시했다. 여기에는 핵무기 지휘·통제에서의 AI 사용 금지, 자율살상무기 활용 제한, 대규모 감시 행위 차단이 포함됐다. 또, “AI 시스템이 인간이 아닌 사실을 알리지 않은 채 사용자가 인간과 상호작용하고 있다고 믿도록 속이는 행위”에 해당하는 AI 기반 인간 사칭 역시 금지 대상으로 언급됐다. 사이버 악용 사례도 규정하며 이를 “중요 인프라를 교란할 수 있는 사이버 공격형 에이전트를 무분별하게 배포하는 행위를 금지하는 것”이라고 정의했다.

UN은 자율적 자기복제 AI에 대한 금지도 요구했다. 이는 “명시적인 인간 승인 없이 스스로를 복제하거나 크게 고도화할 수 있는 AI 시스템의 배포”를 의미한다고 설명했다. 또한 “의미 있는 인간의 통제를 상실했을 때 즉각적으로 종료할 수 없는 AI 시스템의 개발” 역시 차단해야 한다고 밝혔다.

이어 UN은 “향후 체결될 모든 조약은 3가지 축 위에 세워져야 한다”라며 그 요소로 “명확한 금지 목록, 강력하고 감사 가능한 검증 메커니즘, 그리고 협약 당사국이 설치하는 독립적 감독기구”를 제시했다.

그러나 다수의 애널리스트와 전문가는 이런 글로벌 합의가 실질적으로 실행 가능한지, 집행력이 있는지, 그리고 피해를 제한하기에 충분히 시의적절한지에 대해 우려를 제기했다. 구체적으로 UN이 추진하는 방향 자체보다는 얼마나 많은 국가가 동참할 것인지, 2026년 말이라는 목표 시한이 충분히 시급한 대응이 될 수 있는지, 그리고 과연 실효성 있는 집행이 가능할지에 대한 우려다.

UN의 요구사항은 기업 고객보다는 대형 클라우드 서비스 업체와 다른 AI 업체를 직접 겨냥하고 있다고 설명하지만, 전문가들은 이런 합의가 컴플라이언스를 통해 간접적으로 기업에 영향을 미칠 것이라고 지적했다.

기업에 영향을 줄 수 있는 AI 규제 사례로는 채용 지원자 심사, 대출 심사, 기밀 고객 데이터를 활용한 모델 학습 제한 등이 꼽힌다. UN 협정에 서명한 국가에서 비즈니스를 운영하는 기업은 여전히 해당 규제를 준수해야 한다. 다만 독일, 캐나다, 스위스, 일본과 같은 국가는 자체적인 AI 규제 체계를 마련할 가능성이 높아, 결과적으로 AI 레드라인 합의가 사실상 큰 의미를 갖지 못할 수도 있다.

인포테크리서치그룹(Info-Tech Research Group)의 수석 연구원 밸런스 하우든은 UN의 노력이 실현 가능성 측면에서 의문이 남지만, 취지 자체는 이해할 수 있고 긍정적으로 평가한다고 말했다.

하우든은 “위험이 국가 경계와 연결되어 있지 않은데 어떻게 기업을 어떻게 보호할 수 있겠는가”라고 반문하며 “규제 필요성에 대한 공감대는 생각보다 훨씬 넓다. 미국은 예외적인 입장으로, AI의 진로를 규제하거나 통제하고 싶어 하지 않는다. 심지어 중국조차도 올바른 발언을 하고 있다. 반대할 것이라고 예상했던 많은 주체들이 실제로는 그렇지 않았다”라고 설명했다.

하우든은 미국을 제외하고 강하게 반발한 국가는 프랑스뿐이었다며 “프랑스도 미국과 마찬가지로 혁신이 억제될 수 있다는 우려를 갖고 있다. 다만 프랑스는 기본적으로 지지 입장일 가능성이 크고, 당시 회의장에서 다른 대표단을 의식해 그런 발언을 했을 것”이라고 말했다.

또한 하우든은 UN이 2026년 말까지 이런 조치를 시행하겠다는 목표에 대해서도 우려를 표하며 “많은 조치가 신속히 이뤄져야 하지만 UN의 거버넌스와 보호 장치는 관료주의의 속도로 움직이고 있다”라고 비판했다.

AI 업체 생태계가 곧 ‘통제 불가능성의 지점(point of ungovernability)’에 다다르고 있으며, 업계는 이미 사실상 되돌릴 수 없는 상태에 매우 근접해 있다는 지적도 나온다. 하우든은 UN의 노력이 설령 통과된다 해도 대다수 생성형 AI 모델을 제공하는 주요 대형 클라우드 서비스 업체가 실제로 이를 따를지는 의문이라며 “대규모 엔터프라이즈 업체가 이 일을 제대로 해낼 수 있다고 믿을 수 있겠는가? 그럴 수 없다. 지금도 그렇게 하지 않고 있다”라고 강조했다.

전직 연방 검사로 재직하다가 현재는 전직 정부 및 군 전문가 플랫폼 포머거브(FormerGov)의 전무이사를 맡고 있는 브라이언 레빈은 미국 법무부 재직 시절 다수의 글로벌 기준 제정 작업에 참여했으며, 인터폴과 함께 국제 랜섬웨어 대응을 조율하고 중국과의 법 집행 공조 기구인 합동 연락 그룹(Joint Liaison Group, JLG)에서 활동한 경력도 있다.

레빈은 대부분 회원국이 근본 원칙에는 동의할 것이기 때문에 UN 조치가 실제로 추진될 가능성이 크다고 전망하면서도 “원칙이 너무 추상적인 수준에 머물러 실제로 의미 있는 진전을 이끌어내지는 못할 것”이라고 지적했다.

또한 “UN 제안에 합의하는 것은 국가 입장에서 위험 부담이 거의 없을 것이다. 각국이 ‘어차피 집행 불가능한데 걱정할 필요가 있겠는가’라고 생각할 가능성이 높다”라고 덧붙였다.

비슷한 시도는 과거에도 있었다. 약 11년 전 UN은 자율살상로봇을 금지하려 했으나 실패로 끝난 바 있다.

휴스턴대학교 로스쿨(University of Houston Law Center)의 법학 조교수 피터 살리브는 오늘날 생성형 AI의 실제 활용이 확산하면서 2014년 자율살상로봇 때와는 달리 AI 위험은 훨씬 더 구체적인 위협으로 다가왔다고 말했따.

그러나 이번 주 발표된 UN의 새로운 시도에 대해서는 회의적인 시각을 보이며 “아마도 의미 있는 결과는 나오지 않을 것이다. 각 국가는 그다지 신경 쓰지 않고 주권을 양보할 만큼 관심을 두지도 않는다”라고 지적했다.

dl-itworldkorea@foundryco.com