규모와 분야에 관계없이 많은 조직이 AI와 LLM 기반 제품, 서비스를 앞다퉈 개발, 배포하거나 구매하고 있다. 규제 관점에서 고려해야 할 사항은 무엇이고, 소프트웨어 개발자가 알아야 할 것은 무엇일까?

EU와 미국은 규제에 대해 그동안 혼란스러웠던 몇몇 부분을 구체화하는 접근 방식을 취하고 있다. 미국에서는 모든 미국 연방 기관이 최고 AI 책임자를 두고 사용 중인 모든 AI 시스템, 관련된 위험, 그러한 위험을 완화할 계획이 포함된 보고서를 매년 제출하도록 하는 새로운 요구사항이 채택됐다. EU 역시 배포에 앞서 이와 유사한 위험, 테스트 및 감독에 대한 요구사항을 도입했다.

ⓒ Getty Images Bank

<이미지를 클릭하시면 크게 보실 수 있습니다>

EU와 미국 모두 위험 기반 접근 방식을 택했는데 특히 EU는 "고위험 AI 시스템"에 대해 "설계에 의한 보안과 기본으로서의 보안"의 중요성을 명시한다. 미국의 CISA도 "소프트웨어는 설계에 의한 보안을 구현해야 하며 인공 지능도 예외는 아니다"라고 규정한다.

선제적 보안에 익숙한 사람에게는 반가운 이야기다. 기계 로직과 인간 분석 간의 마찰을 줄이기 위해 더 노력할수록 더 많은 위협을 예측하고 문제가 되기 전에 완화할 수 있다.

코드가 핵심

근본적인 수준에서 "설계에 의한 보안과 기본으로서의 보안"은 소프트웨어 개발자, 그리고 AI 모델과 애플리케이션을 구축하는 데 사용되는 코드부터 시작된다. AI 개발과 규제가 확장됨에 따라 개발자의 역할도 보안을 일상의 일부로 포함하도록 진화하게 된다. 코딩을 할 수 없다면 AI를 사용할 수 없다. AI를 사용하는 개발자라면 취약점과 보안에 대해 어느 때보다 주의를 기울여야 할 것이다.

환각 또는 의도적으로 오염된 소프트웨어 패키지와 라이브러리는 이미 매우 현실적인 위협으로 다가오고 있다. 개발자 워크스테이션의 맬웨어로 시작되는 소프트웨어 공급망 공격은 데이터 모델, 학습 세트, 나아가 최종 제품의 보안과 무결성에 심각한 결과를 초래할 수 있다. 오랜 기간 코드 리포지토리를 끈질기게 괴롭혀온 악성 제출이 AI 개발 플랫폼에도 이미 나타나고 있다는 점에 주목해야 한다. 허깅 페이스("AI의 깃허브"라고도 함)와 같은 AI 및 머신러닝 환경과 엔터프라이즈 애플리케이션 간에 방대한 규모의 데이터 교환이 이뤄지고 있다는 보고서를 감안하면 처음부터 보안을 내장하는 것이 무엇보다 중요하다.

EU의 AI 법 15조는 데이터 또는 모델 오염을 포함한 위험을 테스트, 완화, 통제하기 위한 조치를 의무화함으로써 이 과정에서 한발 앞서 나가고자 한다. 미국이 발표한 새로운 지침에는 운영상의 위험을 초래하지 않는 한 정부가 소유한 모든 AI 모델, 코드, 데이터를 공개하는 조항이 포함돼 있다. 코드가 감독과 공격을 모두 받는 상황에서 AI를 개발하고 배포하는 조직은 AI 라이브러리에서 디바이스에 이르기까지 모든 것에서 약점과 위험을 확실히 파악해야 한다.

선제적 보안은 설계에 의한 보안의 핵심이 될 것이다. 취약점이 되기 전에 약점을 찾을 수 있는 역량을 요구하는 규정이 많아지고 있기 때문이다.

혁신과 위험과 현실의 교차점

많은 조직에서 위험은 사용하는 데이터에 따라 달라진다. 예를 들어 의료 기업은 모든 출력에서 데이터 개인정보 보호와 보안, 무결성을 유지해야 한다. 금융 서비스 기업은 예측 모니터링과 같은 편익과 개인정보 보호 및 공정성에 대한 규제 우려 사이에서 균형을 찾아야 한다.

EU와 미국의 규제 접근 방식은 모두 개인정보 보호, 기본권 보호, 투명성을 강조한다. 제품 개발 관점에서 이 요구사항은 애플리케이션의 유형에 따라 달라진다.

• 허용할 수 없는 위험: 인간에게 위협으로 간주되는 시스템은 금지된다. 여기에는 정부가 운영하는 사회적 점수 평가, 인간에 대한 생체 인식/분류, 얼굴 인식이 포함된다. 법 집행을 위해 일부 예외가 허용된다.
• 고위험: 안전 또는 기본권에 부정적인 영향을 미칠 가능성이 있는 시스템. 다음의 두 가지 범주로 분류된다.

- 항공, 자동차, 의료 디바이스, 엘리베이터를 포함하여 EU 제품 안전 법규가 적용되는 제품에 사용되는 AI 시스템
- 핵심 인프라, 교육, 고용, 필수 서비스, 법 집행, 국경 통제 또는 법 적용 등의 영역에 사용되는 AI 시스템

• 저위험: 대부분의 현재 AI 애플리케이션과 서비스가 이 범주에 속하며 규제 대상에서 제외된다. 여기에는 AI가 사용되는 게임, 스팸 필터, 문법 검사 앱을 위한 기본 언어 모델 등이 포함된다.

전체적으로 EU AI 법에서 챗GPT와 같은 애플리케이션은 고위험으로 간주되지 않지만(아직은!) AI 사용에 대한 투명성을 확보하고 불법적 콘텐츠를 생성하거나 학습 모델에서 저작권이 있는 데이터를 비밀리에 사용하는 경우를 피해야 한다. 시스템적 위험을 초래할 가능성이 있는 모델은 출시 전 테스트와 사고 보고가 의무화된다.

미국의 제품, 서비스, 애플리케이션에서도 가장 중요한 접근 방식은 위험 기반이며, 자율 규제에 중점을 둔다.

핵심은 각 단계에 따라 제약이 늘어난다는 것이다. 개발자는 EU AI 법을 준수하려면 고위험 배포에 앞서 위험 관리, 테스트, 데이터 거버넌스, 사람의 관리 감독, 투명성, 사이버 보안을 포함한 다양한 요구사항 검열을 통과해야 한다. 저위험 범주에 속한 경우 투명성과 보안이 핵심이다.

선제적 보안 : 머신러닝과 인간의 지능이 만나는 곳

EU AI 법, 미국 AI 규정, NIST 2.0, 어느 것을 보든 결국 모두 선제적 보안, 즉 약점이 대규모 문제로 전이되기 전에 찾는 것으로 귀결된다. 그 작업의 많은 부분이 코드부터 시작될 것이다. 개발자가 뭔가를 놓치거나 악성 또는 취약한 AI 라이브러리를 다운로드하게 되면 공급망을 타고 곧 더 큰 문제로 발전하게 된다. 새로운 AI 규정은 이 문제의 심각성, 그리고 우리가 직면한 과제의 긴급성을 강조한다. 바로 지금이 잘못된 부분을 허물고 설계에 의한 보안의 핵심 원칙으로 돌아가야 할 시점이다.
editor@itworld.co.kr

Ram Movva and Aviral Verma editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지