김근태 SAS 코리아 CA 본부 상무.

인공지능(AI) 기술 발전으로 여러 분야의 의사결정 과정에서 AI의 활용이 늘고 있지만, 이에 따른 위험성과 부작용 우려도 커지고 있다. 딜로이트 AI 연구소(Deloitte AI Institute)가 미국의 AI 연구자, 개발자, 임원 등 250명을 대상으로 설문조사를 진행한 결과, 응답자의 약 63% 이상이 AI의 편향성, 책임과 배상, 의도치 않은 행위 및 알고리즘 설명의 부족이 신뢰에 부정적인 영향을 미칠 것으로 우려하고 있다 .

국내에서도 AI 적용과 관련된 법안과 가이드라인이 논의되고 있으며, '신뢰성 있는 AI'는 더 이상 선택이 아닌 필수가 되고 있다. 특히 3월에 시행 예정인 개정된 개인정보보호법은 AI 기반의 자동화된 시스템에 대해 △AI 의사결정에 대한 설명 △자동화된 결정의 기준과 절차, 처리 방식에 대한 투명성을 요구하고 있어 기업의 책임이 더욱 커지게 됐다. 실제로 금융권에서는 은행들이 AI 적용에 대한 소비자 우려를 선제적으로 차단하고 금융당국의 규제에 적극 대응하기 위해 AI 거버넌스 체계를 구축하려는 움직임이 확산되고 있다.

그렇다면 기업은 '신뢰성 있는 AI' 구축을 위해 무엇을 고려하고 실천해야 할까.

첫째, AI 모델 개발 시 편향성이 최소화되도록 해야 한다. 기업은 비즈니스 문제와 목표의 관점에서 학습 데이터가 모집단을 적절하게 대표하고 있는지 확인하고 편향성 이슈를 유발할 수 있는 변수를 식별하고 제거해야 한다. SAS는 엔터프라이즈 분석 플랫폼 'SAS 바이야(SAS Viya)'를 통해 AI 분석 라이프사이클 전반에 걸쳐 민감한 변수와 값의 분포를 탐색하는 데 도움이 되는 도구를 제공한다.

둘째, AI 의사결정 프로세스의 투명성을 확보해야 한다. 머신러닝 모델은 블랙박스처럼 여겨질 수 있어 AI의 신뢰성과 책임을 검토하기 위해서는 분석 모델이 어떻게 동작하는지, 어떤 비즈니스 룰이 의사결정에 적용되는지 이해하는 것이 중요하다. 분석 플랫폼이 제공하는 모델 해석 기능은 경영진, 분석가 등 다양한 관점의 니즈를 충족할 수 있다. 예를 들어, 개인정보보호법은 AI 모델의 의사결정에 대한 설명을 요구하기 때문에 경영진은 의사결정의 정당화를 위해 AI 모델이 어떤 요인을 근거로 결정을 내리는지 이해해야 하고, 분석가는 데이터나 모델에 존재하는 편향성을 파악해 적절히 대응해야 한다.

셋째, 모니터링 및 거버넌스 프레임워크를 구축해야 한다. AI 모델의 개발과 운영 자동화에 대한 관심이 커지면서 운영하는 모델에 대한 모니터링이 중요해졌다. 'SAS 바이야'는 AI를 책임감 있게 사용하도록 지원하며, 데이터 및 모델 측면에서 편향성 모니터링, 투명성, 추적성과 같은 '신뢰성 있는 AI'에 필요한 거버넌스 프레임워크를 제공한다.

넷째, 사람의 참여 및 책임에 대해 검토해야 한다. 많은 의사결정자는 AI의 결정을 신뢰하면서도 그에 따른 위험을 우려하고 있다. AI 시스템에 사람의 참여 과정을 두는 것은 AI의 위험을 줄이기 위한 좋은 전략이다. 담당자가 AI 기반 의사결정에 대처하고, 의미 있는 피드백을 제공하며, 필요한 경우 프로세스를 변경하거나 종료할 수 있어야 한다.

마지막으로, AI 규제와 관련 법안 대응을 위한 정책을 수립해야 한다. AI 적용 시 많은 지침과 가이드, 법령을 고려해야 한다. 특히, 조직과 비즈니스의 성격을 고려해 AI 규제나 법안 대응을 위한 내부 정책을 수립하고 이를 준수하기 위한 실질적인 노력이 필요하다.

앞으로 비즈니스 환경에서 AI의 신뢰성은 기업의 경쟁력을 좌우할 것으로 예상된다. 특히 올해 개인정보보호법 개정안이 시행된다. AI 기반 시스템을 운영하거나 구축을 준비 중인 기업들은 AI 시스템이 규정을 준수하고 AI 기반 의사 결정이 신뢰성을 가질 수 있도록 기술적 측면 뿐만 아니라 조직 프로세스와 정책을 면밀히 재정비해야 한다. 기업이 신뢰성 있는 AI'를 구축하고 현명한 의사결정을 통해 비즈니스 경쟁력을 강화할 수 있기를 기대한다.

김근태 SAS 코리아 CA 본부 상무 keun-tae.kim@sas.com

[Copyright © 전자신문. 무단전재-재배포금지]