안전하고 신뢰할 수 있는 인공지능(AI) 개발을 도모하기 위해 민관이 하나로 뭉쳤다. 과학기술정보통신부는 26일 서울 전쟁기념관에서 국내 대표 AI 대기업과 스타트업, 연구자 등 200여명이 참석한 가운데 'AI신뢰·안전성 콘퍼런스'를 열었다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

이번 콘퍼런스에선 AI신뢰·안전성 관련 기술과 정책 동향을 공유하고, 올해 정부지원 연구 결과물의 주요 성과와 민간의 이행현황을 점검했다.

AI 분야 세계적 석학인 몬트리올대 요슈아벤지오 교수는 기조강연에서 "최첨단 AI 모델의 위험에 대한 효과적인 관리를 위해 국내법과 국제협약 간의 상호 조화가 필요하다"고 강조했다.

이어 "과학 측면에서는 AI 모델의 정렬과 통제가 중요 이슈"라며 "정량적으로 측정 가능한 AI 모델의 위험평가, 위험관리기술 확보를 위한 정부지원 확대와 AI안전연구소의 역할이 필요하다"고 말했다.

오혜연 카이스트(KAIST) AI연구원장은 국제사회의 AI 패권 경쟁 동향을 공유하고, 전략자산으로서 AI의 중요성을 설명했다.

이날 행사에선 지난 5월 'AI서울기업서약'에 참여한 국내 6개 기업이 안전하고 신뢰할 수 있는 AI를 개발하기 위한 위험 관리방안 수립, 기술 연구, 내부거버넌스 마련 등 각사의 이행 현황을 공유했다. 참여 기업은 삼성전자, 네이버, 카카오, SK텔레콤, KT, LG AI연구원이다.

앞으로도 이들 기업은 자사가 제공하는 AI제품·서비스와 관련된 책임을 깊이 인식하고, 향후 신뢰와 안전성 확보를 위한 노력을 더욱 강화해 나갈 것을 약속했다.

콘퍼런스에서 한국정보통신기술협회(TTA)는 대규모 참여자의 공격 시도를 분석해 식별된 7개 분야별 주요 위험과 다양한 공격기법(거부무력화·혼동유도)을 소개했다. 주요 위험으로는 잘못된 정보, 편견 및 차별, 불법 콘텐츠 생성 및 정보 제공, 탈옥, 사이버 공격, 개인의 권리 침해, 일관성 등이 언급됐다.

과기정통부는 레드팀 챌린지 결과를 활용해 생성형 AI 안전 프레임 체계를 구축해 나가고, 생성형 AI 모델의 잠재위험을 사전에 파악해 신뢰와 안전성을 확보할 수 있도록 지원할 계획이다.

이날 AI신뢰성의 중요성과 인식을 업계 전반에 확산하고, 우수 AI제품·서비스에 대한 홍보를 지원하기 위한 목적으로 '제2회 AI신뢰성 대상' 시상식도 열렸다.

송상훈 과기정통부 정보통신정책실장은 "민간자율에 기반한 책임있는 AI개발·활용 문화가 확산할 수 있도록 정책 지원을 강화하는 한편, 첨단AI로 인한 잠재적 위험에 대비해 AI안전연구소를 출범하고 국가 차원에서 체계적으로 대응해 나가겠다"고 밝혔다.

김보경 기자 bkly477@asiae.co.kr
<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제(www.asiae.co.kr) 무단전재 배포금지>