[백연식 기자]

<이미지를 클릭하시면 크게 보실 수 있습니다>

[디지털투데이 백연식 기자] 과학기술정보통신부는 26일 피스앤파크컨벤션에서 국내를 대표하는 AI분야 대기업‧스타트업, 연구자 등 200여명이 참여하는 가운데, 'AI신뢰‧안전성 컨퍼런스'를 개최했다.

그동안 과기정통부는 '국가 AI윤리기준'을 토대로, 제3의 전문기관을 통한 민간자율 'AI신뢰성 인증' 지원, '생성형 AI레드팀 챌린지' 개최, 글로벌 AI규범가치(안전‧혁신‧포용)에 대한 합의를 이끌어낸 'AI서울정상회의' 개최, '국제 AI안전연구소 네트워크' 참여, AI안전연구소 출범 등 지속가능한 AI혁신생태계 조성을 뒷받침하기 위해 AI신뢰‧안전성에 대한 정책적 지원을 강화하고 있다.

이번 컨퍼런스에서는 최근 글로벌 차원에서 강조되고 있는 AI신뢰‧안전성 관련 기술‧정책 동향을 공유하고, 2024년 정부지원 연구결과물의 주요성과와 민간의 이행현황을 점검하며, 국내 AI신뢰‧안전성 확보의 우수사례를 선정‧확산하기 위한 목적으로 개최됐다.

이번 컨퍼런스 행사는 국내‧외 AI신뢰‧안전 기술‧정책 동향 공유 AI서울기업서약 이행현황 발표(국내 6개사) '생성형 AI레드팀 챌린지' 결과 소개 '제2회 AI신뢰성 대상' 시상 등으로 진행된다.

우선, AI분야 세계적 석학인 몬트리올대 요슈아벤지오 교수는 기조강연에서 "AI안전 확보를 위한 정책과 과학의 중요성을 강조하며, 최첨단AI모델의 위험에 대한 효과적인 관리를 위해 국내법-국제협약간의 상호조화가 필요하다"고 했다. 또한, "과학측면에서는 AI모델의 정렬과 통제가 중요이슈로, 정량적으로 측정가능한 AI모델의 위험평가, 위험관리기술 확보를 위한 정부지원 확대와 AI안전연구소의 역할이 필요하다"고 강조했다.

이어진 두 번째 기조강연에서 오혜연 카이스트 AI연구원장은 국제사회의 AI패권 경쟁 동향을 공유하고, 전략자산으로서 AI의 중요성을 강조했다. 아울러, AI기술의 언어‧문화적 포용성, 격차 문제 등 글로벌 사회에 미치는 영향을 소개하고, AI안전분야 新시장 창출과 기업 경쟁력 확보관점에서 AI안전 정책의 추진전략을 설명했다.

최근, 국내업계에서도 AI신뢰‧안전성 확보를 위한 기술개발과 평가기법, 데이터셋 구축 등 다양한 연구가 진행되는 가운데, 튜닙 박규병 대표는 'AI안전장치(가드레일) 솔루션을 활용한 다양한 형태의 위험탐지 및 대응방안'을 소개했고, 김동환 포티투마루 대표는 'AI신뢰성 인증(TTA) 획득 등을 통한 자사 LLM 신뢰‧안전성 확보사례'를 주제로 발표했다.

지난 5월에 개최된 'AI글로벌포럼'에서 구글, 오픈AI, 삼성전자, 네이버, 카카오, SK텔레콤 등 국내‧외 14개 기업은 'AI서울기업서약'에 참여해 책임있는 AI개발･활용 보장 등에 대한 자발적 이행을 약속한 바 있다. 앞으로도 6개 기업은 자사가 제공하는 AI제품‧서비스와 관련된 책임을 깊이 인식하고, 향후 AI신뢰‧안전성 확보를 위한 노력을 더욱 강화해 나갈 것을 약속했다.

올해 4월, AI연구자‧대학생‧일반시민 등 1000여명이 참여해 국내 AI기업 4개사(네이버‧SK텔레콤‧업스테이지‧포티투마루) 생성형 AI모델(LLM)을 대상으로 잠재적 위험‧취약점(유해정보, 편견‧차별 등)을 발굴하는 '생성형 AI레드팀 챌린지' 행사를 개최한 바 있다.

이날 컨퍼런스에서 한국정보통신기술협회(TTA)는 대규모 참여자의 공격시도를 분석해 식별된 7가지 분야(잘못된 정보, 편견 및 차별, 불법 콘텐츠 생성 및 정보 제공, 탈옥, 사이버 공격, 개인의 권리 침해, 일관성) 주요위험과 다양한 공격기법(거부무력화, 혼동유도)을 소개했다.

과기정통부는 레드팀 챌린지 결과를 활용해 생성형 AI안전 프레임체계를 구축해 나가고, 국내기업이 자사 생성형 AI모델의 잠재위험을 사전에 파악해 신뢰‧안전성을 확보할 수 있도록 지원할 계획이다.

정부는 AI신뢰성의 중요성과 인식을 업계 전반에 확산하고, 우수 AI제품·서비스에 대한 홍보를 지원하기 위한 목적으로 '제2회 AI신뢰성 대상' 시상식을 개최했다.

AI분야 산·학·연 전문가로 구성된 심사위원회(위원장 : 카이스트 오혜연 AI연구원장)는 접수된 총 41개의 AI제품·서비스를 대상으로 신뢰성·품질 이해 및 가이드라인 적용수준, 신뢰성·품질수준, 신뢰성·품질 관리 우수성, 시장성 등을 종합적으로 평가한 결과, 총 8개의 AI제품‧서비스가 선정됐다.

송상훈 과기정통부 정보통신정책실장은 "정부가 지속적으로 추진해 온 AI신뢰‧안전성 정책의 노력에 호응해, 최근 산업계‧학계에서도 AI신뢰‧안전성 전담조직 설치와 투자 확대 등 자발적인 노력이 확대되고 있다"며 "민간자율에 기반한 책임있는 AI개발‧활용 문화가 확산될 수 있도록 정책 지원을 강화하는 한편, 첨단AI로 인한 잠재적 위험에 대비해 AI안전연구소를 출범하고 국가차원에서 체계적으로 대응해 나가겠다"고 말했다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>