생성형 AI 레드팀 챌린지 행사 포스터 [사진 = 셀렉트스타]

인공지능(AI) 시스템의 결함을 보완하기 위해 취약점을 공격해 찾아내는 ‘AI 레드팀’ 행사가 국내서 열린다.

AI 안전과 신뢰성이 중요해지는 가운데 국내 대표적인 AI 모델의 안전성을 강화하고, 생성형 AI의 신뢰성 확보 방안을 논의하는 장이 될 것으로 전망된다.

과학기술정보통신부는 한국정보통신기술협회(TTA)와 함께 내달 11일부터 이틀간 ‘생성형 AI 레드팀 챌린지’를 개최한다고 21일 밝혔다. 행사는 서울 강남구 코엑스에서 열릴 예정이며 AI 안전에 관심이 있는 국민을 대상으로 참가자 1000여명을 모집한다.

네이버클라우드와 AI 스타트업 셀렉트스타가 행사 대표 파트너로 참여해 대회를 진행할 예정이다.

AI 레드팀은 적대적 방법을 사용해 AI 시스템의 유해하거나 차별적인 결과, 시스템 오용 등의 결함과 취약성을 식별하기 위한 구조화된 테스트 활동을 의미한다.

오픈AI, 구글, 네이버클라우드 등 국내외 AI 기업들은 자체 AI 레드팀을 구성해 AI 모델의 신뢰성을 강화하기 위해 노력하고 있다.

행사는 1000여명의 참가자가 네이버클라우드, SK텔레콤, 업스테이지, 포티투마루 등 국내 기업들의 AI 모델을 대상으로 잠재적인 취약점을 찾아내는 챌린지 방식으로 진행된다.

우수한 성적을 거둔 참가자에게는 과학기술정보통신부장관상 등을 포함해 총 1700만원의 상금이 수여될 예정이다.

행사 2일 차에는 에이단 고메즈 코히어 대표, 에마드 모스타크 스태빌리티AI 대표, 댄 헨드릭스 xAI 안전 담당 고문, 하정우 네이버 퓨처AI 센터장, 에릭 데이비스 SK텔레콤 부사장, 김세엽 셀렉트스타 대표, 김경훈 카카오 이사, 오혜연 카이스트 교수 등 국내외 AI 전문가들이 참가하는 AI 안전 콘퍼런스가 개최된다.

강도현 과기정통부 2차관은 “이번 레드팀 챌린지 행사를 계기로 국내 산업계에 AI 안전성 확보를 위한 자발적인 노력이 확산되고, AI를 활용하는 일반 국민도 AI 윤리의 중요성에 대한 인식이 확대되기를 기대한다”고 말했다.

이어 과기정통부는 오는 5월 ‘AI 안전성 정상회의’를 대한민국에서 개최함으로써 AI 안전성에 대한 논의를 주도하겠다는 목표다.

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]