-산·학·연 "AI 안전 가이드라인 시급, 기업 딜레마 해소해야"

-AI 에이전트 시대 대비 위한 표준화 및 벤치마크 개발 촉구

[디지털데일리 이나연 기자] "의무화보다는 인증 제도를 통해 인공지능(AI) 서비스의 신뢰성을 갖춰야 한다. AI안전연구소가 성과 평가 인증제도를 만들어 신뢰할 수 있는 AI 서비스 제공 기반을 마련해야 한다."

배경훈 부총리 겸 과학기술정보통신부 장관은 23일 경기도 성남시 AI 안전연구소에서 'AI 위험 대응을 위한 기술 개발 현황과 AI안전 생태계 조성 방안'을 주제로 열린 전문가 간담회에서 이같이 밝혔다.

이날 배 부총리가 찾은 AI안전연구소는 2024년 11월 정식 출범한 과학기술정보통신부 산하 한국전자통신연구원(ETRI) 부설 조직이다. 정부 주도 AI안전연구소가 설립된 것은 영국, 미국, 일본, 싱가포르, 캐나다에 이어 한국이 세계 6번째다. AI안전연구소는 최근 신설된 국제 AI안전연구소 네트워크에도 참여하고 있다.

김명주 AI안전연구소장은 "AI 에이전트 전체 수행 과정에 대한 안전 평가를 진행하겠다"며 "한국정보통신기술협회(TTA)와 협업해 평가-인증 체계를 컨소시엄으로 구축 중"이라고 말했다.

간담회에 참석한 산·학·연 전문가들은 AI 안전 평가와 인증이 상용화의 필수 과정이라는 데 공감대를 형성했다.

황민영 셀렉트스타 부대표는 "세이프티 기준이 각기 다르기에 세이프티와 퀄리티를 묶어 리스크 관리·품질 보증(QA)를 진행하는 것은 파운데이션 모델 빌더뿐만 아니라 상용화 과정에서도 반드시 거쳐야 하는 과정"이라며 "장기적으로 기업들에게 가이드라인으로 작용할 것"이라고 말했다.

AI기본법 시행을 앞두고 워터마크 기술의 실효성에 대한 우려도 제기됐다. 이상호 카카오 AI 세이프티&퀄리티 성과리더는 "내년 1월부터 AI기본법에 따라 워터마크 표시가 의무화되는데 편집으로 제거 가능한 문제가 있다"며 "비가시적 워터마크의 중요성이 크다"고 지적했다.

배순민 KT AI 퓨처랩장(CRAIO, 상무)은 "해당 워터마크 기술을 보유해 언제든 적용 가능하다"면서도 "국가가 기준을 제시하지만 기술은 빠르게 변화하고 기업 거버넌스와 국가 규제의 속도 차이가 존재한다"며 현장의 어려움을 토로했다.

AI 안전 대응 과정에서 기업들이 겪는 현실적 어려움도 공유됐다. 손지윤 네이버 AI 리스크관리(RM) 센터 전무는 "국민 생활에 직접 피해가 되는 서비스 차원의 안전 문제를 우선 대응 중"이라며 "안전연구소의 권고가 완벽할 수 없지만 좋은 방법 중 하나가 될 것"이라고 기대했다. 다만 "회사 차원에서 부족한 부분을 공개하기 어려운 딜레마가 있다"고 부연했다.

이런 상황에서 AI안전연구소의 가이드라인 제시 역할이 더욱 중요해질 전망이다. 김태윤 SK텔레콤 파운데이션 모델 담당(부사장)은 "안전 대응은 서비스와 고객 간 신뢰와 직결되는 문제"라며 "가이드라인이 없으면 기업들이 임의로 선택하기 어려운 쟁점이 된다"고 강조했다. 이어 "AI안전연구소가 적정 수준의 가이드라인을 제시하고 중간 역할을 해달라"고 요청했다.

AI 에이전트 시대를 맞아 새로운 보안 위협을 대응하는 방안도 논의됐다. 최대선 숭실대 AI안전성연구센터장은 "멀티 에이전트 환경에서는 책임 소재가 불분명해진다"며 "기존 화이트해커 개념이 AI에는 적용하기 어렵고, 새로운 위협에 대한 대응이 필요하다"고 말했다. 그는 "국내 모델 중심으로 테스트하고 있으며 조만간 공개할 예정"이라고 덧붙였다.

국내를 넘어 글로벌 시장 진출을 위한 표준화의 중요성도 강조됐다. 이재호 서울시립대 인공지능학과 교수는 "글로벌 리더십 관점에서 향후 규제, 시장 경쟁력, 국제 표준에서의 리더십이 필요하다"며 "안전 자체가 글로벌 시장 핵심 경쟁력"이라고 강조했다. 그는 "EU 시장 진출 시 개별 기업이 각각 인증받는 것은 엄청난 중복투자"라며 표준화의 시급성을 역설했다.

AI 안전 기술 개발 속도와 벤치마크 개발의 필요성도 제기됐다. 김민재 NC AI 최고기술책임자(CTO)는 "생성 기술이 탐지 기술보다 훨씬 앞서 있어 따라잡기 어렵다"며 "이 분야 지원을 확대하는 동시에 멀티모달 관점의 새로운 벤치마크 개발도 연구소가 담당하면 좋겠다"고 제안했다.

이승윤 업스테이지 월드베스트LLM(WBL) 센터장 역시 "모델 차원의 세이프티와 서비스 차원 세이프티 기준이 다르다"며 "AI 에이전트 기술이 파운데이션 모델에 통합되는 상황에서 속도감 있는 민관 협력이 필요하다"고 강조했다.

한편 정부는 AI안전연구소 주도의 '국가AI 안전 생태계 조성 종합계획'을 올해 안에 공개한다. 김명주 소장은 "국가 AI 안전 생태계 조성 종합계획을 수립 중"이라며 "영국 AI연구소 사례처럼 인력 지원을 최대화할 계획"이라고 말했다.

배 부총리는 "딥페이크, 음성 인식 등 초기 단계 문제뿐만 아니라 중장기 관점에서 AI 에이전트 시대를 준비해야 한다"며 "관계부처, 유관기관 등과 협력해 모두가 공감할 만한 내용을 발표하겠다"고 전했다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -