[이데일리 김현아 기자] 생성형 AI 보안 기술 스타트업 에임인텔리전스(대표 유상윤)가 KT(030200)와 ‘AI 기반 모델의 Security & Safety 검증 체계 기술 공동연구 및 위협 대응 기술 구축을 위한 업무 협약(MOU)’을 체결했다고 3일 발표했다.

양사는 KT 판교빌딩에서 열린 업무 협약식에서 △생성형 AI 기반 모델의 Security & Safety 검증 체계 기술 공동 연구 △식별된 취약성을 해소할 수 있는 모델 방어 및 강화 기술 개발 △사이버 보안 위협에 대응하고 안전한 생성형 AI 모델 보급 추진 등에서 상호 협력하기로 합의했다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

에임인텔리전스는 생성형 AI의 안전한 상용화를 위해 AI Safety 진단(레드팀)과 취약점 자동 탐지 및 차단/방어 기술(가드레일)을 접목할 계획이다.

생성형 AI 레드팀은 통제된 환경에서 적대적인 방법을 사용하여 AI 시스템의 유해한 결과나 시스템 오용 등을 식별하는 구조화된 테스트 활동을 의미한다. 국내외 주요 AI 기업들도 자체 레드팀을 운영하며 AI 안전성을 확보하는 방법으로 주목받고 있다.

에임인텔리전스의 레드팀은 지난 4월 과학기술정보통신부와 한국정보통신기술협회가 주최한 「생성형 인공지능 레드팀 챌린지」에서 수상자로 선정된 바 있다. 이번 협약을 통해 양사는 생성형 AI 모델의 안전성 평가 기준인 벤치마크를 공동 개발하고, 다양한 안전성 및 보안 활동을 전개할 예정이다.

KT 정보보호 최고 책임자(CISO) 황태선은 “이번 협약을 통해 생성형 AI의 상용화를 위한 안전성을 더욱 공고히 할 수 있었다. 양사의 협력을 통해 안전한 생성형 AI 모델 보급에 최선을 다할 것”이라고 말했다.

에임인텔리전스 유상윤 대표는 “생성형 AI 상용화에 있어 가장 큰 과제는 안전성 및 보안이다. 누구나 믿고 사용할 수 있는 안전한 생성형 AI 서비스를 제공할 수 있도록 KT와 함께 노력하겠다”고 밝혔다.

한편, 에임인텔리전스는 최근 생성형 AI 보안 진단 레드팀 과정의 자동화를 지원하는 솔루션 AIM Red와 취약점을 자동 탐지 및 차단하는 가드레일 AIM Guard를 출시했다.

서울대 전기·정보공학부 연구실에서 시작한 에임인텔리전스는 네이버투자회사 D2 스타트업 팩토리를 거쳐 생성형 AI 보안을 위한 원천 기술을 연구·개발해 왔다. 유상윤 대표는 범용 인공지능(AGI)을 위한 보안 기술의 고도화 계획을 밝혔다.