 |
<이미지를 클릭하시면 크게 보실 수 있습니다> |
에임인텔리전스가 BMW 그룹, 국내 대학과 공동으로 거대언어모델(LLM)이 기업별 정책을 얼마나 준수하는지 체계적으로 평가하는 프레임워크를 개발했다. 표준 안전성 테스트를 통과한 모델도 기업 현장의 복잡한 규칙 앞에서는 취약점을 보인다는 점을 확인했다.
AI 보안 전문기업 에임인텔리전스는 BMW 그룹과 협력해 LLM의 기업별 맞춤형 정책 준수 여부를 평가하는 프레임워크 'COMPASS(Company/Organization Policy Alignment Assessment)'를 공동 개발했다고 10일 밝혔다. 서울대학교, 연세대학교, 포항공과대학교(POSTECH) 연구진도 참여했으며, 상세 논문은 아카이브(arXiv)에 공개됐다.
의료·금융·자동차 등 전 산업에서 LLM 도입이 가속화되고 있지만, 기업 내부의 운영 지침이나 법적 제약 사항을 AI가 정확히 따르는지 평가할 수 있는 객관적 지표는 부족한 상황이었다. 이번 연구는 기존 표준 안전성 테스트를 통과한 모델이라도 기업 현장의 복잡한 규칙을 적용하면 금지 항목을 제대로 따르지 않는 문제가 발생한다는 점을 확인했다.
COMPASS는 이러한 문제를 해결하기 위해 해석이 불분명한 조항이나 상충하는 규칙을 식별하는 과정을 포함한 4단계 검증 체계를 적용했다. 자동차·금융·의료·교육 등 8개 산업에서 발생하는 시나리오를 기반으로 6,000여 개의 질의 데이터를 생성해 검증 신뢰도를 높였다. 기업들이 자사 정책에 맞춰 AI 시스템을 직접 평가할 수 있도록 프레임워크와 데이터셋을 깃허브(GitHub)와 허깅페이스(HuggingFace)에 무료로 공개했다.
에임인텔리전스는 생성형 AI, LLM, 이미지·비전 모델(VLM), 음성, 멀티모달, 피지컬 AI 분야에서 AI 가드레일과 레드 티밍 솔루션을 제공하는 기업이다. 모델이 기업의 정책과 의도를 벗어나도록 유도하는 공격 시나리오를 실제 환경에 가깝게 검증하고 차단하는 기술을 보유하고 있다.
유상윤 대표는 "일반적 관점에만 초점을 맞추는 AI 안전 테스트와 달리 COMPASS는 실무적 관점에서 모든 규칙이 제대로 지켜지도록 신뢰성을 높인 것이 특징"이라며 "기업과 공공기관이 AI를 안심하고 활용할 수 있는 현실적인 보안 적용 방안을 지속 선보이겠다"고 밝혔다.
글 : 플래텀(editor@platum.kr)
ⓒ '스타트업 전문 미디어 & 중화권 전문 네트워크' 플래텀, 조건부 전재 및 재배포 허용
이 기사의 카테고리는 언론사의 분류를 따릅니다.
기사가 속한 카테고리는 언론사가 분류합니다.
언론사는 한 기사를 두 개 이상의 카테고리로 분류할 수 있습니다.
언론사는 한 기사를 두 개 이상의 카테고리로 분류할 수 있습니다.
