[AI리포터]

[사진: 앤트로픽]

<이미지를 클릭하시면 크게 보실 수 있습니다>

[디지털투데이 AI리포터] AI 스타트업 앤트로픽이 지원자 평가를 위해 최신 AI 모델도 쉽게 해결할 수 없는 새로운 테이크홈 테스트(take-home test)를 개발했다.

22일(현지시간) IT매체 테크크런치에 따르면, 테이크홈 테스트는 인간 지원자의 역량을 정확히 평가하면서, AI의 자동화된 도움으로 인한 부정행위를 막는 데 목적을 두고 있다.

앤트로픽 성능 최적화 팀은 2024년부터 지원자들의 실력을 검증하기 위해 테이크홈 과제를 제공해 왔다. 그러나 AI 코딩 도구의 발전으로 기존 테스트는 쉽게 해결 가능해졌고, 클로드 오푸스4 모델은 대부분의 인간 지원자를 능가했으며, 오푸스 4.5는 최고 수준의 지원자와 맞먹는 성능을 보인 것으로 알려졌다.

이에 대해 앤트로픽은 "테이크홈 테스트 조건에서는 최상위 지원자와 가장 유능한 모델의 출력물을 구분할 방법이 없었다"고 설명했다. AI를 활용한 부정행위 문제는 학교와 대학에서도 이미 심각하게 나타나고 있으며, 앤트로픽 역시 같은 도전에 직면한 셈이다.

이 문제를 해결하기 위해 앤트로픽은 기존 하드웨어 최적화 중심의 과제 대신, 최신 AI 도구도 쉽게 해결할 수 없는 새롭고 독창적인 문제로 테스트를 개편했다. 블로그에서는 기존 테스트 문제도 함께 공개하며, 관심 있는 사람들에게 도전 기회를 제공했다.

이번 테스트 개편은 AI 발전 속도에 대응하면서도, 인간 지원자의 실제 역량을 보다 정확히 평가할 수 있는 방안으로 평가된다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>