[AI리포터]

아마존 생성형 인공지능(AI) 도구 베드락(Bedrock) [사진: AWS]

<이미지를 클릭하시면 크게 보실 수 있습니다>

[디지털투데이 AI리포터] 아마존 웹 서비스(AWS) re: Invent 컨퍼런스에서 AWS 데이터베이스, 분석 및 기계 학습 담당 부사장인 스와미나단 시바수브라마니안이 아마존 베드락(Bedrock)에 모델 평가(Model Evaluation)를 발표했다고 29일(현지시간) IT매체 더 버지가 전했다.

아마존 베드락은 개발자를 위한 파운데이션 모델 기반 생성형 AI 애플리케이션 구축 서비스다. 이번 발표를 통해 아마존은 사용자가 AI 모델을 더 잘 평가하고, 더 많은 사람이 참여하도록 장려했다.

모델 평가에는 '자동 평가'와 '사람 평가'라는 두 가지 구성 요소가 있다. 모델 평가를 하는 이유는 모델의 성능을 잘 이해할수록 개발 진행이 더욱 수월해지기 때문이다. 또한 기업은 서비스 구축 전 모델 평가를 통해 해당 서비스가 AI 표준을 충족하는지 확인할 수 있다.

'자동 평가'는 개발자가 베드락 콘솔로 이동하여 테스트할 모델을 선택할 수 있다. 그런 다음 요약, 텍스트 분류, 질문 및 답변, 텍스트 생성 등의 다양한 측정 항목을 통해 모델 성능을 평가할 수 있다. AWS는 테스트 데이터 세트를 제공하지만 고객은 자신의 데이터를 벤치마킹 플랫폼으로 가져와 모델이 어떻게 작동하는지 더 잘 알 수 있다.

'사람 평가'의 경우 사용자는 AWS 사람 평가 팀이나 자동 평가 팀과 협력하도록 선택할 수 있다. 고객은 다양한 측정 항목, 평가 지표 및 원하는 데이터 세트를 지정해야 한다. AWS는 평가 팀과 협력하는 사람들에게 맞춤형 가격과 일정을 제공할 예정이다.

바시 필로민 AWS 생성형 AI 부문 부사장은 "모델이 고객에게 적합한지, 어떤 모델이 고객에게 가장 적합한지 아는 것이 중요하다"며 "AWS는 고객에게 이를 더 잘 평가할 수 있는 방법을 제공하고 있습니다"라고 자부했다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>