<이미지를 클릭하시면 크게 보실 수 있습니다>

인텔 가우디 2 AI 가속기는 생성형 AI 성능에 있어 엔비디아 H100 대비 벤치마크 결과를 공개하는 유일한 대안이며, 가격 대비 성능 면에서 우수한 경쟁력을 가지고 있다고 업체 측은 밝혔다. 인텔 5세대 제온의 벤치마킹 결과는 MLPerf 인퍼런스 v3.1(MLPerf Inference v3.1)에서 4세대 인텔 제온 프로세서의 결과와 비교해 평균 1.42배 향상됐다.

인텔 DCAI 제품 관리 총괄 부사장 제인 볼은 “인텔은 가속기 및 CPU 제품 전반에 걸쳐 업계 표준 벤치마크 결과 AI 성능을 지속적으로 개선하고 있다”라며 “이번 결과는 인텔이 고객의 역동적이고 광범위한 AI 요구 사항을 충족하는 AI 솔루션을 제공하고 있음을 보여주고 있고 인텔 가우디 및 제온 제품 모두 고객에게 즉시 제공가능한 옵션과 강력한 가격 대비 성능상의 이점을 제공한다”라고 밝혔다.

기존 MLPerf 라운드의 학습 및 추론 성능에 기반한 인텔의 MLPerf 결과를 기반으로 고객은 AI 성능을 평가할 수 있다. 인텔은 서버 CPU 공급업체 중 MLPerf 결과를 공개하는 것은 인텔이 유일하다고 설명했다.

인텔 가우디 소프트웨어 제품군은 널리 사용되는 LLM 및 멀티모달(multimodal) 모델의 모델 적용 범위를 지속적으로 확대하고 있다. MLPerf 인퍼런스 v4.0의 경우 인텔은 최첨단 모델 스테이블 디퓨전 XL(Stable Diffusion XL) 및 Llama v2-70B에 대한 가우디 2 가속기 결과를 제출했다. 텍스트 생성 추론(Hugging Face Text Generation Inference)에 대한 높은 고객 요구로 가우디의 Llama 결과에서는 연속 일괄 처리 및 텐서 병렬 처리를 지원하는 TGI 툴킷을 사용하여 실제 LLM 확장의 효율성을 향상시켰다.

Llama v2-70B의 경우 가우디 2는 각각 오프라인 및 초당 서버 토큰에 대해 8035.0 및 6287.5를 제공했다. 또한 스테이블 디퓨전 XL에서 가우디 2는 초당 오프라인 샘플 및 초당 서버 쿼리에 대해 각각 6.26 및 6.25를 제공했다. 이런 결과에 기반해 인텔 가우디 2는 TCO(총소유비용)면에서 중요한 고려 사항인 경쟁력있는 가성비를 지속적으로 제공하고 있다는 설명이다.