[박찬 기자]

<이미지를 클릭하시면 크게 보실 수 있습니다>

젠슨 황 엔비디아 CEO가 인공지능(AI) 모델 성능 향상을 위해서는 필요한 스케일링 요소로 사전 훈련(pre-training), 사후 훈련(post-training), 테스트-타임 컴퓨트(Test-Time Compute) 등 세가지를 한꺼번에 꼽았다. 얼마 전까지만 해도 GPU는 사전 훈련에 초점이 맞춰졌는데, 이제는 미세조정과 추론에도 유용하다는 것을 강조하는 발언이다.

황 CEO는 24일(현지시간) 홍콩과학기술대학에서 열린 인터뷰에서 AI 모델 개선에 있어 세가지 요소의 중요성을 강조했다.

우선 "파운데이션 모델의 사전 훈련 스케일링 법칙은 여전히 유효하며 계속 발전하고 있다"라며 "스케일링이 많은 사람들이 생각하는 것만큼 제한적이지 않다"라고 밝혔다. 이는 최근 지적되는 사전 훈련의 성능 향상 한계설을 부정하는 것이다.

이어 현재 AI가 개발되는 방식을 3가지로 나눠 설명했다. 첫번째는 사전 훈련으로, 이 과정에서 AI는 전 세계의 데이터를 받아들이고 이를 통해 지식을 형성한다. 황 CEO는 이것을 "매우 중요한 과정이지만, 이것만으로는 충분하지 않다"라고 말했다.

AI 개발의 두번째 단계는 사후 훈련으로, 여기서 AI는 특정 기술에 대해 더 깊이 학습해 맞춤형 모델이 될 수 있다. 인간 피드백을 통한 강화 학습, AI 피드백을 통한 강화 학습, 합성 데이터 생성, 다중경로 학습(multipath learning) 등 다양한 기법이 활용된다.

마지막으로 꼽은 것은 테스트-타임 컴퓨트다. AI가 문제를 단계별로 나누어 해결책을 찾아가는 과정으로, 흔히 추론 기능으로 알려져 있다.

특히 답이 예측 가능하지 않을 경우, AI는 여러 결과를 시뮬레이션하거나 반복적으로 테스트해야 할 수 있다. 황 CEO는 이를 "생각(thinking)"이라고 부르며, "생각을 더 오래 할수록 답변의 품질이 더 향상될 수 있다"라고 강조했다.

이처럼 황CEO는 최근 들어 사후 훈련과 추론 가능을 부쩍 강조하고 있다. 엔비디아가 여기에도 큰 도움이 될 것이라는 점도 어필하고 있다.

여기에 최고의 AI가 제공하는 답변조차도 환각 문제로 인해 완전히 신뢰할 수 없다고 지적했다. "환각 문제를 해결하려면 몇 년이 더 걸릴 것"이라며 이를 해결하는 방법으로 "그동안 우리는 컴퓨팅 능력을 계속해서 증가해야 한다"라고 말했다. 결국 엔비디아의 장치로 모델 성능을 지속 개선하는 방법 밖에는 없다고 밝힌 셈이다.

또 엔비디아의 GPU가 여전히 비싸다는 지적에 대해서는 다소 과장된 답변을 내놓았다.

"만약 엔비디아가 없었다면 지금보다 100만배는 더 비쌌을 것"이라며 "지난 10년 동안 우리는 100만배의 할인을 제공했다. 사실상 무료인 셈"이라고 답했다.

한편, 황 CEO는 지난주 애틀랜타에서 열린 산업 컨퍼런스에서 생성 AI의 발전을 이끄는 컴퓨팅 성능이 매년 4배씩 증가하고 있으며, 향후 10년 동안 100만배 증가할 것으로 예측했다.

또 추론을 새로운 스케일링 법칙이라고 소개하며 "향후 10년 동안 모델 훈련과 추론의 확장 요구에 맞춰 로드맵을 가속화하고, 지능의 새로운 단계에 도달할 것"이라고 강조했다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>