[AI리포터]

딥시크가 AI 모델 최적화 기술 'mHC'를 개발했다. [사진: 셔터스톡]

<이미지를 클릭하시면 크게 보실 수 있습니다>

[디지털투데이 AI리포터] 중국 인공지능(AI) 스타트업 딥시크가 AI 모델 성능을 극대화하는 새로운 기술을 개발했다

1일(현지시간) 실리콘앵글에 따르면, 딥시크 연구진은 'mHC'(Manifold-Constrained Hyper-Connections)라는 새로운 구조를 공개했다. 기존 잔차 연결(residual connection) 메커니즘을 개선한 mHC는 학습 안정성을 높이고, 하드웨어 효율성까지 확보한 것이 특징이다.

잔차 연결은 AI 모델이 학습 오류를 수정할 때 사용되는 기법으로, 2015년 도입된 이후 대규모언어모델(LLM)과 비전 모델에서 필수 요소로 자리 잡았다. 하지만 일부 한계점이 존재해 지난해 이를 보완한 하이퍼-커넥션(Hyper-Connections) 기술이 등장했으나, 여전히 제약이 남아 있었다.

딥시크의 mHC는 하이퍼-커넥션의 단점을 보완하면서도, 다양한 수학적 구조인 다양체를 활용해 그레디언트의 안정성을 유지한다. 이를 통해 AI 모델의 학습 효율성을 극대화하며, 기존 방식보다 더 적은 메모리로 동작할 수 있도록 최적화했다.

딥시크는 30억, 90억, 270억 파라미터 규모의 대규모언어모델을 mHC로 훈련한 결과, 기존 하이퍼-커넥션 대비 8개 AI 벤치마크에서 더 높은 성능을 기록했다고 밝혔다. 또한, mHC는 기존 방식 대비 6.27% 수준의 하드웨어 부하만 발생시켜 메모리 요구량을 대폭 줄였다.

이와 관련해 딥시크는 "mHC는 최적화 및 표현 학습에서 위상 구조의 영향을 깊이 이해하는 데 기여할 것이며, 차세대 AI 아키텍처의 새로운 가능성을 열어줄 것"이라고 강조했다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>