[박찬 기자]

<이미지를 클릭하시면 크게 보실 수 있습니다>

자기 학습과 개선을 반복하는 '자기 진화형(self-evolving) AI'가 이론을 넘어 실제 구현 단계에 진입했다. 기존 AI가 인간이 설계한 구조 안에서 성능을 높였다면, 이제는 스스로 학습 방식 자체를 바꾸며 발전하는 새로운 패러다임이 등장하고 있다.

메타 연구진은 24일(현지시간) 단순히 주어진 문제를 해결하는 것을 넘어, 자신의 학습 방식과 개선 절차 자체를 수정하며 성능을 끌어올리는 새로운 AI 아키텍처 '하이퍼에이전트(HyperAgents)'를 온라인 아카이브를 통해 공개했다. 관련 코드는 깃허브에서 제공된다.

기존 대형 언어모델(LLM) 기반 에이전트는 작업을 단계적으로 수행하고 외부 도구를 활용하는 데 강점을 보였지만, 개선 자체는 인간이 설계한 틀에 의존해 왔다. 연구진은 이러한 문제를 해결하기 위해 AI가 스스로 작업을 분해하고, 필요한 도구를 선택하며, 실행 결과를 기반으로 다음 행동을 결정하는 구조를 제안했다.

핵심은 '계획–실행–검증'의 반복 루프다. 모델은 먼저 목표를 달성하기 위한 계획을 세운 뒤, 이를 여러 단계로 나누고 각 단계에서 적절한 도구를 호출한다. 이후 결과를 평가하고 필요시 계획을 수정하는 방식으로 점진적으로 문제를 해결한다. 이는 단순 응답 생성이 아닌, 실제 작업 수행 능력을 강화하는 접근이다.

하이퍼에이전트는 기존의 한계를 극복하기 위해, '과제 수행 에이전트'와 '자기 개선 에이전트'를 하나의 시스템으로 통합했다.

기존 시스템이 정해진 방식 안에서만 발전할 수 있었다면, 하이퍼에이전트는 학습 규칙 자체를 바꾸며 스스로 발전하는 '메타인지적 자기 수정(metacognitive self-modification)' 능력까지 갖춘 것이 특징이다. 즉, 과제를 해결하는 도중에 알고리즘의 최적화 경로를 스스로 재설계하며 최선의 학습 전략을 찾아내는 것이다.

이 구조를 구현한 모델이 'DGM-하이퍼에이전트(DGM-H)'다. 단순히 더 나은 답을 찾는 것이 아니라, 더 나은 개선 방법을 찾는 과정 자체를 지속적으로 발전한다. 즉 '문제를 푸는 능력'뿐 아니라 '더 잘 배우는 능력'까지 동시에 진화하는 셈이다.

기존 'DGM(다윈-괴델 머신)'은 코드 생성 능력을 바탕으로 자신을 개선할 수 있다는 가능성을 보여줬지만, 여전히 인간이 미리 정해놓은 구조 안에서만 작동해야 한다는 한계가 있었다. 반면 DGM-H는 정체된 구조를 탈피해, 실시간으로 자신의 기능을 확장하고 외부 환경과 상호작용할 수 있는 개방형 아키텍처를 채택했다.

특히 이번 연구는 이러한 유연한 구조 위에 다양한 도구 사용 능력을 통합한 점이 특징이다. 웹 검색, 코드 실행, 데이터 분석 등 서로 다른 기능을 하나의 에이전트 시스템 안에서 유기적으로 연결함으로써, 이론에 머물렀던 자가 개선 모델을 현실적인 문제 해결이 가능한 수준으로 끌어올렸다. 이는 기존 LLM이 단일 작업에 제한됐던 한계를 넘어서는 진전으로 평가된다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

실험 결과도 주목할 만하다. 하이퍼에이전트는 코딩, 수학 문제 평가, 논문 리뷰, 로봇 제어 등 다양한 영역에서 기존 모델 대비 성능 향상을 보였다.

특히 로봇 분야에서는 단순한 전략에서 출발해 점진적으로 더 효율적인 행동 방식을 스스로 학습했으며, 학술 논문 평가에서는 다단계 심사 기준을 설계하는 등 복합적 사고 능력을 입증했다.

가장 주목할 점은 '전이 학습 능력'이다. 하이퍼에이전트는 특정 영역에서 학습한 자기 개선 전략을 다른 분야에도 적용할 수 있었으며, 이는 범용 AI로 나아가는 중요한 단계로 평가된다.

또 실행 과정에서 자체 도구를 생성하기도 했다. 성능 추적 시스템, 장기 메모리, 연산 자원 관리 기능 등을 스스로 구축해 이전 결과를 분석하고 이후 전략을 조정하는 등, 인간 개입 없이도 지속적인 개선 루프를 형성했다.

연구진은 이번 기술이 "AI가 단순히 더 나은 해답을 찾는 수준을 넘어, 더 나은 학습 방법 자체를 설계하는 단계로 나아가는 전환점"이라고 밝혔다. 또 이러한 개선 방식이 계속 쌓이고 다양한 분야에 적용될 수 있다는 점에서 "AGI로 진입하는 핵심 이정표가 될 것"이라고 강조했다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>