[박찬 기자]
금융과 의료 등 산업에서는 데이터를 외부 서버로 전송하지 않고 모든 작업을 로컬에서 처리해야 하는 요구가 커지고 있다. 이에 맞춘 온디바이스 AI 에이전트가 등장했다.

소형모델 전문 리퀴드 AI는 5일(현지시간) 로컬 환경에서 동작하는 AI 에이전트 모델 'LFM2‑24B‑A2B'와 데스크톱 에이전트 애플리케이션 '로컬코워크(LocalCowork)'를 공개했다.

이 시스템은 클라우드 API 없이 노트북 내부에서 AI 모델, 데이터, 도구 실행 등을 모두 처리할 수 있도록 설계됐다. 로컬코워크는 오픈소스 데스크톱 AI 에이전트로, 모든 연산이 로컬 장치에서 이뤄진다.

MCP(Model Context Protocol) 기반 도구를 활용해 다양한 업무를 수행할 수 있도록 설계됐다. 파일 시스템을 탐색하거나 필요한 정보를 검색할 수 있으며, 문서 OCR 기능을 통해 문서를 인식하고 계약서 간 내용을 비교하는 작업도 수행할 수 있다.

또 API 키 유출 여부와 같은 보안 문제를 점검하는 스캔 기능을 제공하고, 시스템 정보를 조회하는 작업도 지원한다. 감사 로그를 생성하고 규정 준수 보고서를 작성하는 기능도 포함돼 있다.

특히 모든 도구 호출 과정은 로컬 감사 로그에 기록되도록 설계돼 있어, 기업 환경에서 요구되는 추적성과 보안 관리 기준을 충족할 수 있도록 했다.

LFM2-24B-A2B 모델은 희소(sparse) 전문가 혼합(MoE) 구조를 사용한다. 총 240억 매개변수를 갖고 있지만 추론 시에는 약 20억개만 활성화된다.

이 구조 덕분에 모델은 광범위한 지식을 유지하면서도 연산 비용과 지연 시간을 크게 줄일 수 있다.

테스트는 애플 'M4 맥스' 기반 환경에서 진행됐다. 사용된 하드웨어는 36기가바이트(GB) 통합 메모리와 32개의 GPU 코어를 갖춘 시스템으로, 모델 실행 시 메모리 사용량은 약 14.5GB 수준이었다. 추론 환경은 라마-서버(llama-server)를 사용했으며, 처리 속도를 높이기 위해 플래시 어텐션(Flash Attention) 기능을 켠 상태로 설정했다.

이 환경에서 측정된 평균 도구 선택 응답 시간은 약 385밀리초(ms)였다. 이러한 성능 덕분에 에이전트는 1초 미만의 지연으로 필요한 도구를 호출할 수 있으며, 실제 업무 환경에서도 충분히 인터랙티브한 사용자 경험을 제공할 수 있는 것으로 평가된다.

리퀴드는 모델 성능을 평가하기 위해 총 100개의 단일 도구 호출 작업과 50개의 다단계 워크플로를 대상으로 테스트를 진행했다. 그 결과 단일 단계에서 적절한 도구를 선택하는 정확도는 약 80%로 나타났으며, 여러 단계를 연속으로 수행해야 하는 다단계 체인의 전체 완료율은 26%로 집계됐다.

대표적인 테스트 워크플로는 실제 업무 상황을 가정해 구성됐다. 먼저 영수증 이미지가 저장된 폴더를 검색한 뒤, OCR을 통해 이미지 속 텍스트를 추출한다. 이후 판매자, 날짜, 금액 등의 정보를 파싱하고 중복 거래 여부를 확인한다. 그다음 거래 데이터를 CSV 형식으로 정리하고 이상 거래를 탐지한 뒤, 최종적으로 PDF 형태의 정산 보고서를 생성하는 과정으로 진행된다.

이처럼 여러 단계에서 상황에 맞는 도구를 반복적으로 선택해야 하는 작업은 실제 에이전트 시스템에서 가장 어려운 영역으로 꼽힌다. 테스트에서 LFM2 모델은 각 단계를 빠르게 처리해 사용자가 즉각적인 피드백을 받을 수 있는 수준의 응답 속도를 제공한 것으로 평가됐다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

테스트 결과에 따르면 LFM2-24B-A2B는 완전히 자동화된 장기 워크플로를 독립적으로 수행하는 방식보다, 사용자와 협력하며 작업을 진행하는 '도구 디스패처' 역할에서 가장 높은 효율을 보였다.

일반적인 사용 흐름은 먼저 사용자가 요청을 입력하면 에이전트가 작업에 적합한 도구를 제안하는 방식으로 시작된다. 이후 사용자가 제안을 확인하거나 필요한 경우 수정한 뒤 도구를 실행하고, 결과를 확인하면서 다음 단계를 진행하는 구조다.

연구진에 따르면 이러한 협력형 방식에서는 중간 과정에서 오류가 발생하더라도 사용자가 바로 수정할 수 있어 수정 비용이 낮다. 이 때문에 완전 자동화 방식보다 실제 업무 환경에서 생산성에 미치는 부정적 영향이 상대적으로 작다는 설명이다.

로컬코워크는 현재 오픈소스로 공개되어 있으며 깃허브에서 확인할 수 있다.

리퀴드 AI는 "이번 공개가 단순한 데모가 아니라 실제 파일을 스캔하고 도구를 실행하는 완전한 데스크톱 애플리케이션"이라고 강조했다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>