<이미지를 클릭하시면 크게 보실 수 있습니다>

정부와 지방자치단체가 앞다퉈 생성형 인공지능(AI)을 행정 전반에 도입하면서 '안전한 AI'와 '쓸 수 있는 AI' 사이의 간극이 과제로 떠올랐다.

28일 현재 정부는 범정부 초거대 AI 공통기반 사업을 통해 중앙·지방정부가 공동으로 활용할 수 있는 생성형 AI 서비스를 구축하고 있다. 서울시를 비롯해 부산시, 경기도 등 주요 광역지자체도 민원 대응과 내부 행정 지원 등을 중심으로 생성형 AI를 구축 중이다.

공공 AI 도입의 핵심은 공무원이 AI를 보안상 안전하게 사용할 수 있는 환경을 마련하는 데 있다. 이에 따라 대부분의 기관은 빅테크의 최신 거대언어모델(LLM) 대신 온프레미스나 프라이빗 환경에서 운영 가능한 경량형 거대언어모델(sLLM)을 채택하고 있다.

'챗GPT' '제미나이' '클로드' 등 최신 AI 서비스를 이미 경험한 젊은 공무원들 사이에서는 공공 AI 서비스의 결과물 완성도와 활용 범위가 제한적이라는 반응이 나온다. 내부 테스트와 시범 운영 과정에서 답변 품질에 대한 아쉬움이 공통적으로 제기되고 있다.

지자체 관계자는 “행정 AI가 현장에서 실질적인 도움이 되려면 답변 품질과 활용 범위를 더 끌어올려야 한다”며 “보안을 전제로 하되, 실제 업무에 활용 가능한 수준까지 완성도를 높이는 것이 큰 과제”라고 말했다.

공공 AI 확산의 제약 요인으로는 인프라 확보 문제도 꼽힌다. 지자체 등은 그래픽처리장치(GPU) 확보가 예산 편성의 제약을 받고 있다. 서울시는 올해 추경을 통해 GPU 1대를 도입하는 데 그치는 등 대규모 투자에는 한계가 있는 상황이다.

전문가들은 공공 AI 성과가 모델 성능만으로 결정되지 않는다며, 공공 환경에 맞는 활용 전략 가이드와 매뉴얼, 교육, 이를 전담할 조직까지 함께 뒷받침돼야 한다고 지적했다. 모델 규모가 작더라도 데이터 고도화, 검색증강생성(RAG) 등 업무 흐름에 맞게 설계될 경우 생산성을 높일 수 있다는 평가다.

나아가 업계에서는 보안 중심의 단순 구축형을 넘어 민간의 최신 AI 서비스와 함께 활용·경쟁할 수 있는 환경이 필요하다는 주장도 제기했다. 공공 부문의 '소버린 AI' 역시 보호 중심 접근에서 벗어나 경쟁 속에서 성능과 활용성을 함께 끌어올려야 한다는 것이다.

한 AI 기업 대표는 “보안을 이유로 내부 AI만 강제하는 구조에서는 성능 격차를 좁히는 데 한계가 있다”며 “외산 모델은 계속 진화하는데, 공공 AI만 고립시키면 결국 '쓸 수 없는 AI'가 될 수밖에 없다”고 지적했다. 이어 “업무 중요도에 따라 활용을 차등화하고, 가이드라인만 제시한 뒤 경쟁에 맡겨야 공공 AI도 제대로 성장할 수 있다”고 강조했다.

김명희 기자 noprint@etnews.com

[Copyright © 전자신문. 무단전재-재배포금지]