[이데일리 김현아 기자] 인공지능(AI) 면접에서 탈락했다면 그 이유를 알 수 있어야 하지 않을까. 나와 같은 연봉을 받는 친구보다 높은 금리를 적용받았다면 AI 신용평가 모델이 왜 그렇게 판단했는지 설명을 들을 수 있어야 하지 않을까.

최재식 KAIST 교수(47)는 이처럼 AI의 결정 과정을 사람이 이해할 수 있도록 설명하는 ‘설명가능한 AI(XAI)’ 분야의 선도적 연구자다. 그는 현재 KAIST XAI 연구센터장을 맡고 있다.

XAI는 기존의 블랙박스 형태 AI 모델을 투명하게 만들어 인공지능이 어떻게 판단을 내렸는지 그 근거를 사용자에게 제공하는 기술이다. 이를 통해 AI의 신뢰성과 공정성을 높이는 것이 목적이다.

특히 내년 1월 시행을 앞둔 AI 기본법은 XAI의 중요성을 더욱 부각시킨다. 해당 법에는 △공정하고 투명하며 해석 가능한 알고리즘 사용을 통해 ‘신뢰 가능한 AI’를 개발·활용해야 한다는 조항과 △AI 서비스 제공자가 사용자에게 AI의 의사결정 이유와 과정을 설명할 수 있는 정보를 제공해야 한다는 ‘사용자의 알 권리’ 보장 항목이 포함돼 있다.

AI의 판단이 일상과 삶에 실질적인 영향을 미치는 시대, 그 판단의 근거를 묻고 이해할 수 있는 권리가 이제는 법적으로도 보장받는 방향으로 나아가고 있는 셈이다.

이에 이데일리는 최재식 교수를 만나 XAI의 개발 현황과 적용가능한 분야, 기술의 미래 등을 물었다. 다음은 최재식 교수와의 일문일답이다.

[이데일리 방인권 기자] 최재식 KAIST 교수(KAIST XAI 연구센터장) 인터뷰

<이미지를 클릭하시면 크게 보실 수 있습니다>

-설명가능한 인공지능(XAI)이란 무엇입니까?

“한마디로 말하면 블랙박스처럼 내부 작동이 보이지 않던 인공지능을 화이트박스로 바꾸는 기술입니다. 마치 방사선 가속기를 이용해 물질의 내부 구조를 들여다보듯 AI 모델의 의사결정 과정을 열어 ‘무슨 일이 일어나는지’ 투명하게 보는 것이죠.”

- AI의 판단을 사람이 이해할 수 있도록 설명하는 것이 실제로 가능할까요?

“사실 나노의 세계도 우리가 직접 눈으로 본 건 아니지만 과학적으로 규명돼 있지 않습니까. AI도 마찬가지입니다. 복잡한 블랙박스 모델이 어떻게 판단했는지를 설명하기 위해 ‘지분율’이라는 개념을 사용할 수 있습니다.

AI가 어떤 결정을 내릴 때 어떤 입력값이나 특성이 그 결과에 얼마나 영향을 미쳤는지를 정량적으로 분석하는 방식입니다. 예를 들어 나와 연봉이 같은 친구의 금리가 더 낮게 나왔다면 AI는 단순히 소득 외에도 채무 상태, 부채 규모, 거래 기간 같은 여러 요소를 함께 고려했을 수 있죠. 이 지분율을 계산하려면 수천만 개에 달하는 파라미터(매개변수)가 어떤 방식으로 작동했는지를 큰 틀에서 이해해야 하기에 과정은 복잡하지만 충분히 과학적으로 접근 가능한 영역입니다.”

- 그런데 지분율을 계산하려면 AI에 입력된 데이터를 모두 알아야 하지 않습니까? 익명화된 데이터는 확인이 어려운 것 아닌가요?

“학습에 사용된 데이터를 전혀 모르는 경우는 거의 없습니다. 대부분의 경우 데이터는 존재하고 다만 이를 익명화하거나 암호화해 처리한 것일 뿐이죠. 예를 들어 익명화된 데이터를 기반으로 어떤 사람이 B등급을 받았는데, 해당 데이터의 일부 값을 바꿨더니 C등급이 나오는 경우가 있을 수 있습니다.

즉 익명화돼 있어도 AI의 결정 과정을 설명하는 것은 가능합니다. 다만 설명을 실제로 검증하는 데는 제약이 따릅니다. 그래서 설명가능한 AI는 챗GPT 같은 범용형 AI보다는 의료·금융·법률 등과 같은 ‘미션 크리티컬’ 분야에서 더 활발히 활용되고 있습니다. 신뢰성과 투명성이 중요한 분야일수록 설명 가능한 구조에 대한 요구가 훨씬 더 많습니다.”

[이데일리 방인권 기자] 최재식 KAIST 교수(KAIST XAI 연구센터장) 인터뷰

<이미지를 클릭하시면 크게 보실 수 있습니다>

- KAIST 설명가능한 AI(XAI) 연구센터에서는 어떤 기술을 개발 중이신가요?

“연구를 시작한 건 2017년 7월이었습니다. 과학기술정보통신부의 국책과제로 시작했죠. 당시엔 이 분야에 대한 인식이 부족해 주변에서 ‘사기 아니냐’는 말도 들었습니다. 어떤 교수님은 ‘너, 사람 뇌 속 뉴런이 어떻게 작동하는지 아냐?’고 묻기도 했고요. 그때는 지금처럼 트랜스포머(Transformer) 구조가 널리 쓰이기 전이었고, CNN(Convolutional Neural Networks)이 주로 활용되던 시기였는데, 이 구조의 내부 작동을 설명하기 어렵다는 분위기가 강했습니다. 저희 연구는 MIT의 앨버트 토랄바 교수와 독일 크라우스 뮐러 교수의 원천 기술 연구에서 많은 영향을 받았습니다. 이분들은 딥러닝 모델 내부의 작동 메커니즘을 규명하고, 이를 통해 신뢰성과 투명성을 확보하는 XAI 분야를 선도해 온 학자들이죠.”

- 지금은 어떤 기술을 개발하고 계십니까?

“저희는 지금 ‘플러그앤플레이 XAI(Plug-and-Play XAI)’라는 표준화된 프레임워크를 개발 중입니다. 다양한 AI 모델에 간단히 연결만 하면 곧바로 설명 가능한 형태로 바뀔 수 있도록 설계한 오픈소스 소프트웨어죠. 아직 모든 논문이 정리된 것은 아니지만, 오픈소스로 이미 공개했고 2022년부터 국책과제로 3년째 개발을 이어가고 있습니다.” (※ 최재식 교수와 연구팀은 복잡한 설정 없이도 다양한 AI 모델에 설명 가능 기능을 쉽게 적용할 수 있도록 돕는 범용 XAI 프레임워크를 개발 중이다.)

- 설명가능한 AI(XAI) 기술의 미래는 어떻게 보시나요? AI의 투명성과 신뢰성 외에 다른 장점도 있을까요?

“온디바이스 AI, 즉 AI 경량화에 기여할 수 있습니다. 설명가능한 AI(XAI)는 모델 내부의 복잡한 구조를 분석해 바깥으로 분리할 수 있는 지식은 외부로 꺼내는 방식으로 작동합니다. 이 과정을 통해 모델의 효율성을 높이고 복잡성을 줄일 수 있죠. 결과적으로 처리 속도를 높이고 메모리 사용량을 줄이는 데 기여합니다. 이는 사물인터넷(IoT) 기기나 스마트폰 같은 소형 디바이스에서도 AI가 보다 가볍고 빠르게 작동할 수 있도록 만드는 중요한 기술적 기반이 될 수 있습니다.”

◇최재식 교수는

그는 KAIST 김재철AI대학원 석좌교수이자 설명가능한 인공지능(XAI) 연구센터장이다. AI의 의사결정 과정을 사람에게 설명할 수 있도록 만드는 ‘설명가능한 AI(XAI)’ 분야의 국내 선도적 연구자로 꼽힌다. 서울대학교 컴퓨터공학 학사(2004), 미국 일리노이대학교 어바나-샴페인(UIUC) 전산학 박사 (2012), KAIST 김재철AI대학원 교수 (2019~현재, 2024년 석좌교수 임명), UNIST 전기전자컴퓨터공학부 조교수·부교수 (2013~2019), 로렌스 버클리 국립연구소 박사후연구원 및 겸임교수, 인공지능 스타트업 ㈜인이지 대표이사, 2025년부터 고려아연 사외이사, 대통령직속 디지털플랫폼정부위원회 등 다양한 정부 자문 활동 수행, 한국공학한림원 일반회원