시카고 구역별 범죄 발생확률

AI, 높은 정확도 예측 불구

유색인종, 빈곤층 과잉 대표

채용시 민감정보 배제해도

성·인종 추정가능 대리지표로

‘비의도적 차별’ 만들어내

인공지능이 학습하는 데이터

차별 만연한 사회현실 반영

미래 범죄 예측으로 화제를 모았던 영화 ‘마이너리티 리포트’(2002)에서는 초능력자의 뇌를 통해 예측했지만 오늘날은 빅데이터와 인공지능(AI)이 예측을 맡는다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

2002년 개봉한 톰 크루즈 주연의 <마이너리티 리포트>는 미래 범죄 예측을 소재로 한 영화다. ‘프리크라임’이라는 시스템을 통해 범죄 장소, 시간, 인물까지 예측한다는 영화 속 상상이 현실로 다가오고 있다. 영화에서는 초능력자의 뇌를 통해 예측했지만 오늘날은 빅데이터와 인공지능(AI)이 예측을 맡는다.

지난달 2일 영국 과학전문지 <뉴사이언티스트>는 미국 시카고대 연구진이 과거 범죄 발생률 데이터를 근거로 미래 범죄가 발생할 가능성이 큰 지역을 정확하게 예측했지만, 유색인종에 대한 차별 등 인종적 편견이 작용할 수 있다고 보도했다. 인공지능을 통한 의사결정은 치안·사법·채용 등 다양한 분야로 퍼지고 있다. 자원의 효율적 배분, 사람의 자의적 판단에서 벗어난 공정한 결과에 대한 기대와 달리 알고리즘 의사결정이 성별·인종 등에 대한 차별을 강화할 수 있다는 우려가 크다.



범죄 예측을 위해 시카고대 연구진이 택한 방식은 시카고 시내를 일정한 크기로 구획한 뒤 2014~2016년 발생한 구획별 범죄 데이터를 학습시키고 학습 기간 이후의 범죄 발생률을 예측하는 것이다. 범죄보고서, 체포기록 및 번호판 이미지와 같은 데이터를 통해 일주일 내 특정 구역에서 범죄가 발생할 가능성을 예측했는데, 예측 정확도가 무려 90%였다. 치안 관련 예산이 한정되어 있고 백인 경찰의 인종차별 비판이 높은 미국에서 인공지능을 통한 범죄 예측은 편향에서 벗어난 공정한 의사결정의 대안으로 주목을 받았다.

하지만 인공지능이 작성한 목록에 시카고 내 20~29살 흑인 남성의 56%가 잠재적 범죄자로 올라 있을 정도로 인종적 편향이 심각하다는 점이 드러나면서 인공지능의 공정성이 도마 위에 올랐다. 인공지능이 학습하는 범죄 데이터의 질이 낮다는 것이 유력한 이유로 꼽힌다. 뉴욕대 인종 불평등법센터 소장인 빈센트 서덜랜드는 <워싱턴포스트> 인터뷰에서 “역사적으로 미국의 경찰 데이터는 편향되어 있다”며 범죄 관련 데이터는 유색인종과 저소득층을 과잉 대표하고, 이 데이터를 학습한 알고리즘은 이들의 범죄 가능성을 높게 예측하는 방식으로 작동해 차별이 강화된다고 말했다. 즉, 흑인이나 소수인종 거주지의 범죄율이 높다는 기존 데이터에 기반해 이 지역에 경찰력을 많이 배치하면 검문검색이 더 늘어나고 검거율도 높아진다. 데이터의 ‘자기 예언적 실현’인 셈이다. 효율적으로 보이는 알고리즘의 결과, 흑인 거주지의 범죄율은 더 높아지는 역설이 발생한다.

재범률, 가석방 결정 등에서도 알고리즘의 차별성 문제가 대두한다. 2016년 미국의 탐사보도매체 <프로퍼블리카>는 출소 후 재범 가능성을 인공지능이 제대로 예측했는지 검증한 결과, 백인은 인공지능의 예상보다 재범률이 크게 높았고 흑인은 반대였다.



기업 채용에서도 알고리즘의 차별, 편향성 논란이 불거진다. 지난 5월 미국 법률 전문매체 <내셔널 로 리뷰>에 따르면 미국에서 고용주의 약 4분의 1이 채용 과정에서 인공지능을 사용한다. 이력서 선별, 온라인 테스트 분석, 지원자의 표정, 신체 언어, 단어 선택, 면접 중 목소리 톤 평가 등을 통해 효율적이면서도 공정한 채용을 시도하고 있다지만 여성, 유색인종 배제 등 ‘비의도적’ 차별로 이어질 위험성이 있다고 보도했다.

아마존이 구직자의 이력서를 평가하기 위해 훈련해온 알고리즘이 성 차별 논란으로 2017년 개발을 중단한 것은 널리 알려진 사례다. 이 알고리즘은 연령, 성, 출신학교, 출신지 등 차별의 요소를 배제한다지만, ‘여성 체스 클럽’, ‘여성 대학’ 등 여성이 언급된 지원서를 채용 대상에서 배제하는 방식으로 성별 편향적인 결과를 보였다.



빅데이터에 기반한 알고리즘은 성별, 인종, 사회경제적 배경과 같은 민감한 변수를 배제하는 경우에도 ‘비의도적’인 차별이 나타날 수 있다. 민감 정보를 추정할 수 있는 대리지표라는 우회적 방법을 통해서다. 예컨대 구직자에게 부모 직업을 묻지 않더라도 거주지 정보, 소비 패턴, 취미 활동 등에 대한 정보를 결합해 추정해낸다. 고학수 서울대 법학전문대학원 교수는 저서 ＜AI는 차별을 인간에게서 배운다＞에서 인공지능이 학습하는 데이터가 편향, 차별이 담긴 과거의 데이터라는 점을 강조한다. 범죄 예측 도구와 같이 특정 인종, 사회경제집단을 차별하는 데이터 자체가 문제인데 일부 민감한 데이터를 배제한다고 문제가 풀리지 않는다. 인공지능의 차별은 인간으로부터 학습한 것이며 인공지능은 이를 증폭하고 지속시킬 위협이 적잖다. 차별이 만연한 사회를 방치한 채 공정한 알고리즘을 기대하기는 어렵다.

한귀영 사람과디지털연구소 연구위원 hgy4215@hani.co.kr

▶▶<한겨레>기자들이 직접 보내는 뉴스레터를 받아보세요!
▶▶동물 사랑? 애니멀피플을 빼놓곤 말할 수 없죠▶▶주말에도 당신과 함께, 한겨레 S-레터

[ⓒ한겨레신문 : 무단전재 및 재배포 금지]