"AI 분석으로 범죄예방 시도하면 소수집단 차별 심해져"

경찰이 범죄예방 활동에 인공지능(AI) 분석을 활용하는 사례가 늘면서 소수자 집단에 대한 차별이 심해질 수 있다는 연구자들의 경고가 나왔습니다.

영국 BBC방송은 현지시간 25일 영국과학작가협회 주관 '올해의 젊은 과학 작가상'을 수상한 에세이를 소개하면서, 편향된 데이터로 학습한 AI가 기존 편견을 증폭하고 이로 인해 편향이 더 심화하되는 위험한 순환고리가 형성될 수 있다는 연구자들의 경고를 전했습니다.

AI가 과거 범죄 통계를 기반으로 향후 범죄 발생 가능성이 높은 지역을 예측하도록 하는 게 대표적 사롑니다.

AI가 과거 데이터에 의존할 수밖에 없는 상황에서 경찰이 AI가 예측한 위험 지역을 중심으로 순찰 인력을 배치하면 해당 지역은 경찰이 더 많다는 이유로 더 많은 범죄활동 적발이 이어집니다.

이후 해당 지역은 더욱 위험한 지역으로 분류됩니다.

실제로 미국 텍사스대 오스틴캠퍼스의 세라 브레인 교수는 로스앤젤레스경찰국(LAPD) 관련 연구논문에서 경찰이 범죄 예측에 빅데이터를 점점 더 많이 활용하고 있는 가운데 경찰 시스템에 입력되는 데이터가 편향돼 있다는 점을 발견했습니다.

경찰의 관심은 특히 흑인 거주 지역에 불균형하게 쏠려 있었지만, 편향된 데이터가 일단 시스템에 입력될 경우 예측이 공정하게 보이게 만든다고 브레인 교수는 지적했습니다.

뉴욕대 연구진은 조사 대상으로 삼은 미국 내 13개 지역 중 9곳에서 과거 불법적이거나 편향된 치안 활동이 이뤄진 시기의 경찰 데이터가 AI의 범죄 예방 학습에 쓰일 수 있는 상태인 것으로 나타났다고 밝혔습니다.

연구진은 이 같은 '오염된 데이터'를 AI 시스템은 걸러낼 수 없다고 평가했습니다.

전문가들은 오염된 데이터를 걸러내기 위해서는 결국 사람이 의사결정 과정에 개입해야 한다고 강조합니다.

호주 시드니대 로스쿨의 캐럴린 매케이 교수는 "치안을 수행하는 공적 기능은 인간의 감독과 검증 대상이 돼야 한다"며 AI 시스템이 인간의 편견이 담긴 데이터로 학습하면 '자기실현적 예언'이 생길 수 있다고 지적했습니다.

한편 AI는 문제를 키우는 증폭기가 아니라 해법의 일부가 될 수도 있다는 반론도 있습니다.

영국 퀸메리대에서 AI를 연구하는 디미트리오스 콜리아스 교수는 "현대의 AI 시스템은 학습 사례를 단순히 불러오거나 베끼지 않는다"며 "학습한 정보를 새로운 방식으로 조합해 학습 사례에는 명시적으로 없던 결과물과 해법을 만들어 낼 수 있다"고 설명했습니다.

다만 콜리아스 교수도 인간의 통제를 강조했습니다.

그는 "AI 시스템이 새로운 판단을 내리고 더 큰 자율성을 갖고 행동할 수 있게 될수록 시스템의 행동이 안전하고 믿을 수 있으면서도 실질적인 인간 통제 아래 있도록 해야 한다"고 강조했습니다.