2022년 2월 1일, 미국국립사법연구원(NIJ, National Institute of Justice)은 재범 예측과 관련하여 “NIJ 재범 예측 챌린지 – 결과의 상황화(The NIJ Recidivism Forecasting Challenge: Contextualizing the Results)”라는 제목의 보고서를 발표하였다. 동 보고서에는 미국국립사법연구원이 최근 개최한 '2021 회계연도 재범예측 챌린지'에 대한 결과가 기술되었다.

미국국립사법연구원은 데이터 과학자들을 대상으로 재범 예측 챌린지를 개최하였으며, 참가자들에게 재범 예측에 필요한 데이터와 코드북을 제공하여, 관련 과학자들이 최신 지식을 기반으로 재범 방지를 위한 혁신적인 방법과 새로운 관점을 배우고, 예측을 수행하도록 하였다. 챌린지의 주요 목적은 가석방 감독 하에 있는 개인이 재범을 할 가능성에 영향을 미치는 변수를 예측하고 이해하여 공공 안전과 공정한 정의 행정을 향상하는 것이었다.

데이터 세트에는 가석방자의 성별, 인종, 나이 등 여러 변수가 포함되어 있으며, 챌린지는 주요 변수를 파악하고, 성별에 맞는 설명을 제공하며, 재범 예측에 있어 잠재적인 인종 편견을 조정함으로써 예측의 정확성과 공정성을 향상하기 위해 고안되었다. 동 보고서는 재범 예측 챌린지의 간략한 개요와 사용된 메트릭스(metrics)를 제공하고 있으며, 챌린지 우승자의 예측이 정확성과 공정성 측면에서 다른 단순한 모델들과 비교하여 어떻게 수행되었는지를 상황화(Contextualization)하였다.

참가자에게는 두 개의 데이터 세트가 제공되었다. 첫 번째는 2013년 1월 1일부터 2015년 12월 31일까지 미국 조지아주에서 석방된 약 18,000명의 가석방자에 대한 데이터였다. 첫 번째 데이터에는 인구 통계학적 특성, 가석방 감독 정보(supervision case information), 교도소 정보(prison case information), 조지아주 내에서의 이전 범죄 및 지역 사회 감독 기록, 현재 가석방 감독 활동 및 가석방 후 3년 이내 재범 여부에 대한 정보가 포함되었다. 두 번째 데이터는 가석방자가 가석방 기간 1~3년 이내에 재범할 확률을 예측하기 위한 모델을 개발하는 데 사용되는 테스트 데이터 세트였다.

챌린지의 공정성과 정확성은 정확도의 척도인 Brier 점수와 인종 그룹 간의 오차를 통해 판단되었으며, 성별 간 예측에서 오차가 가장 적었던 항목과 이 두 점수의 평균을 낸 참가자에게 상이 수여되었다. 추가적으로 단순 모델 분야 및 공정성과 정확성 분야에서 각각 우승자가 선정되었다.

미국국립사법연구원은 동 챌린지를 통해 재범 예측과 관련하여 알고리즘 개발과, 편견, 공정성, 예측 방법에 대한 전문가 간 논의를 장려하였다. 수상 결과에 대한 자세한 내용은 아래 링크를 통한 보고서 원문에서 확인할 수 있다.

https://www.ojp.gov/pdffiles1/nij/304110.pdf

재범 예측 챌린지에 대한 자세한 내용은 아래 사이트에서 확인할 수 있다.

https://nij.ojp.gov/funding/recidivism-forecasting-challenge#oo651

출처: NIJ 홈페이지, 2022년 2월 1일

https://nij.ojp.gov/library/publications/nij-recidivism-forecasting-challenge-contextualizing-results