Muchas instituciones han incorporado, gracias a la Inteligencia Artificial (IA) algoritmos en la toma de decisiones. Una de esas herramientas, conocida como COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), se ha convertido en un pilar para el sistema judicial estadounidense pero no ha estado exento de polémicas debido a los datos que manejaba dicho algoritmo.
La misión de COMPAS es evaluar el riesgo de reincidencia entre los acusados y ayudar a los jueces a decidir sentencias, fianzas y libertad condicional. Sin embargo, múltiples análisis han demostrado un preocupante sesgo racial que podría estar afectando la imparcialidad de las decisiones judiciales.
En 2016, una investigación realizada por ProPublica, una organización periodística sin ánimo de lucro, reveló que COMPAS tendía a sobreestimar el riesgo de reincidencia entre las personas de raza negra, mientras que subestimaba el riesgo para las personas de raza blanca. El estudio demostró que las personas negras etiquetadas como de “alto riesgo” tenían casi el doble de probabilidades de no reincidir en comparación con las personas blancas con la misma clasificación. Del mismo modo, las personas blancas etiquetadas como de “bajo riesgo” tenían más probabilidades de reincidir que las personas negras clasificadas de la misma forma.
Este hallazgo generó un gran debate sobre el uso de algoritmos en el sistema judicial. Por un lado, los defensores de COMPAS argumentaron que la herramienta era útil para los jueces al proporcionar una evaluación basada en datos. Sin embargo, el trabajo de ProPublica dejó claro que el algoritmo no era imparcial.
Origen del sesgo racial
El problema del sesgo en COMPAS tiene sus raíces en los datos históricos que se usaron para entrenar el algoritmo. El sistema se alimentó de datos que reflejaban la discriminación racial y las desigualdades históricas en el sistema judicial estadounidense. Estos datos, inherentemente sesgados, generaron un algoritmo que perpetúa las mismas desigualdades que pretendía combatir. Además, COMPAS es un sistema cerrado y las evaluaciones son confidenciales y no están disponibles para el público.
Un artículo en MIT Technology Review respalda esta postura, afirmando que el sesgo algorítmico en COMPAS está profundamente arraigado en los datos injustos que se utilizaron para su desarrollo. Esta situación ha hecho que sea prácticamente imposible rediseñar la herramienta.
La influencia de COMPAS no se limita al ámbito académico o teórico. Sus evaluaciones afectan a las decisiones judiciales, por ejemplo, una persona clasificada como de alto riesgo -sin serlo- por el algoritmo podría enfrentarse a una sentencia más severa, mayores fianzas o incluso la denegación de la libertad condicional.
Reformar COMPAS
La controversia en torno a COMPAS ha puesto en evidencia la urgencia de una reforma en la manera en que se aplican los algoritmos en la justicia. Se necesita una mayor transparencia para que los expertos independientes puedan revisar las decisiones tomadas por el sistema y proponer cambios que mejoren su precisión y reduzcan el sesgo.
Asimismo, los legisladores deben crear regulaciones claras que aborden el impacto de la IA en las decisiones judiciales. Esto incluye establecer marcos para auditar, corregir y evaluar continuamente el desempeño de estos algoritmos para asegurar que sus decisiones sean justas.
El caso de COMPAS es solo uno de los muchos ejemplos de cómo el uso de la inteligencia artificial en la justicia puede acabar en decisiones sesgadas. A medida que las instituciones judiciales en todo el mundo buscan modernizarse e incorporar la IA en sus procesos, es esencial que lo hagan con precaución.
La tecnología tiene el potencial de mejorar la eficiencia y precisión en la toma de decisiones judiciales, pero para que sea una herramienta realmente justa, debe estar libre de sesgo y basada en datos que reflejen equidad. COMPAS ha demostrado que, sin un control adecuado, los algoritmos pueden perpetuar los mismos prejuicios que pretenden eliminar.
