Muitas instituições, graças à Inteligência Artificial (IA), incorporaram algoritmos em suas tomadas de decisão. Uma dessas ferramentas, conhecida como COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), tornou-se um pilar para o sistema judicial dos EUA, mas não está livre de controvérsias devido aos dados manipulados pelo algoritmo.

A missão do COMPAS é avaliar o risco de reincidência entre os réus e ajudar os juízes a decidir a sentença, a fiança e a liberdade condicional. Entretanto, várias análises mostraram um preocupante viés racial que pode estar afetando a imparcialidade das decisões judiciais.

Em 2016, uma pesquisa da ProPublica, uma organização de jornalismo sem fins lucrativos, revelou que o COMPAS tendia a superestimar o risco de reincidência entre pessoas negras, enquanto subestimava o risco para pessoas brancas. O estudo mostrou que os negros rotulados como de "alto risco" tinham quase o dobro da probabilidade de não reincidir em comparação com os brancos com a mesma classificação. Da mesma forma, os brancos rotulados como "baixo risco" tinham maior probabilidade de reincidência do que os negros classificados como "baixo risco".

Essa descoberta gerou um grande debate sobre o uso de algoritmos no sistema judiciário. Por um lado, os defensores do COMPAS argumentaram que a ferramenta era útil para os juízes por fornecer uma avaliação baseada em dados. No entanto, o trabalho da ProPublica deixou claro que o algoritmo não era imparcial.

 

Origem do viés racial

O problema da parcialidade no COMPAS tem suas raízes nos dados históricos que foram usados para treinar o algoritmo. O sistema foi alimentado com dados que refletem a discriminação racial e as desigualdades históricas no sistema judicial dos EUA. Esses dados inerentemente tendenciosos geraram um algoritmo que perpetua as próprias desigualdades que ele pretendia combater. Além disso, o COMPAS é um sistema fechado e as avaliações são confidenciais e não estão disponíveis ao público.

Um artigo da MIT Technology Review apóia essa posição, afirmando que o viés algorítmico do COMPAS está profundamente enraizado nos dados injustos que entraram em seu desenvolvimento. Essa situação tornou praticamente impossível reprojetar a ferramenta.

A influência do COMPAS não se limita ao âmbito acadêmico ou teórico. Suas avaliações afetam as decisões judiciais, por exemplo, uma pessoa classificada como de alto risco - sem que o seja - pelo algoritmo pode enfrentar uma sentença mais severa, uma fiança mais alta ou até mesmo a negação da liberdade condicional.

 

Reforma do COMPAS

A polêmica em torno do COMPAS destacou a urgência de uma reforma na forma como os algoritmos são aplicados na justiça. É necessária maior transparência para que especialistas independentes possam analisar as decisões tomadas pelo sistema e propor mudanças para melhorar sua precisão e reduzir a parcialidade.

Os legisladores também devem criar regulamentações claras que abordem o impacto da IA nas decisões judiciais. Isso inclui o estabelecimento de estruturas para auditar, corrigir e avaliar continuamente o desempenho desses algoritmos para garantir que suas decisões sejam justas.

O caso COMPAS é apenas um dos muitos exemplos de como o uso da inteligência artificial na justiça pode levar a decisões tendenciosas. Como as instituições judiciais de todo o mundo buscam se modernizar e incorporar a IA em seus processos, é essencial que o façam com cautela.

A tecnologia tem o potencial de melhorar a eficiência e a precisão da tomada de decisões judiciais, mas para que seja uma ferramenta realmente justa, deve ser livre de preconceitos e baseada em dados que reflitam a justiça. O COMPAS demonstrou que, sem o controle adequado, os algoritmos podem perpetuar os próprios vieses que pretendem eliminar.