Pesquisas recentes revelaram a persistência de preconceitos raciais e de gênero em sistemas avançados de inteligência artificial (IA), como o ChatGPT. De acordo com um estudo exclusivo publicado pela MIT Technology Review, descobriu-se que os modelos de linguagem ampla (LLMs) manifestam padrões de discriminação ao gerar respostas condicionadas ao nome do usuário. Esses vieses, presentes em aproximadamente 0,1% das interações, refletem um problema sistêmico mais amplo relacionado à dependência de dados tendenciosos durante o treinamento de IA.
O estudo aponta que os vieses em sistemas de IA, como o ChatGPT, estão amplamente enraizados nos dados usados para treinar esses modelos. Durante o processo de treinamento, os modelos de linguagem são alimentados com informações de milhões de textos, incluindo livros, sites e redes sociais. Como consequência, as tendências inerentes a esses textos também são internalizadas pelos modelos e, embora tenham sido feitos esforços significativos para filtrar o conteúdo inadequado, a remoção completa dessas tendências sutis continua sendo um desafio complexo.
Em particular, observou-se que nomes com conotações étnicas específicas geralmente levam a respostas menos precisas ou carregadas de estereótipos. Por exemplo, nomes associados a determinadas etnias tendem a desencadear respostas mais negativas ou menos detalhadas em comparação com nomes considerados culturalmente “neutros” ou pertencentes a grupos majoritários. Da mesma forma, nomes considerados femininos foram identificados como provocando respostas com um tom diferente, muitas vezes condescendente, em comparação com nomes masculinos.
Preconceitos na IA
A presença de preconceitos nos sistemas de IA tem implicações profundas tanto em nível social quanto tecnológico. Em primeiro lugar, o uso de modelos de linguagem que incorporam preconceitos discriminatórios não apenas perpetua as desigualdades existentes, mas também tem o potencial de ampliá-las. Isso é particularmente preocupante devido ao uso crescente da IA em processos automatizados de tomada de decisões, como recrutamento, avaliação de crédito ou fornecimento de serviços públicos.
Em um contexto comercial, em que as empresas dependem de modelos como o ChatGPT para interagir com os usuários, os preconceitos raciais e de gênero podem levar a experiências desiguais. Na área de recrutamento, por exemplo, se o sistema discriminar com base no nome de um candidato, isso poderá limitar suas oportunidades de emprego. Da mesma forma, as empresas que usam IA para fornecer suporte ao cliente podem estar fornecendo uma qualidade de serviço desigual com base na identidade percebida dos usuários, o que pode levar a um tratamento discriminatório e a uma menor satisfação do cliente.
A OpenAI, desenvolvedora do ChatGPT, tomou várias medidas para reduzir os vieses presentes em seus modelos de linguagem. De acordo com o artigo da MIT Technology Review, estão sendo feitos esforços contínuos para ajustar os dados de treinamento e aplicar mecanismos de moderação mais sofisticados para identificar e corrigir respostas discriminatórias. Entretanto, os especialistas reconhecem que a erradicação total desses vieses é extremamente difícil devido à natureza complexa dos dados e dos modelos de IA.
Uma estratégia fundamental para atenuar os vieses tem sido a intervenção humana no ajuste do modelo. Por meio de uma técnica conhecida como Reinforcement Learning from Human Feedback (RLHF), os desenvolvedores procuram ensinar o modelo a evitar respostas tendenciosas por meio da intervenção de avaliadores humanos. Entretanto, essa abordagem tem suas limitações, pois os próprios avaliadores podem ter tendências inconscientes, dificultando a obtenção de neutralidade absoluta no sistema.
O problema da parcialidade na IA não se limita apenas ao ChatGPT, mas representa um desafio sistêmico para o setor de tecnologia como um todo. À medida que os sistemas de IA se tornam mais difundidos na sociedade, intensifica-se o debate sobre como garantir que esses sistemas sejam justos, equitativos e não discriminatórios. As empresas de tecnologia estão sob crescente pressão para desenvolver modelos de IA que não sejam apenas precisos e eficientes, mas que também respeitem os princípios de igualdade e justiça.
Para avançar em direção a uma IA mais inclusiva, é fundamental que os desenvolvedores adotem uma abordagem consciente e ética durante o projeto e o treinamento do modelo. Isso inclui a diversificação das equipes de desenvolvimento, a melhoria da qualidade dos dados de treinamento e a implementação de auditorias independentes para avaliar o desempenho dos modelos quanto a possíveis vieses.