Marisa Cruzado está envolvida em políticas de igualdade nas organizações há mais de duas décadas. Desde o ano passado, ela é a capitã do IA+IGUAL, um projeto que analisa e verifica a ética dos algoritmos usados no mercado de trabalho.
A iniciativa se baseia nas recomendações da Unesco sobre ética em inteligência artificial e tem como objetivo atingir as Metas de Desenvolvimento Sustentável (SDGs) para alcançar uma estrutura igualitária nas políticas de emprego.
Cruzado conversa com a Neosmart sobre a importância do viés e como ele é mais difundido no mundo do RH do que muitos profissionais imaginam.
- Como surgiu a IA+IGUAL?
- A origem foi em 2019, quando ainda não se falava em inteligência artificial ou viés como está acontecendo agora. Havia uma iniciativa de um grupo muito poderoso de empresas que se dedicava a realizar um estudo sobre como a falta de equilíbrio entre vida pessoal e profissional impacta a economia e a desigualdade entre homens e mulheres. Eu estava em um evento sobre mobilidade e conheci a Diretora Geral de Igualdade da Comunidade de Madri. A Direção Geral de Igualdade, com a qual eu estava colaborando, pediu-me que criasse um projeto focado no mundo da tecnologia e no campo da igualdade. Foi daí que surgiu a ideia.
Comecei a analisar as tendências que estavam surgindo e me deparei com um artigo de um jornalista britânico que havia escrito um livro sobre a questão do preconceito na inteligência artificial e como o modelo de preconceito iria se perpetuar, porque não estávamos nos concentrando nesse conceito e como isso estava afetando o design das ferramentas. Voltei a pensar em como iríamos supervisionar a incorporação de preconceitos na IA e vi que, nessa supervisão, tínhamos de fazer auditorias.
A abordagem que adotei com a Comunidade de Madri foi desenvolver um modelo de algoritmos de auditoria para detectar vieses em um nicho muito específico. Queríamos nos concentrar em uma área crítica, como Recursos Humanos, em que o acesso ao mercado de trabalho e as questões de igualdade são uma prioridade para as administrações, a fim de reduzir a diferença entre homens e mulheres na contratação, a questão das carreiras STEM para mulheres etc. Queríamos ver como as ferramentas de IA aplicadas em RH estavam levando em conta ou não os preconceitos. E foi aí que nasceu a IA+IGUAL.
Desenvolvi um projeto e procurei dois parceiros, um tecnológico, que é a IN2 - uma empresa com sede em Barcelona e que é desenvolvedora de tecnologia - e a ORH - uma plataforma de conteúdo para RH. Minha empresa, a CVA, é responsável pelo aspecto de conscientização e comunicação. As três empresas formaram um consórcio e apresentamos o projeto a uma chamada de propostas da área de Inovação Social da Comunidade de Madri, com fundos do Next Generation. A partir daí, eles nos deram o orçamento para realizá-lo.
A proposta inclui um projeto piloto para analisar 10 algoritmos de inteligência artificial aplicados a RH, a fim de detectar como os vieses são introduzidos durante o processo de treinamento do algoritmo e verificar como essa lacuna pode ser resolvida.
E, posteriormente, traduzir tudo isso em um white paper de recomendações para que possamos desenvolver um padrão UNE, um padrão ISO ou o que corresponder. Para essa parte, conseguimos incorporar a Universidade de Navarra ao projeto, especificamente o DATAI, seu centro de pesquisa de inteligência artificial. Do ponto de vista acadêmico-científico, eles vão transferir tudo o que estamos fazendo na auditoria para esse livro branco de recomendações.
- Quanto dinheiro público e privado há no capital da IA+IGUAL?
- É um subsídio, portanto é praticamente 100% subsidiado. Noventa por cento é financiado com fundos do Next Generation. No entanto, há muitas coisas que temos de fazer que não foram incluídas na licitação, por exemplo, um estudo, eventos, webinars etc.
- Você comentou que havia 10 algoritmos. Não sei se com isso você quer dizer que existem algoritmos para coisas diferentes, como processos seletivos, desempenho, treinamento, demissões? Cada um deles tem uma função específica?
- O que existe no mundo da IA de RH.... que chamamos de IA generativa é relativamente novo e foi introduzido principalmente na área de treinamento. As plataformas de treinamento que oferecem seus serviços às empresas de RH usam essa tecnologia para dar, em primeiro lugar, um toque inovador aos processos, aos percursos (para que não seja um treinamento on-line tão monótono), bem como para coletar, analisar e entender até que ponto a pessoa está fazendo um percurso, o tempo gasto, o que ela aprende etc.
Por outro lado, quando a IA é introduzida, é nos processos de negócios, não no RH. Na área de recursos humanos, a maior parte é terceirizada e, nessa terceirização, eles estão buscando soluções que os tornem eficientes em todos os seus processos de negócios e, acima de tudo, em processos críticos.
O recrutamento, que é um processo crítico, em um momento em que o recrutamento de talentos está mudando, em que os currículos já não têm tanto peso quanto as habilidades técnicas, nessa mudança de conceito, eles precisam da ajuda de ferramentas que busquem perfis em nichos nos quais tradicionalmente não procuravam. A IA é muito interessante para isso, pois é capaz de analisar muito mais informações, com muito mais rapidez, e oferece soluções muito mais precisas.
Mas há muitos outros processos em que a IA pode ser muito útil. Por exemplo, a fuga de talentos, como impedir a saída dos perfis que são fundamentais para a organização. Definir os motivos pelos quais eles saem e detectar quais perfis de sua empresa correm o risco de sair pode ser uma ferramenta muito interessante para gerar políticas de contenção. Há coisas como uma pessoa que mora longe do escritório e isso está gerando uma distorção em sua vida pessoal e profissional. Então, nesse caso, devo considerar a possibilidade de oferecer mais teletrabalho para que ela não precise vir todos os dias. Posso lhes dar diretrizes para essas políticas. Portanto, a fuga de talentos é o primeiro algoritmo que desenvolvemos.
A partir daí, também nos aprofundamos no gerenciamento da diversidade como uma cultura organizacional. Esses tipos de ferramentas também estão sendo usados lá, ferramentas que definem as carreiras profissionais das pessoas dentro de uma organização, não apenas com itinerários de treinamento. Isso ajuda a estabelecer quem deve crescer na área de gerenciamento e subir de cargo com responsabilidade ou quem deve seguir uma carreira alternativa na área de produção.
Atualmente, há soluções no mercado que oferecem essas ferramentas para que você seja eficiente. O problema é que, em geral, são empresas de desenvolvimento norte-americanas, então você deve se perguntar onde elas estão obtendo os dados para alimentar essas ferramentas. Esse é o aspecto curioso do processo, porque o mercado norte-americano não tem nada a ver com o mercado europeu, nem em termos de regulamentações orais nem em termos de diversidade social. É preciso ver como esse algoritmo foi treinado e isso faz parte do processo de criação.
- Então vocês já criaram o primeiro algoritmo e depois virão os demais, ou como estão trabalhando?
- Não, eles já estão desenvolvidos. O que fazemos é chegar a um acordo com a empresa desenvolvedora que está comercializando os algoritmos e que já os colocou no mercado, e dizemos a ela que lhe damos a oportunidade de auditar ou monitorar seu modelo com o caso de uso que ela está fornecendo.
Analisamos como o modelo foi criado, de onde os dados foram extraídos, como foi treinado, como a análise foi realizada e dizemos se detectamos algum viés nesse processo. Quando o identificamos, apontamos onde ele está para que possa ser resolvido, de modo que, com relação a essa ferramenta, tenhamos a garantia de que ela funciona corretamente.
O que estamos fazendo é ir ao mercado para oferecer às empresas a oportunidade de se beneficiarem do fato de que há fundos da Next Generation envolvidos no processo e, portanto, esse processo de auditoria é gratuito para elas. Quando o projeto for concluído e quisermos continuar a auditoria, teremos que cobrar. Temos até o verão de 2025.
Nosso projeto é empírico, não estamos apenas supondo. Dizemos "isso está sendo usado nesta empresa e este é o resultado que está dando".
O interessante é que não há nada. Não partimos de um modelo porque não há modelo. Como ponto de partida inicial, como uma estrutura conceitual muito distante, usamos o modelo da Fundação Eticas, mas ele é muito conceitual. Ele estabelece um paradigma genérico, não aplicado aos recursos humanos. É uma estrutura de como a auditoria de um algoritmo deve ser feita do ponto de vista ético. Isso teve de ser trazido à realidade e ajustado ao campo de estudo, que é o RH, e, a partir daí, começamos a construir esse modelo.
- Que desafios vocês estão enfrentando ao longo do caminho?
- O principal desafio é que, em um projeto tão diversificado como este, o gerenciamento dessa diversidade está se mostrando muito complexo. Muitas barreiras precisam ser derrubadas devido aos preconceitos das pessoas envolvidas no projeto.
Temos analistas de dados (com seu conhecimento técnico, mas sem uma visão mais holística), o conselho consultivo, que é multidisciplinar, com um historiador, um filósofo, um pesquisador de ciências humanas do CSIC, um astrofísico, um sindicalista, um matemático, um consultor que trabalha com vieses aplicados à IA, um desenvolvedor de algoritmos de programação de linguagem natural, um especialista em novos modelos de treinamento, um advogado especialista em proteção de dados, outro especialista em regulamentações internacionais de IA...
Em suma, nesse conselho consultivo em que todos, com exceção do desenvolvedor, controlam muito de si mesmos, eles não entendem nada de algoritmos. Nessa complexidade de reunir técnicos, por um lado, humanistas e consultores de RH, por outro, a Universidade de Navarra com sua formação científica e acadêmica (mas distante da realidade empresarial) e as empresas, isso é o que está se mostrando mais difícil. Embora tenhamos que reconhecer que isso também está sendo muito empolgante. É fantástico poder reunir tanto conhecimento e tanta diversidade.
- Em determinados setores ou indústrias com determinados dados históricos, não é difícil implementar políticas de igualdade?
- Em vez do conceito de igualdade, adotamos o conceito de equidade, que é uma nuance importante. O problema está nos dados históricos, porque os dados são tendenciosos e a realidade é tendenciosa.
Se você não estiver ciente disso, duas coisas podem acontecer: você pode não levar a questão em consideração e perpetuar a distorção, ou pode cometer outro erro, que é pensar que é preciso dar peso a uma porcentagem e ser guiado por sua intuição. Qualquer uma dessas duas alternativas não resolve o problema da parcialidade. É por isso que a União Europeia está recomendando equipes multidisciplinares e que a decisão seja sempre tomada por um ser humano. No último caso, é necessário verificar de tempos em tempos se a operação está correta para verificar se não há desvios, e isso deve ser feito por pessoas.
Por outro lado, se formos capazes de trabalhar bem com uma ferramenta de seleção e não introduzirmos os preconceitos e vieses que nós, pessoas, temos em relação a determinados grupos, garantiremos que ela realmente faça uma seleção curricular com base nas competências, habilidades e talento do candidato, sem levar em conta se ele tem alguma deficiência, se já cumpriu alguma pena etc. Por esse motivo, é necessário supervisionar com muito cuidado como o modelo é alimentado, pois é possível incorporar dados ao algoritmo que, sem saber, podem prejudicar de alguma forma um gênero, uma idade etc.
Imagine que os candidatos tenham como requisito ter contribuído nos últimos dez anos. Vamos pensar nas mulheres que têm filhos. Elas passaram pelo parto e pela licença maternidade. Você não sabe que elas estão sendo excluídas, mas as exclui. O problema, além da reputação e do fato de que você pode se ver envolvido em processos criminais, é que você está perdendo talentos muito interessantes para a organização e não está levando isso em consideração. Um técnico geralmente não tem essa sensibilidade, porque não entende qual é o problema do profissional de RH.
- Como a iniciativa se encaixa na Lei de Inteligência Artificial da UE?- Como a iniciativa se encaixa na Lei de Inteligência Artificial da UE?- Como a iniciativa se encaixa na Lei de Inteligência Artificial da UE?
- O regulamento, que estabeleceu bases muito importantes para esse processo, é exatamente onde ele passa pela certificação. Essas ferramentas devem ser certificadas.
Há outro projeto nacional. O governo da Espanha, a partir da Direção Geral de Transformação Digital, está promovendo uma iniciativa que segue o caminho da autocertificação. Nossa tese é que a autocertificação em IA pode ser boa quando se trata de usos que foram considerados de baixo risco e que não se aplicam ao RH.
O que a lei estabeleceu é que, no campo de RH, ele é qualificado como de alto risco. Há uma série de restrições sobre identificação biométrica e emoções. Vamos pensar que todo o conhecimento que transferimos para as ferramentas de IA que usamos no dia a dia está sendo usado pelas empresas para seus modelos algorítmicos.
No caso do mercado de trabalho, a questão da certificação surge porque, se eu sou um desenvolvedor e autocertifico minha ferramenta e digo que minha ferramenta de recrutamento é ética, transparente, confiável e imparcial, você tem que dar um salto de fé ao considerar que minha autocertificação foi rigorosa. Se houver um problema, como um funcionário descobrir que você usou um algoritmo para definir a carreira dele e ele ficar insatisfeito com o resultado, você terá uma confusão como empresa. Quem você responsabiliza?
É por isso que ter um órgão certificador, um terceiro que ofereça segurança jurídica e forneça um padrão, dá muita confiança. Você pode ter o mesmo problema que uma empresa, mas pelo menos tem uma proteção legal.
Na estrutura da lei, o que se diz é que temos que começar a desenvolver mecanismos que garantam a conformidade com os regulamentos, e a certificação é um procedimento para desenvolver isso. É nesse ponto que nosso projeto se encaixa perfeitamente.
- Você pode nos falar sobre algum setor que esteja trabalhando com você?
- . No white paper, já explicamos que não se trata de nos exibirmos para ninguém, esse documento vai falar de modo geral sobre o que foi descoberto e qual é o procedimento a ser seguido.
Todos os setores estão envolvidos. Há o setor de consumo, há vinícolas, construção, grandes lojas de tecidos, bancos, seguradoras etc. No momento, precisamos desacelerar porque não temos capacidade para realizar todas as 10 auditorias ao mesmo tempo.
Detectamos que há técnicos que nos pedem para auditar o RH em vários setores. Estamos vendo que no RH há psicólogos, pessoas que vêm do ADE, etc., mas que não têm a menor ideia sobre inteligência artificial.
Agora acontece de um arquiteto de dados ser incorporado ao departamento para toda a questão de análise de dados, mas esse profissional não tem conhecimento da área de RH. Ele faz o que lhe mandam, mas faz sem parar para pensar nas implicações que isso pode ter. O problema no RH é brutal, porque eles não entendem e não sabem que coisas como fazer upload de currículos no ChatGPT é compartilhar informações confidenciais com uma ferramenta pública. Isso é tão novo que todos nós estamos aprendendo à medida que avançamos.
Por outro lado, pode ser que você esteja tentando aplicar IA à sua empresa em um processo e talvez não faça sentido fazê-lo por causa do setor, porque você já resolveu o que já está fazendo de outra forma, etc.
É nesse processo de aprendizado que os profissionais de RH estão imersos agora. Essa é a parte empolgante de tudo isso. É por isso que temos uma plataforma de treinamento, estamos desenvolvendo webinars e assim por diante.
- Você diz em seu site que tem um aspecto europeu. Não sei se neste momento vocês também estão trabalhando com empresas fora da Espanha ou se isso é algo para o futuro.
- Como estamos fazendo isso dentro da estrutura da Comunidade de Madri, temos que trabalhar com empresas que tenham sua sede fiscal em Madri como requisito das especificações. Mas estamos colaborando com a BIAS. Eles estão envolvidos na abordagem teórica de como criar os algoritmos.
No futuro, estávamos pensando em direcioná-lo para a Europa, mas o que estamos percebendo é que o campo interessante de experimentação é a América Latina.
Estamos em conversações com a Organização dos Estados Ibero-Americanos, que tem 23 países e trabalha com governos e universidades para desenvolver projetos destinados a promover o desenvolvimento por meio de treinamento. Estamos trabalhando com eles em um projeto que será um projeto de treinamento sobre essas questões para a América Latina, sempre na área de RH. Essas organizações terão que se organizar na IA, mesmo que não haja regulamentação no momento.
- Você apresentou recentemente um estudo sobre o uso de inteligência artificial em RH que mostra que dois em cada três profissionais da área dizem ter pouco conhecimento sobre o assunto, mas metade deles o vê como uma oportunidade. Que desafios a IA generativa representa para esses departamentos e que outras conclusões a pesquisa revelou que o surpreenderam?
- A IA generativa deve ser usada como um copiloto da função de RH, pois ela eliminará muito trabalho tedioso, como coleta de informações, análise de dados etc., e você poderá dedicar seu tempo a outras funções que agreguem mais valor, mais focadas na tomada de decisões, no tratamento mais direto das pessoas etc. Em outras palavras, você pode se concentrar no que é mais humano e eliminar muitas funções e tarefas.
Fazer perguntas será muito importante para que a IA dê respostas muito mais refinadas e não receba generalidades.
Dito isso, ficamos muito surpresos com o fato de os profissionais de RH terem respondido, em muitos casos, que não sabem como os vieses afetam a contratação, que não pararam para pensar em como os vieses modificam ou determinam nossa tomada de decisão. Isso é muito surpreendente, considerando que eles são psicólogos e pessoas da área de humanas.
