Marisa Cruzado lleva más de dos décadas involucrada en políticas de igualdad dentro de las organizaciones. Desde el año pasado capitanea IA+IGUAL, un proyecto que analiza y verifica la ética de los algoritmos que se utilizan en el mercado laboral.
La iniciativa se basa en las recomendaciones de la Unesco sobe la ética en la inteligencia artificial y pretende alcanzar los Objetivos de Desarrollo Sostenible (ODS) para alcanzar un marco igualitario en las políticas de empleo.
Cruzado charla con Neosmart sobre la importancia de los sesgos y cómo están más metidos en el mundo de los RR.HH de lo que muchos profesionales de este ramo piensan.
- ¿Cómo surgió IA+IGUAL?
- El origen fue en el 2019, cuando todavía no se hablaba ni de inteligencia artificial ni de sesgos como está pasando ahora. Había una iniciativa de un grupo de empresas muy potente que se dedicaron a hacer un estudio sobre cómo impacta la falta de conciliación en la economía y la desigualdad entre hombres y mujeres. Estuve en un evento sobre movilidad y coincidí con la directora general de Igualdad de la Comunidad de Madrid. La Dirección General de Igualdad, con la que yo colaboraba, me pidió que ideara un proyecto enfocado al mundo de la tecnología y al ámbito de la igualdad. De ahí surgió la idea.
Yo me puse a mirar qué tendencias estaban viniendo y di con un artículo de una periodista británica que había escrito un libro sobre el tema de los sesgos en inteligencia artificial y sobre cómo se iba a perpetuar el modelo de los sesgos, porque no estábamos poniendo el foco en ese concepto y cómo eso estaba afectando al diseño de las herramientas. Le di una vuelta para pensar en cómo íbamos a supervisar la incorporación de los sesgos en la IA y vi que en esa supervisión había que hacer auditorías.
El planteamiento que les hice a la Comunidad de Madrid fue desarrollar un modelo de auditoría de algoritmos para detectar sesgos en un nicho muy concreto. Quisimos poner el foco en un ámbito crítico como es el de Recursos Humanos, donde el acceso al mercado de trabajo y los temas de igualdad son prioridad para las administraciones para ir reduciendo los gap de contratación de hombres y mujeres, el tema de las carretas STEM en las mujeres, etc. Queríamos ver cómo las herramientas de IA que se aplican en RR.HH estaban teniendo en cuenta o no los sesgos. Y de ahí nace IA+IGUAL.
Desarrollé un proyecto y busqué dos partners, uno tecnológico, que es IN2 -una empresa con la sede en Barcelona y que son desarrolladores de tecnología- y ORH -una plataforma de contenidos para RR.HH-. En cuanto a la pata de sensibilización y comunicación es de la que se encarga mi empresa, CVA. Hicimos un consorcio las tres compañías y presentamos el proyecto a un pliego del área de Innovación Social de la Comunidad de Madrid, con fondos Next Generation. De ahí nos dieron el presupuesto para llevarlo a cabo.
El pliego lo que recoge es un proyecto piloto de análisis de 10 algoritmos de inteligencia artificial aplicado a RR.HH con el objeto de detectar cómo se introducen los sesgos en todo el proceso de entrenamiento de los algoritmos y ver cómo se puede solucionar ese gap.
Y, posteriormente, traducir todo eso a un libro blanco de recomendaciones para poder desarrollar luego una norma UNE, una norma ISO o lo que corresponda. Para esa parte hemos conseguido incorporar al proyecto a la Universidad de Navarra, en concreto a DATAI, su centro de investigación en inteligencia artificial. Ellos, desde el punto de vista académico-científico, van a trasladar todo lo que estamos haciendo en la auditoría a ese libro blanco de recomendaciones.
- ¿Cuánto hay en el capital de IA+IGUAL de dinero público y privado?
- Es una subvención, con lo cual está subvencionada prácticamente al 100%. El 90% está financiado con fondos Next Generation. No obstante, están saliendo muchas cosas que tenemos que hacer y que no estaban incluidas en el pliego, por ejemplo, un estudio, eventos, webinars, etc.
- Comentabas que había 10 algoritmos. No sé si con eso te refieres a que los hay para cosas distintas como procesos de selección, desempeño, formación, despidos... ¿Cada uno de ellos tiene una función concreta?
- Lo que hay en el mundo de la IA aplicada a RR.HH.... la que denominamos generativa es relativamente nueva y se introdujo principalmente en el área de formación. Las plataformas de formación que ofrecen sus servicios a las empresas de recursos humanos utilizan esta tecnología para darle, primero, un toque innovador a los procesos, a los itinerarios (para que no sea una formación online tan aburrida), así como para la recogida y análisis y entender hasta qué punto la persona que hace un itinerario el tiempo que le dedica, qué aprende, etc.
Por otro lado, cuando se introduce la IA se hace en procesos de negocio, no en RR.HH. En el campo de los recursos humanos mayoritariamente se subcontrata y en esa subcontratación buscan soluciones que les hagan ser eficientes en todos sus procesos de negocio y, sobre todo, en procesos críticos.
La selección, que es un proceso crítico, en un momento donde está cambiando la captación de talento, donde ya no tiene tanto peso el currículum como las habilidades técnicas, en este cambio de concepto, necesitan ayuda de herramientas que busquen perfiles en nichos en los que tradicionalmente ellos no buscaban. La IA para eso es muy interesante porque es capaz de analizar mucha más información mucho más rápido y te da soluciones mucho más certeras.
Pero hay otros muchos procesos donde la IA puede ser muy útil. Por ejemplo, fuga de talento, cómo frenas tú que aquellos perfiles que son clave dentro de la organización no se te vayan. Definir las razones por las que se marchan y detectar qué perfiles dentro de tu empresa están en riesgo de que se te vayan puede ser una herramienta muy interesante para generar políticas de contención. Hay cosas como que una persona viva muy lejos de la oficina y eso le esté generando una distorsión en su vida personal y profesional. Entonces igual en ese caso debo plantearme ofrecerle más teletrabajo para que no tenga que venir todos los días. Les puedo dar pautas para esas políticas. Así, fuga de talento es el primer algoritmo que hemos desarrollado.
Luego a partir de ahí también hemos ahondado en gestión de la diversidad como cultura de la organización. También se está utilizando ahí ese tipo de herramientas, herramientas que definen la carrera profesional de las personas dentro de una organización, no solamente con itinerarios formativos. Te ayuda a establecer quién tiene que crecer en el área de gestión e ir hacia arriba con responsabilidad o quién debe seguir una carrera alternativa desde la parte de producción.
Todo eso hay soluciones ahora en el mercado que ofrecen esas herramientas para ser eficientes. La cuestión es que son empresas desarrolladoras generalmente norteamericanas, así que hay que preguntarse de dónde están extrayendo los datos para alimentar esas herramientas. Eso es lo curioso del proceso, porque el mercado norteamericano no tiene que ver con el europeo, ni en normativa oral ni en diversidad social. Hay que ver cómo se ha entrenado ese algoritmo y eso es parte del proceso de la autoría.
- ¿Entonces habéis creado ya el primer algoritmo y luego vendrán el resto o cómo estáis trabajando?
- No, ya están desarrollados. Nosotros lo que hacemos es llegar a un acuerdo con la empresa desarrolladora que está comercializando los algoritmos y ya los tiene puestos en el mercado y les decimos que les damos la oportunidad de auditarles o hacerles un seguimiento de su modelo con el caso de uso que le están dando.
Miramos cómo se ha hecho ese modelo, de dónde se han sacado los datos, cómo se han entrenado, cómo se ha llevado a cabo el análisis y decimos si detectamos algún tipo de sesgo en este proceso. Una vez que lo identificamos señalamos dónde está para que se pueda solucionar, para que respecto a esa herramienta se tenga la garantía de que funciona correctamente.
Lo que estamos haciendo es ir al mercado para ofrecerles a las empresas la oportunidad de beneficiarse de que hay fondos Next Generation metidos en el proceso y, por lo tanto, este proceso de auditoría les sale gratis. Una vez que se acabe el proyecto y que queramos seguir auditando deberemos cobrar. Tenemos hasta el verano de 2025.
Nuestro proyecto es empírico, no estamos elucubrando. Decimos "esto se está usando en esta empresa y este es el resultado que está dando".
Lo interesante es que no hay nada. No partimos de un modelo porque no hay un modelo. Como punto de partida inicial, como marco conceptual muy alejado, utilizamos el modelo de la fundación Eticas, pero es algo muy conceptual. Establece un paradigma genérico, no aplicado a recursos humanos. Es un marco de cómo debería hacerse desde un punto de vista ético una auditoría de un algoritmo. Eso ha habido que bajarlo a tierra y ajustarlo al ámbito de estudio que es RR. HH y, a partir de ahí, empezar a construir ese modelo.
- ¿Con qué desafíos os estáis encontrando por el camino?
- El principal desafío es que en un proyecto como este tan diverso gestionar dicha diversidad está resultando muy complejo. Hay que romper muchas barreras que vienen dadas por los sesgos de las propias personas que están en el proyecto.
Tenemos analistas de datos (con sus conocimientos técnicos, pero su carencia de una visión más holística), el consejo asesor que es multidisciplinar donde hay un historiador, un filósofo, un investigador de humanidades en el CSIC, un sindicalista astrofísico, una matemática, una consultora que trabaja sesgos aplicado a IA, un desarrollador de algoritmos de programación de lenguaje natural, una experta en nuevos modelos de formación, un abogado experto en protección de datos, otro experto en normativa internacional de IA...
En definitiva, en ese consejo asesor donde cada uno controla mucho de lo suyo, a excepción del desarrollador, no entienden nada de algoritmos. En esa complejidad de unir a los técnicos por un lado, a los humanistas y consultores de RR.HH por otro, a la Universidad de Navarra con su bagaje científico y académico (pero muy alejado de la realidad empresarial) y a las empresas, eso es lo que está siendo más trabajoso. Aunque tenemos que reconocer que también está resultando muy apasionante. Es fantástico poder estar recogiendo tanto conocimiento y tan diverso.
- ¿En ciertos sectores o industrias con ciertos datos históricos no resulta complicada la implementación de políticas de igualdad?
- Más que el concepto de igualdad hemos cogido el concepto de equidad, que es un matiz importante. En el histórico de los datos de donde parte el problema, puesto que los datos están sesgados y la realidad está sesgada.
Si tú no tienes conciencia de esto pueden pasar dos cosas: que no tengas el tema en cuenta y perpetúes el sesgo o que incurras en otro error, que es pensar que tienes que poner peso en un porcentaje y te guíes por tu intuición. Cualquiera de estas dos alternativas no soluciona el problema del sesgo. Por eso desde la Unión Europea se están recomendando equipos multidisciplinares y que la decisión siempre la tome un ser humano. En esto último es necesario que se compruebe cada cierto tiempo que el funcionamiento está correcto para chequear que no hay desviaciones y eso lo tienen que hacer las personas.
Por otro lado, si somos capaces de trabajar bien con una herramienta de selección y no meterle los prejuicios y sesgos que tenemos las personas respecto a según qué colectivos conseguiremos que haga de verdad una selección curricular en base a competencias, habilidades y talento del candidato, sin mirar si tiene una discapacidad, si ha cumplido condena, etc. Por eso hay que supervisar muy bien cómo se alimenta el modelo, porque puedes incorporar en el algoritmo datos que, sin ser consciente pueden perjudicar de alguna manera a un género, una edad, etc.
Imagina que le metes como requisito a los candidatos que hayan estado cotizando los últimos diez años. Pensemos en las mujeres que tienen hijos. Han pasado por partos y por bajas de maternidad. No estás siendo consciente de que las están excluyendo, pero las excluyes. El problema, además de reputacional y que te puedes ver en líos penales, es que te estás perdiendo talento muy interesante para la organización y no lo estás teniendo en cuenta. Para eso generalmente un técnico no tiene esa sensibilidad, porque no entiende cuál es la problemática del profesional de RR.HH.
- ¿Cómo encajáis la iniciativa dentro el Acta de la Inteligencia Artificial de la Unión Europea?
- La normativa, que ha sentado unas bases muy importantes para este proceso, precisamente por donde va es por la vía de la certificación. Hay que certificar estas herramientas.
Hay otro proyecto nacional. Desde el Gobierno de España, desde la Dirección General de Transformación Digital, se impulsa una iniciativa que va por la vía de la autocertificación. Nuestra tesis es que la autocertificación en IA puede estar bien cuando sean usos que se han considerado de bajo riesgo y que no aplican en el tema de RR.HH.
Lo que ha establecido la ley es que en el ámbito de RR.HH está calificado como de alto riesgo. Hay una serie de restricciones de identificación biométrica y de las emociones. Pensemos que todo ese conocimiento que nosotros trasladamos a las herramientas de IA que usamos a diario lo están usando las empresas para sus modelos algorítmicos.
En el caso del mercado laboral la cuestión de la certificación viene porque si yo soy una empresa desarrolladora y autocertifico mi herramienta y yo te digo que mi herramienta de selección de personal es ética, transparente, confiable y no tiene sesgos tú tienes que hacer un acto de fe en considerar que mi autocertificación ha sido rigurosa. Si hay un problema, como que un empleado descubre que has utilizado un algoritmo para definir su carrera profesional y no está contento con el resultado, vas a tener un buen lío como empresa. ¿A quién le pides responsabilidades?
Por eso tener un organismo certificador, un tercero que ofrezca seguridad jurídica y proporcione una norma, da mucha confianza. El problema como empresa lo puedes tener igual, pero al menos cuentas con una salvaguarda jurídica.
En el marco de la ley lo que se dice es que hay que empezar a desarrollar mecanismos que garanticen el cumplimiento de la normativa y una certificación es un procedimiento para desarrollar eso. En ese marco es donde nuestro proyecto encaja perfectamente.
- ¿Nos podéis decir sectores que estén trabajando con vosotros?
- . En el libro blanco ya explicamos que no se trata de sacarles los colores a nadie, este documento va a hablar en general de lo que se ha descubierto y cuál es el procedimiento que hay que seguir.
Están todos los sectores. Está el de consumo, hay bodegas, construcción, grandes superficies del ámbito textil, banca, seguros, etc. En estos momentos debemos ir frenando porque nuestra capacidad no es para poder hacer las 10 auditorías a la vez.
Hemos detectado que hay técnicos que nos piden auditar en RR.HH de diversas industrias. Estamos viendo que en RR.HH hay psicólogos, gente que viene de ADE, etc., pero que de inteligencia artificial no tienen ni idea.
Ahora pasa que se incorpora al departamento para todo el tema de analítica de datos a un arquitecto de datos, pero este profesional no tiene el conocimiento del ámbito de RR.HH. Él hace lo que le dicen, pero lo hace sin pararse a pensar en las implicaciones que puede tener. La problemática en RR.HH es brutal, porque no entienden ni saben cosas como que subir currículums a ChatGPT es compartir información confidencial con una herramienta pública. Esto es tan nuevo que estamos aprendiendo todos sobre la marcha.
Por otro lado, puede darse el caso de que tú estés tratando de aplicar IA a tu empresa en un proceso y quizás no tenga ningún sentido hacerlo por el sector, porque ya tengas muy solucionado lo que ya estás haciendo de otra manera, etc.
Todo ese proceso de aprendizaje es en el que están inmersos ahora los profesionales de RR.HH. Esa es la parte apasionante de lo que tiene esto. Por eso contamos con una plataforma de formación, estamos desarrollando webinars, etc.
- Contáis en vuestra web que tenéis una vertiente europea. No sé si ahora mismo estáis trabajando también con empresas de fuera de España o es algo a futuro.
- Al hacer esto en el marco de la Comunidad de Madrid tenemos que trabajar con empresas que tengan su sede fiscal en Madrid como un requisito del pliego. Pero sí estamos colaborando con BIAS. Ellos se mueven en el planteamiento teórico de cómo hacer los algoritmos.
A futuro nosotros pensábamos en orientarlo hacia Europa, pero de lo que nos estamos dando cuenta es que el campo de experimentación interesante es Latinoamérica.
Nos encontramos en conversaciones con Organización de Estados Iberoamericanos, que tienen 23 países y trabajan con gobiernos y universidades para el desarrollo de proyectos destinados a fomentar el desarrollo a través de la formación. Trabajamos con ellos en un proyecto que será de formación en estos temas para el ámbito latinoamericano, siempre en el área de RR.HH. Estas organizaciones van a tener que ponerse las pilas en IA, aunque allí de momento no haya regulación.
- Recientemente habéis presentado un estudio sobre el uso de la inteligencia artificial en RR.HH que muestra que dos de cada tres profesionales en el ramo afirman tener bajos conocimientos en la materia, pero la mitad lo ven como una oportunidad. ¿Qué retos tiene la IA generativa para estos departamentos y que otras conclusiones que ha revelado la encuesta os han sorprendido?
- La IA generativa debería usarse como un copiloto de la función de RR.HH porque te va a quitar mucho trabajo tedioso, como recopilación de información, análisis de datos, etc, y tú puedes dedicar tu tiempo a otras funciones que aportan más valor más enfocadas a toma de decisiones, tratamiento más directo de las personas, etc. Es decir, puedes focalizar en lo que es más humano y quitarte un montón de funciones y de tareas.
Hacer preguntas va a ser muy importante para que IA dé respuestas mucho más afinadas y no recibir generalidades.
Dicho esto, nos ha sorprendido mucho que los profesionales de RR.HH hayan respondido en muchos casos que no saben cómo los sesgos afectan a la contratación, que no se han parado a pensar en cómo los sesgos modifican o determinan nuestra toma de decisiones. Eso es muy sorprendente pensando que son psicólogos y gente de humanidades.