OpenAI, bajo la dirección de su CEO Sam Altman, ha anunciado una colaboración con el Instituto de Seguridad de IA de EE. UU., un organismo gubernamental dedicado a evaluar y mitigar los riesgos asociados con las plataformas de inteligencia artificial. Esta asociación busca proporcionar acceso temprano a su próximo modelo de IA generativa para pruebas de seguridad. El anuncio fue realizado por Altman a través de una publicación en X el pasado jueves por la noche, aunque los detalles fueron escasos.
Este acuerdo sigue un movimiento similar con el organismo de seguridad de la IA del Reino Unido, alcanzado en junio. Ambos esfuerzos parecen destinados a contrarrestar las críticas que sugieren que OpenAI ha descuidado la seguridad de sus tecnologías en favor de desarrollar IA generativa más poderosa.
Desafíos y críticas
En mayo, OpenAI desmanteló una unidad dedicada a desarrollar controles para prevenir que sistemas de IA "superinteligentes" actúen de manera deshonesta. Informes, incluyendo algunos de fuentes internas, indicaron que OpenAI había priorizado el lanzamiento de nuevos productos sobre la investigación en seguridad, lo que llevó a la renuncia de dos líderes clave del equipo de seguridad: Jan Leike, ahora en la startup de IA Anthropic, e Ilya Sutskever, cofundador de OpenAI, quien fundó su propia empresa centrada en la seguridad, Safe Superintelligence Inc.
En respuesta a estas críticas, OpenAI se comprometió a eliminar las cláusulas restrictivas de no menosprecio que impedían a los empleados denunciar problemas y prometió crear una comisión de seguridad. Además, aseguraron dedicar el 20% de su capacidad de cómputo a la investigación de seguridad, una promesa que el equipo de seguridad disuelto nunca vio cumplida. Altman reafirmó este compromiso y anuló los términos de no menosprecio para todos los empleados en mayo.
No obstante, estos esfuerzos no lograron calmar a algunos críticos, especialmente después de que OpenAI llenó su comisión de seguridad con personal interno, incluyendo a Altman, y reasignó a un alto ejecutivo de seguridad de IA a otra organización.
Regulación de la IA
Cinco senadores, incluyendo a Brian Schatz de Hawái, expresaron sus preocupaciones sobre las políticas de OpenAI en una carta dirigida a Altman. Jason Kwon, director de estrategia de OpenAI, respondió asegurando que la empresa está comprometida con la implementación de rigurosos protocolos de seguridad en todas las etapas del desarrollo de IA.
El momento del acuerdo con el Instituto de Seguridad de la IA de EE. UU. coincide con el respaldo de OpenAI a la Ley del Futuro de la Innovación, un proyecto de ley que podría convertir al Instituto en un organismo ejecutivo con la autoridad para establecer estándares de seguridad en IA. Este movimiento podría percibirse como un intento de OpenAI de influir en la regulación a nivel federal, especialmente considerando que Altman es miembro de la Junta de Seguridad y Protección de Inteligencia Artificial del Departamento de Seguridad Nacional de EE. UU. Además, OpenAI ha incrementado significativamente su gasto en cabildeo, alcanzando los 800.000 dólares en los primeros seis meses de 2024, comparado con los 260.000 dólares de todo 2023.
