En el último año, los chatbots de inteligencia artificial han mostrado avances significativos, como ChatGPT, Claude y Gemini, que han mejorado su capacidad para mantener el contexto en conversaciones largas y complejas, así como para procesar entradas de texto cada vez más extensas. Sin embargo, estos modelos enfrentan una limitación importante: su dificultad para generar respuestas que superen las 1.000 palabras. Este obstáculo ha generado debate entre los usuarios y expertos, quienes se preguntan por qué los modelos actuales no pueden superar esta barrera.
La innovación de Tsinghua: LLMs capaces de generar novelas
Investigadores de la Universidad de Tsinghua en Pekín han abordado este desafío con un enfoque innovador. Liderados por Yushi Bai, el equipo ha presentado dos modelos de lenguaje de gran escala (LLM) que pueden generar respuestas coherentes de más de 10.000 palabras. Este avance es comparable a la longitud de la novela "La metamorfosis" de Franz Kafka, que tiene aproximadamente 11.000 palabras. Los investigadores han desarrollado un sistema llamado AgentWrite, que descompone las tareas de generación para permitir a los LLM producir textos extensos sin perder coherencia.
El trabajo se basa en el modelo de código abierto GLM-4 9B, desarrollado por la misma universidad y entrenado con 10 billones de tokens en 26 idiomas. Este modelo se utilizó para crear LongWriter-glm4-9b, capaz de generar respuestas de hasta 7.872 palabras en una sola salida, superando con creces las 1.896 palabras generadas por un chatbot estándar en la misma tarea. Además, los investigadores también utilizaron la versión 8B del modelo Llama 3.1, creando LongWriter-llama3.1-8b, que ofrece resultados similares.
El impacto del código abierto en la IA
Uno de los aspectos más destacados de este avance es su naturaleza de código abierto. A diferencia de los modelos cerrados que mantienen sus desarrollos bajo el control de las empresas, los modelos abiertos como LongWriter permiten que cualquier persona en el mundo analice, implemente y mejore estos avances. Esta filosofía de desarrollo colaborativo no solo impulsa la innovación, sino que también democratiza el acceso a las herramientas más avanzadas de inteligencia artificial.
Este logro de la Universidad de Tsinghua no solo representa un avance técnico, sino que también subraya el poder de la colaboración internacional en el desarrollo de la IA. Los modelos como LongWriter abren nuevas posibilidades para la creación de contenido extenso y coherente, superando las limitaciones que hasta ahora habían frenado a los LLMs. Con estos avances, es posible que en un futuro cercano veamos a la inteligencia artificial no solo como una herramienta para respuestas cortas, sino como un autor capaz de crear novelas completas y otros textos de gran envergadura.
