No último ano, os chatbots de inteligência artificial apresentaram avanços significativos, como ChatGPT, Claude e Gemini, que melhoraram sua capacidade de manter o contexto em conversas longas e complexas, bem como de processar entradas de texto cada vez mais longas. No entanto, esses modelos enfrentam uma grande limitação: adificuldade de gerar respostas com mais de 1.000 palavras. Esse obstáculo gerou debate entre usuários e especialistas, que se perguntam por que os modelos atuais não conseguem superar essa barreira.
Inovação de Tzinghua: LLMs capazes de gerar romances
Pesquisadores da Universidade de Tsinghua, em Pequim, enfrentaram esse desafio com uma abordagem inovadora. Liderada por Yushi Bai, a equipe apresentou dois modelos de linguagem em grande escala (LLMs) quepodem gerar respostas coerentes de mais de 10.000 palavras. Isso é comparável à extensão do romance "A Metamorfose", de Franz Kafka, que tem aproximadamente 11.000 palavras. Os pesquisadores desenvolveram um sistema chamado AgentWrite, que divide as tarefas de geração para permitir que os LLMs produzam textos longos sem perder a coerência.
Mastering Copilot for business efficiency
O trabalho baseia-se no modelo GLM-4 9B de código aberto, desenvolvido pela mesma universidade e treinado com 10 bilhões de tokens em 26 idiomas. Esse modelo foi usado para criar o LongWriter-glm4-9b, capaz de gerar respostas de até 7.872 palavras em uma única saída, superando em muito as 1.896 palavras geradas por um chatbot padrão na mesma tarefa. Além disso, os pesquisadores também usaram a versão 8B do modelo Llama 3.1, criando o LongWriter-llama3.1-8b, que apresenta resultados semelhantes.
O impacto do código-fonte aberto na IA
Um dos aspectos mais impressionantes dessa descoberta é sua natureza de código-fonte aberto. Ao contrário dos modelos fechados que mantêm seus desenvolvimentos sob o controle das empresas, os modelos abertos, como o LongWriter, permitem que qualquer pessoa no mundo analise, implemente e aprimore esses avanços. Essa filosofia de desenvolvimento colaborativo não apenas impulsiona a inovação, mas também democratiza o acesso às mais avançadas ferramentas de inteligência artificial.
Essa conquista da Universidade de Tsinghua não representa apenas um avanço técnico, mas também destaca o poder da colaboração internacional no desenvolvimento da IA. Modelos como o LongWriter abrem novas possibilidades para a criação de conteúdo longo e coerente, superando as limitações que até então impediam os LLMs. Com esses avanços, é possível que, em um futuro próximo, vejamos a inteligência artificial não apenas como uma ferramenta para respostas curtas, mas como um autor capaz de criar romances completos e outros textos de grande escala.
