A Meta anunciou um novo avanço na integração da inteligência artificial em seus produtos, revelando um recurso que mudará a forma como os usuários interagem com os vídeos do Reels no Instagram. Por meio do Meta AI, seu avançado sistema de inteligência artificial, os vídeos poderão traduzir e dublar automaticamente de vários idiomas para o inglês e o espanhol, sincronizando os movimentos labiais com o novo idioma. Essa mudança tem como objetivo quebrar as barreiras linguísticas e expandir o alcance dos criadores de conteúdo globalmente.

O anúncio foi feito durante o evento Meta Connect 2024, no qual foram feitas várias demonstrações da tecnologia. Um dos recursos mais notáveis é a capacidade do Meta AI de traduzir e sincronizar o áudio de um vídeo com os lábios do locutor em outro idioma, proporcionando uma experiência visual mais realista. O novo recurso já está sendo testado nos Estados Unidos e na América Latina, em uma fase inicial que permitirá que um grupo limitado de criadores de conteúdo experimente a tecnologia antes de ser implementada globalmente.

Tradução de carretéis

O desenvolvimento desse novo recurso é o produto de anos de pesquisa e aprimoramentos em inteligência artificial pela Meta. Usando seu mais recente modelo de IA, conhecido como Llama 3.2, a empresa implementou um sistema que traduz automaticamente o áudio dos vídeos do Reels, ajustando a voz do criador ao idioma selecionado. Essa tecnologia não apenas altera o idioma, mas também ajusta os movimentos labiais do locutor, melhorando a precisão e a naturalidade da tradução em relação aos métodos tradicionais de dublagem.

Por exemplo, se um criador de conteúdo gravar um vídeo em espanhol, o Meta AI poderá gerar uma versão em inglês, mantendo o tom e o estilo originais do locutor, mas com o novo idioma. Isso significa que o criador manterá sua identidade vocal, permitindo uma conexão mais autêntica com públicos de diferentes idiomas. A tecnologia também sincroniza os lábios do criador para combinar com as palavras no idioma de destino, o que melhora substancialmente a experiência visual.

Resultados

.
Durante o evento Meta Connect, foram apresentados vários exemplos de como essa tecnologia pode transformar a criação de conteúdo no Instagram. Uma das demonstrações mais notáveis veio da criadora de conteúdo Dana Buttigliero, conhecida nas mídias sociais como Flavours of the Suburbs. No vídeo, a IA traduziu para o inglês uma receita que ela apresentou em espanhol, sincronizando perfeitamente as palavras no novo idioma. Embora em alguns casos tenha havido pequenos erros na pronúncia de termos complexos, como “dulce de leche”, que foi interpretado como “dulce de leshi”, os resultados gerais foram impressionantes e sinalizaram um grande avanço na tecnologia de tradução automática.

Outro criador que participou da demonstração foi Ivan Acuna, conhecido como artificially.ia, que mostrou como a IA poderia traduzir um vídeo cheio de diálogos diretamente para a câmera. No caso dele, a sincronização labial foi notável pela fluidez do resultado, demonstrando que o Meta AI tem grande potencial para automatizar a tradução de vídeos falados com alta precisão.

Atualmente, o recurso de tradução e dublagem do Reels está em fase de testes limitados. Apenas um grupo seleto de criadores de conteúdo nos EUA e na América Latina tem acesso a essa tecnologia em sua versão inicial. Embora o Meta não tenha anunciado uma data específica para seu lançamento global, o CEO da empresa, Mark Zuckerberg, disse que planeja expandir a disponibilidade do recurso para mais países e idiomas nos próximos meses.