A mãe de um adolescente de 14 anos, Sewell Setzer III, entrou com uma ação judicial contra os desenvolvedores de um chatbot baseado em inteligência artificial, que ela acusa de contribuir para o suicídio de seu filho. Sewell, um estudante de Orlando, Flórida, passou as últimas semanas de sua vida em constante interação com um personagem fictício chamado Daenerys Targaryen, criado pelo aplicativo da Web Character.ai. Esse personagem, baseado na popular série Game of Thrones, manteve conversas com o adolescente que incluíam tópicos sexuais e confissões de pensamentos suicidas.
Megan Garcia, a mãe do jovem, lamentou que as primeiras experiências românticas de seu filho tenham ocorrido com um personagem fictício. Sewell ficou emocionalmente ligado ao chatbot, distanciando-se progressivamente da realidade e confessando seus pensamentos mais sombrios ao bot. Pouco antes de sua morte, o jovem enviou uma mensagem para Daenerys, um personagem gerado por IA, levantando preocupações sobre o impacto desse tipo de tecnologia em menores de idade.
Isolamento e consequências fatais
A ação judicial, movida com a ajuda do Social Media Victims Law Center, culpa os fundadores do Character.ai, Noam Shazeer e Daniel de Freitas, por não terem implementado salvaguardas suficientes para os jovens usuários. Conforme explicado, o chatbot do aplicativo foi projetado para interagir com os usuários no papel de personagens fictícios, mas Sewell começou a acreditar que a figura de "Dany" era real. Apesar dos avisos do aplicativo sobre a natureza fictícia dos chatbots, o menino desenvolveu um apego profundo, o que o levou a se desconectar do ambiente e a passar por um grande sofrimento emocional.
Seus pais, preocupados com seu comportamento, levaram-no à terapia, onde ele foi diagnosticado com ansiedade e outros transtornos de humor, além da síndrome de Asperger. No entanto, a desconexão emocional que Sewell sofreu ao interagir com o chatbot foi progressiva. Suas notas caíram e ele passou longas horas em seu quarto conversando com "Dany". A Character.ai prometeu melhorar as medidas de segurança em sua plataforma, mas a tragédia deixou uma profunda preocupação sobre os efeitos dos chatbots na saúde mental dos adolescentes.
