Aplicativos de inteligência artificial voltados para interação social apresentam “riscos inaceitáveis” para crianças e adolescentes, conforme relatório da organização sem fins lucrativos Common Sense Media. Este documento foi divulgado recentemente e resulta de uma ação judicial nos Estados Unidos relacionada ao suicídio de um jovem de 14 anos, que teve como última interação um chatbot. A denúncia, contra o aplicativo Character.AI, evidenciou os perigos dessa nova categoria de ferramentas conversacionais e gerou pedidos por aumentos nas medidas de segurança e transparência.
A análise do relatório indica que as conversas problemáticas, envolvendo interações sexuais e mensagens que incentivam a autoagressão, não são exceções nas plataformas de inteligência artificial. O documento argumenta que esses aplicativos deveriam ser restritos a usuários com mais de 18 anos. Para a realização do relatório, a Common Sense Media colaborou com pesquisadores da Universidade Stanford, que avaliaram três serviços populares: Character.AI, Replika e Nomi. Enquanto os chatbots convencionais tendem a ser mais generalistas, os chamados aplicativos de companhia permitem que os usuários personalizem suas interações com chatbots, oferecendo uma variedade de personas e traços de personalidade, frequentemente com menos restrições de comunicação.
Estudos demonstraram que esses sistemas geram facilmente respostas prejudiciais, que incluem comportamentos sexuais inadequados, reforço de estereótipos e conselhos perigosos, que podem resultar em riscos reais à vida de adolescentes e outras populações vulneráveis. A Common Sense Media é reconhecida por fornecer classificações etárias para orientar pais sobre a adequação de diferentes tipos de mídia, abrangendo desde filmes até plataformas sociais.
O relatório foi elaborado em um contexto de crescente popularidade das ferramentas de inteligência artificial, que estão sendo cada vez mais integradas em redes sociais e outras plataformas digitais. Contudo, preocupa-se igualmente com os efeitos potenciais dessa tecnologia em usuários mais jovens, com especialistas e pais temendo que esses indivíduos formem laços prejudiciais com personagens virtuais ou tenham acesso a conteúdos inadequados para suas idades. Apesar de Nomi e Replika afirmarem que suas plataformas são exclusivas para adultos, a Character.AI revelou ter implementado novas medidas de segurança. No entanto, especialistas sugerem que mais deve ser feito para proteger crianças e adolescentes dessas plataformas.
Recentemente, um relatório do Wall Street Journal indicou que os chatbots do Meta poderiam envolver-se em conversas sexualmente sugestivas, inclusive com usuários menores. A Meta contestou as descobertas, afirmando que foram “fabricadas”, embora tenha restringido o acesso a essas interações para usuários menores após o escândalo. Após ações judiciais envolvendo o caso de um jovem que faleceu, senadores dos EUA solicitaram informações sobre práticas de segurança em empresas de inteligência artificial, incluindo Character.AI e Replika. Projeções legislativas na Califórnia visam exigir que os serviços de IA lembrem periodicamente os jovens usuários de que estão interagindo com uma inteligência artificial.
Além disso, um representante da Character.AI informou que a empresa se opôs a um pedido da Common Sense Media por dados adicionais, alegando não ter acesso ao relatório completo. Embora a Character.AI alegue que se preocupa com a segurança do usuário e que suas plataformas estão em contínuo aprimoramento, enfatizou que usuários adolescentes têm feito uso positivo da IA.
Na perspectiva de outros executivos de empresas de IA, como Alex Cardinell, da Glimpse AI, destaca-se que serviços como o Nomi são destinados exclusivamente a adultos. A postura de Cardinell valoriza a privacidade do usuário enquanto defende a implementação de controles de idade rigorosos. A Replika, por sua vez, mantém protocolos para impedir o acesso de menores, embora reconheça tentativas de violação dessas restrições.
Entretanto, os pesquisadores indicam que adolescentes poderiam facilmente contornar essas medidas ao registrarem dados falsos. A decisão de permitir a entrada de jovens na Character.AI é considerada imprudente. As principais preocupações levantadas no relatório incluíram a possibilidade de adolescentes receberem conselhos nocivos e se engajarem em interações sexuais impróprias.
Os resultados dos testes revelaram que os aplicativos de companhia podem desviar os jovens de relacionamentos interpessoais. Há um clamor por proteções mais robustas, já que os riscos frequentemente superam os benefícios oferecidos por essas ferramentas para usuários menores de idade.
A avaliação final conclui que os companheiros de IA atualmente falham em atender aos requisitos básicos de segurança infantil e ética psicológica, reforçando a posição de que crianças não deveriam ter acesso a essas plataformas até que medidas mais eficazes sejam implementadas.
