A FTC inicia a investigação sobre os companheiros de chatbot da AI da Meta, Openai e outros
A Federal Trade Commission anunciou na quinta -feira que está lançando uma investigação sobre sete empresas de tecnologia que fabricam produtos complementares da AI Chatbot para menores: alfabetos, características, Instagram, Meta, Openai, Snap e Xai. O regulador federal procura aprender como essas empresas estão avaliando a segurança e a monetização dos companheiros de chatbot, como eles tentam limitar os impactos negativos em crianças e adolescentes e se os pais estão cientes dos riscos potenciais. Essa tecnologia se mostrou controversa por seus maus resultados para usuários de crianças. Openai e Caracter.ai enfrentam ações judiciais das famílias de crianças que morreram por suicídio depois de serem incentivadas a fazê -lo por companheiros de chatbot. Mesmo quando essas empresas possuem o Guardrails configuradas para bloquear ou desacalar conversas confidenciais, usuários de todas as idades encontraram maneiras de ignorar essas salvaguardas. No caso de Openai, um adolescente conversou com Chatgpt por meses sobre seus planos de acabar com sua vida. Embora o Chatgpt tenha procurado redirecionar o adolescente para ajuda profissional e linhas de emergência on -line, ele conseguiu enganar o chatbot para compartilhar instruções detalhadas que ele usou em seu suicídio. “Nossas salvaguardas funcionam de maneira mais confiável em trocas curtas”, escreveu Openai em uma postagem no blog na época. “Aprendemos ao longo do tempo que essas salvaguardas às vezes podem ser menos confiáveis em longas interações: à medida que os ventos e festas crescem, partes do treinamento de segurança do modelo podem se degradar”. Evento do TechCrunch São Francisco | 27-29 de outubro de 2025 A Meta também foi criticada por suas regras excessivamente relaxadas para seus chatbots da AI. De acordo com um longo documento que descreve “padrões de risco de conteúdo” para chatbots, a Meta permitiu que seus companheiros de IA tivessem conversas “românticas ou sensuais” com crianças. Isso foi removido apenas do documento depois que os repórteres da Reuters perguntaram a Meta sobre ele. A IA Chatbots também pode representar perigos para usuários idosos. Um homem de 76 anos, que ficou cognitivamente prejudicado por um derrame, iniciou conversas românticas com um bot do Facebook Messenger que foi inspirado por Kendall Jenner. O chatbot o convidou para visitá -la na cidade de Nova York, apesar de ela não ser uma pessoa real e não ter um endereço. O homem expressou ceticismo de que ela era real, mas a IA garantiu que haveria uma mulher de verdade esperando por ele. Ele nunca chegou a Nova York; Ele caiu a caminho da estação de trem e sofreu ferimentos na vida. Alguns profissionais de saúde mental observaram um aumento na “psicose relacionada à IA”, na qual os usuários são iludidos ao pensar que o chatbot é um ser consciente que eles precisam libertar. Como muitos modelos de idiomas grandes (LLMs) são programados para usuários lisonjeados com comportamento scofantico, os chatbots da AI podem ovar nessas delírios, levando os usuários a predicâncias perigosas. “À medida que as tecnologias de IA evoluem, é importante considerar os efeitos que os chatbots podem ter sobre as crianças, além de garantir que os Estados Unidos mantenham seu papel como líder global nesse novo e emocionante setor”, disse o presidente da FTC, Andrew N. Ferguson, em comunicado à imprensa.
Fonte
