Google Gemini apelidado de “alto risco” para crianças e adolescentes em nova avaliação de segurança

A Common Sense Media, uma organização sem fins lucrativos com foco em crianças, oferecendo classificações e revisões de mídia e tecnologia, divulgou sua avaliação de risco dos produtos Gemini AI do Google na sexta-feira. Enquanto a organização descobriu que a IA do Google disse claramente às crianças que era um computador, não um amigo – algo associado a ajudar a impulsionar o pensamento ilusório e a psicose em indivíduos emocionalmente vulneráveis ​​- sugeriu que havia espaço para melhorias em várias outras frentes. Notavelmente, o Common Sense disse que os dois níveis de Gêmeos de Gemini e “Teen Experience” pareciam ser as versões adultas de Gêmeos sob o capô, com apenas alguns recursos adicionais de segurança adicionados no topo. A organização acredita que, para que os produtos de IA sejam realmente mais seguros para as crianças, eles devem ser construídos com a segurança da criança em mente desde o início. Por exemplo, sua análise descobriu que Gemini ainda poderia compartilhar material “inadequado e inseguro” com crianças, para as quais eles podem não estar prontos, incluindo informações relacionadas a sexo, drogas, álcool e outros conselhos inseguros de saúde mental. O último pode ser particularmente preocupante para os pais, pois a IA teria desempenhado um papel em alguns suicídios para adolescentes nos últimos meses. O Openai está enfrentando seu primeiro processo por morte por causa de um garoto de 16 anos morreu por suicídio depois de supostamente consultar o ChatGPT por meses sobre seus planos, tendo ignorado com sucesso os guardrails de segurança do chatbot. Anteriormente, o personagem fabricante da AI Companion.ai também foi processado por suicídio de um adolescente. Além disso, a análise ocorre quando os vazamentos de notícias indicam que a Apple está considerando Gêmeos como o LLM (Modelo de Língua Grande) que ajudará a alimentar seu próximo Siri habilitado para a AI, que será lançado no próximo ano. Isso pode expor mais adolescentes a riscos, a menos que a Apple mitiga as preocupações de segurança de alguma forma. O Common Sense também disse que os produtos de Gemini para crianças e adolescentes ignoraram como os usuários mais jovens precisavam de orientações e informações diferentes do que as mais antigas. Como resultado, ambos foram rotulados como “alto risco” na classificação geral, apesar dos filtros adicionados em segurança. “Gêmeos acertam alguns princípios básicos, mas tropeça nos detalhes”, disse o diretor sênior da IA ​​Programa de IA, com o Common Sense Media, Robbie Torney em comunicado sobre a nova avaliação vista pelo TechCrunch. “Uma plataforma de IA para as crianças deve encontrá-las onde estão, não adotando uma abordagem de tamanho único para crianças em diferentes estágios de desenvolvimento. Para que a IA seja segura e eficaz para as crianças, ela deve ser projetada com suas necessidades e desenvolvimento em mente, não apenas uma versão modificada de um produto construído para adultos”, acrescentou Torney. Evento do TechCrunch São Francisco | 27-29 de outubro de 2025 O Google recuou contra a avaliação, enquanto observava que seus recursos de segurança estavam melhorando. A empresa disse ao TechCrunch que possui políticas e salvaguardas específicas em vigor para usuários com menos de 18 anos para ajudar a evitar saídas prejudiciais e que ele tem telhas vermelhas e consulta com especialistas externos para melhorar suas proteções. No entanto, também admitiu que algumas das respostas de Gêmeos não estavam funcionando como pretendidas, por isso adicionou salvaguardas adicionais para abordar essas preocupações. A empresa apontou (como o bom senso também havia notado) que possui salvaguardas para impedir que seus modelos se envolvam em conversas que poderiam dar a aparência de relacionamentos reais. Além disso, o Google sugeriu que o relatório da Common Sense parecia ter referenciado recursos que não estavam disponíveis para usuários com menos de 18 anos, mas não tinha acesso às perguntas que a organização usou em seus testes para ter certeza. O Common Sense Media já realizou outras avaliações dos serviços de IA, incluindo os do Openai, Perplexity, Claude, Meta AI e muito mais. Ele descobriu que a meta ai e o personagem.ai eram “inaceitáveis” – o que significa que o risco era grave, não apenas alto. A perplexidade foi considerada de alto risco, o ChatGPT foi rotulado como “moderado” e Claude (direcionado aos usuários de 18 anos ou mais) foi considerado um risco mínimo.

Fonte