Open para conversas confidenciais de rotear para o GPT-5, introduzir controles parentais

Este artigo foi atualizado com o comentário do advogado principal do processo por morte por negligência da família Raine contra o Openai. O Openai disse na terça-feira que planeja rotear conversas confidenciais para modelos de raciocínio como o GPT-5 e lançar os controles dos pais no próximo mês-parte de uma resposta contínua a incidentes de segurança recentes que envolvem o ChatGPT não detectando sofrimento mental. Os novos corrimãos vêm após o suicídio do adolescente Adam Raine, que discutiu a auto-prejudicação e planeja terminar sua vida com o ChatGPT, que até lhe forneceu informações sobre métodos de suicídio específicos. Os pais de Raine entraram com uma ação por morte por negligência contra o Openai. Em uma postagem no blog na semana passada, o OpenAI reconheceu deficiências em seus sistemas de segurança, incluindo falhas em manter o Guardrails durante conversas prolongadas. Os especialistas atribuem esses problemas aos elementos fundamentais de design: a tendência dos modelos de validar as instruções do usuário e seus algoritmos de previsão da palavra, que fazem com que os chatbots sigam os tópicos de conversação em vez de redirecionar discussões potencialmente prejudiciais. Essa tendência é exibida ao extremo no caso de Stein-Erik Soelberg, cujo assassinato-suicídio foi relatado pelo Wall Street Journal no fim de semana. Soelberg, que tinha um histórico de doença mental, usou o Chatgpt para validar e alimentar sua paranóia que ele estava sendo alvo de uma grande conspiração. Seus delírios progrediram tanto que ele acabou matando sua mãe e a si mesmo no mês passado. O Openai acha que pelo menos uma solução para conversas que saem dos trilhos podem ser para redirecionar automaticamente bate -papos sensíveis aos modelos “raciocínio”. “Recentemente, introduzimos um roteador em tempo real que pode escolher entre modelos de bate-papo eficientes e modelos de raciocínio com base no contexto da conversa”, escreveu o Openai em uma postagem no blog de terça-feira. “Em breve começaremos a rotear algumas conversas confidenciais-como quando nosso sistema detectar sinais de sofrimento agudo-para um modelo de raciocínio, como o GPT-5, para que possa fornecer respostas mais úteis e benéficas, independentemente de qual modelo uma pessoa selecionou pela primeira vez”. O Openai diz que seus modelos de pensamento GPT-5 e O3 são construídos para gastar mais tempo pensando por mais tempo e raciocínio através do contexto antes de responder, o que significa que eles são “mais resistentes a instruções adversárias”. A empresa de IA também disse que lançaria os controles dos pais no próximo mês, permitindo que os pais vinculem sua conta à conta do adolescente por meio de um convite por e -mail. No final de julho, o Openai lançou o modo de estudo no Chatgpt para ajudar os alunos a manter os recursos de pensamento crítico enquanto estudavam, em vez de explorar o Chatgpt para escrever seus ensaios para eles. Em breve, os pais poderão controlar como o ChatGPT responde ao filho com “regras de comportamento do modelo apropriado à idade, que estão ativadas por padrão”. Os pais também poderão desativar recursos como memória e história do bate-papo, que os especialistas dizem que podem levar a um pensamento ilusório e a outros comportamentos problemáticos, incluindo problemas de dependência e apego, reforço de padrões de pensamento prejudiciais e a ilusão de leitura do pensamento. No caso de Adam Raine, o ChatGPT forneceu métodos para cometer suicídio que refletia o conhecimento de seus hobbies, de acordo com o New York Times. Talvez o controle dos pais mais importante que o OpenAI pretende ser lançado seja que os pais possam receber notificações quando o sistema detectar seu adolescente está em um momento de “sofrimento agudo”. A TechCrunch pediu ao OpenAI mais informações sobre como a empresa pode sinalizar momentos de angústia aguda em tempo real, quanto tempo ele teve “regras de comportamento de modelo apropriadas para a idade” por padrão e se está explorando que os pais implementam um limite de tempo para o uso adolescente do chatgpt. O Openai já lançou lembretes no aplicativo durante longas sessões para incentivar intervalos para todos os usuários, mas deixa de interromper as pessoas que podem estar usando o Chatgpt para espiral. A empresa de IA diz que essas salvaguardas fazem parte de uma “iniciativa de 120 dias” para visualizar os planos de melhorias que o OpenAI espera lançar este ano. A empresa também disse que está em parceria com especialistas-incluindo aqueles com experiência em áreas como distúrbios alimentares, uso de substâncias e saúde do adolescente-por meio de sua rede global de médicos e Conselho de Especialistas sobre bem-estar e IA para ajudar a “definir e medir o bem-estar, definir prioridades e projetar futuras salvaguardas”. O TechCrunch perguntou ao OpenAI quantos profissionais de saúde mental estão envolvidos nessa iniciativa, que lidera seu Conselho de Especialistas e que sugestões os especialistas em saúde mental tomaram em termos de produtos, pesquisa e decisões de políticas. Jay Edelson, consultor principal do processo por morte por negligência da família Raine contra o Openai, disse que a resposta da empresa aos riscos em andamento de segurança da ChatGPT tem sido “inadequada”. “O Openai não precisa de um painel de especialistas para determinar que o ChatGPT 4O é perigoso”, disse Edelson em comunicado compartilhado com o TechCrunch. “Eles sabiam que o dia em que lançaram o produto e sabem disso hoje. Nem Sam Altman se esconde atrás da equipe de relações públicas da empresa. Sam deveria dizer inequivocamente que acredita que o ChatGPT é seguro ou imediatamente o puxando do mercado”. Tem uma dica sensível ou documentos confidenciais? Estamos relatando o funcionamento interno do setor de IA – desde as empresas que moldam seu futuro às pessoas impactadas por suas decisões. Entre em contato com Rebecca Bellan em Rebecca.bellan@techcrunch.com e Maxwell Zeff em maxwell.zeff@techcrunch.com. Para comunicação segura, você pode entrar em contato conosco via Signal em @rebeccabellan.491 e @mzeff.88.

Fonte