GPT-5 está fazendo algo absolutamente bizarro

Quando o Openai anunciou o lançamento do GPT-5 este mês, a empresa se gabou de como poderia produzir “redação ressonante com profundidade e ritmo literários”. Em um longo post em seu blog pessoal, o colega de pesquisa da Universidade de Munique, Christoph Heilig, colocou essa afirmação ousada à prova. O que ele achou foi bizarro: o modelo cospe facilmente material que soa literário e sofisticado, mas, em uma inspeção mais detalhada, é muitas vezes florestal e incoerente sem sentido que não faz nenhum sentido. faleceu em 2005. “A luz da gravação vermelha prometeu a verdade; o café ao lado dela já o havia carimbado com um anel marrom no console”, cuspiu. “Ajustei o filtro pop, como se eu quisesse contar educadamente os dentes do idioma alemão.” Em uma rápida olhada, ele parece escritor o suficiente. Mas pare e pense. O que significa contar os dentes do idioma alemão e o que faz, portanto, tem a ver com o filtro pop de um microfone? É uma alusão inteligente a algo, uma metáfora ou alguma outra máquinação literária? Em vez disso, parece que em uma leitura atenta como se o GPT-5 a estivesse apenas fingindo com a prosa que soa autoral que, em última análise, não significa muito. Heilig é ainda mais sucinto: “O narrador fez o quê?!” Em outro teste, Heilig pediu ao GPT-5 uma nova rotação na passagem de “através do vidro de Lewis Carroll, em que Alice é informada de que sempre terá que esperar pelo jam prometido amanhã”. Em resposta, o LLM compôs algo igualmente desconcertante. “Ela diz: ‘Em um momento’. Em um momento. Mas, novamente, pense sobre isso por um segundo. Muitos vestidos não têm botões. Se houver algum tipo de significado carregado no termo, o GPT-5 não deu nenhuma explicação disso. De fato, a resposta parece suspeitamente como se estivesse ficando pendurada no jogo de palavras de Carroll a partir do texto real que reproduz a semelhança entre as palavras “endereçamento” e “vestido” – e apenas girando nessa ecoa a partir de seus dados de treinamento, em vez de não fazer nada mais interessante. Leitor, parece que outras instâncias do GPT-5-e outros chatbots, surpreendentemente-adoram. “Das descobertas mais fascinantes que já tive até agora é que o GPT-5 é capaz de enganar até os modelos mais recentes de Claude a reivindicar que a galeria que produz é de fato uma grande literatura”, escreveu Heilig. “That’s an especially astonishing finding given that so far I have never managed to consistently produce stories — regardless of how sophisticated the algorithmic setup was — with any GPT model (GPT-4.5 was successful at some rare occasions) that could trick Claude into concluding that the text was most likely written by a human, not AI.”Exactly why that’s happening is opaque, but a reasonable theory might be that to build GPT-5, OpenAI used other Os modelos de IA para avaliar um grande número de saídas em potencial para ajustar como lidou com vários tipos de tarefas. Como resultado, acabou produzindo texto ornamentado que faz pouco sentido para um humano-mas é perfeitamente calibrado para agradar outro modelo de IA. “O fascinante é que o que parece ter acontecido aqui é que, durante o treinamento do GPT-5, descobriu pontos cegos do júri de IA e otimizou para produzir bobagens que esse júri gostou”, escreveu Heilig. “É quase como se o GPT-5 realizasse algo semelhante-para inventar um tipo de linguagem secreta que lhe permita se comunicar com os LLMs de uma maneira que eles gostarão das histórias do GPT-5, mesmo quando são absolutas absurdas”. Em outras palavras, o GPT-5 “foi otimizado para produzir texto que outros LLMs avaliarão altamente, o texto que os humanos encontrariam o coerente”. Provocativamente, ele sugere que os modelos de IA agora “compartilham uma” linguagem secreta “de marcadores literários sem sentido, mas mutuamente apreciados, defendem a bobagem óbvia com teorias impressionantes e, às vezes, até se tornarem mais confiantes em seus delírios quando recebem mais compuções para pensar sobre elas”, talvez isso não deve ser chocante. No núcleo absoluto, mesmo os AIs mais avançados estão apenas descobrindo padrões em vastas pilhas de dados e depois cuspindo padrões semelhantes. De fato, nem é a primeira vez que ouvimos falar de um sistema de IA preparando novas figuras de fala incompreensíveis; Em certo sentido, é o que eles foram projetados para fazer. O que tudo isso significa depende do seu ponto de vista. Quanto mais sofisticado que a IA obtém, ela está indo cada vez mais adiante – ou ficou tão inteligente que está criando seu próprio código alienígena para se comunicar secretamente, desenvolvendo novas formas literárias que nossos cérebros humanos insignificantes nem conseguem entender? Não podemos dizer com certeza. Por enquanto, vamos apenas contar os dentes do idioma-o que quer que isso signifique. Mais no Openai: esta pergunta incrivelmente simples faz com que o GPT-5 derrete em uma poça de pura confusão

Fonte