Os chatbots da AI estão prendendo os usuários em espirais mentais bizarras por uma razão sombria, dizem especialistas

Os “padrões sombrios” e as opções de design de produtos são culpadas pelo fenômeno perturbador cada vez mais chamado de “psicose da IA” por profissionais de saúde mental? De acordo com alguns especialistas, a resposta é sim. Os chatbots estão puxando um grande número de pessoas para espirais mentais estranhas, nas quais a IA que soa humana convence os usuários de que desbloquearam um ser senciente ou entidade espiritual, descobriu uma conspiração de reais, ou criou um novo tipo de matemática. Batalhas, falta de moradia, compromissos involuntários e até tempo de prisão. Como o New York Times relatou pela primeira vez, um homem de 35 anos chamado Alex Taylor foi morto pela polícia depois que o chatgpt de Openai o enviou entrando em um episódio maníaco. Como jornalistas, psiquiatras e pesquisadores correram para entender esse fenômeno alarmante, os especialistas apontaram cada vez mais os recursos de design em ferramentas de IA como uma causa. O principal deles é o antropomorfismo, o que significa a escolha do design para tornar os chatbots o mais que somam o ser humano, e a bajulação, que se refere à propensão dos chatbots a permanecer agradável e obsequioso para o usuário-independentemente de o que o usuário está dizendo que o usuário é o que é o que é um rimal, o que é o que é o que é o que é um rimal, o que é o que é o que é o que é o que é o que é o que é o que é o que é o que é o que é o que é o que é o que é o que é o que é o que é o que é o que o usuário está dizendo, o que é o que é o que o usuário está dizendo. o usuário humano. Combine essas propriedades e você terá uma receita extraordinariamente sedutora para o engajamento, à medida que os usuários impactados e seus chatbots de escolha descem cada vez mais profundamente em sua ilusão compartilhada. E embora os resultados para o humano geralmente se tornem sombrios quando se enterram na toca do coelho, a empresa vê um usuário altamente engajado que está servindo um número de dados e um número extraordinário de horas enquanto mergulham no abismo. “Como é um humano lentamente insano para uma corporação?” O crítico da AI, Eliezer Yudkowsky, perguntou ao NYT em junho. “Parece um usuário mensal adicional.” Em uma entrevista recente ao TechCrunch, o antropólogo Webb Keane descreveu esse ciclo em termos inequívocos. According to Keane, sycophancy falls into a category of deceptive design choices known as “dark patterns,” in which a manipulative user interface tricks users into doing things they otherwise wouldn’t — like spending more money than they need to, for example — for the sake of the company’s financial benefit.”It’s a strategy to produce this addictive behavior, like infinite scrolling, where you just can’t put it down,” Keane told the site.AI companies — OpenAI em particular – empurraram para trás. In a recent blog post titled “What we’re optimizing ChatGPT for,” published in response to disturbing reports about AI psychosis, OpenAI declared its chatbot is designed to help its users “thrive in all the ways you want.””Our goal isn’t to hold your attention,” the company adds, “but to help you use it well.”As it probably goes without saying, it’s unlikely that OpenAI wants users to go “slowly insane,” as Yudkowsky put it, while usando seus produtos. Mas os objetivos supostos do OpenAI para o ChatGPT correm diretamente na parede de tijolos da história bem documentada do produto. Em suma, o ChatGPT era um projeto de pesquisa de anos que o OpenAI foi divulgado repentinamente na esfera pública em novembro de 2022, em meio ao que era então uma corrida armamentista em grande parte dos bastidores do Vale do Silício para se tornar o líder da IA ​​da indústria; Refletindo sobre seu lançamento em uma entrevista de março de 2023 com a MIT Technology Review, várias figuras proeminentes do Openai expressaram surpresa com o quão deslumbrado o público estava com a tecnologia, além de reconhecer que, mesmo quando ele entrou no esfera pública, seu pesquisador de chatbot era um pouco de rato, que não se disse que o pesquisador de que você não se unisse ao seu schulman. Por meio de um processo iterativo em que implantamos, recebemos feedback e refinamos, podemos produzir a tecnologia mais alinhada e capaz “, acrescentou Liam Fedus, que atualmente detém o posto de vice -presidente de pesquisa da Openai. “As our technology evolves, new issues inevitably emerge.”Tech Review journalist Will Douglas Heaven, who conducted the 2023 interview, noted that he “came away” from the conversation with the sense that OpenAI staffers were, at least at the time, “still bemused” by ChatGPT’s success — but had “grabbed the opportunity to push this technology forward, watching how millions of people are using it and trying to fix the worst problems as they come up.”All to say, O sucesso mundial da ChatGPT foi um acidente e alinhado com a histórica abordagem histórica do setor de tecnologia, como nós, a partir de novos programas e produtos. Mas o processo de design de produtos do Vale do Silício descrito pelos funcionários atuais e antigos do Openai – liberação, itera, liberar novamente e deixar o público encontrar seus próprios casos de uso – também significa que seus usuários são de fato de que a indústria de tecnologia testa o que está quebrado e o que está funcionando. Em um setor em que os números mensais dos usuários e os números de engajamento são importantes para investidores e acionistas, a capacidade de levar a atenção e a intimidade permanecem lucrativas; OpenAI is a for-profit business these days, as are Meta, Google, Anthropic, and other industry leaders — and chatbots, meanwhile, no matter how human they feel, are still products.It’s not that AI executives are sitting in a smoke-filled room, cackling as they drum up new delusions to rope users into manic episodes, the same way it’s unlikely that Facebook executives sat around with whiteboards trying to get more young women hooked on eating conteúdo de desordem. Mas, de qualquer maneira, o antropomorfismo e a bajulação, além dos recursos expandidos da memória, são realidades de design do chatgpt e outros chatbots emotivos que emergiram como uma força profundamente poderosa, moldando muitos hábitos de usuários de energia. E em casos de psicose de IA, eles parecem desempenhar um papel significativo em manter os usuários, muitos dos quais estão pagando assinantes-ou se tornam assinantes pagantes à medida que seus delírios se aprofundam-presos em espirais obsessivas e semelhantes a dependentes que acabam causando estragos em sua saúde psicológica. A questão agora é como as empresas estão corretas para as piores consequências – se estiverem dispostas ou até capazes.

Fonte