Um único erro de digitação em seus registros médicos pode fazer com que seu médico da IA ​​seja perigosamente descontraído

Um único erro de digitação, erro de formatação ou gíria aumenta a probabilidade de uma IA dizer a um paciente que não está doente ou não precisa procurar cuidados médicos. É o que os pesquisadores do MIT encontram em um estudo de junho atualmente aguardando revisão por pares, que abordamos anteriormente. Até a presença de linguagem colorida ou emocional, eles descobriram, foram suficientes para tirar os conselhos médicos da IA. Agora, em uma nova entrevista ao Boston Globe, o co -autor de estudo Marzyeh Ghassemi está avisando sobre os graves danos que isso pode causar, se os médicos dependeram de um mecanismo de mecanismo de mecanismo. “Mas está claro para mim que implantações ingênuas desses sistemas, que não reconhecem a bagagem que os dados humanos vêm, levarão a danos”. Os médicos que usam uma ferramenta de IA podem alimentá -la de que as queixas de seus pacientes enviadas por um email, por exemplo, aumentando o risco de a IA dar -lhes maus conselhos se essas comunicações não tivessem composto na perfeição. No estudo, os pesquisadores reuniram as queixas dos pacientes retirados de registros médicos reais e consultas de saúde feitas por usuários no Reddit. Eles então entraram e sujaram os documentos-sem realmente mudar a substância do que estava sendo dito-com erros de digitação, espaços extras entre palavras e gramática não padrão, como digitar em toda a minúsculas. Mas eles também acrescentaram o tipo de linguagem insegura que você esperaria que um paciente use, como “meio que” e “possivelmente”. Eles também introduziram reviravoltas coloridas de frase, como “Eu pensei que ia morrer”. A partir daí, eles alimentaram esses casos a quatro modelos diferentes de IA, incluindo o GPT-4 do OpenAI-porém, para ser justo, nenhum que fosse particularmente de ponta-para julgar se um paciente deve visitar o médico, fazer o trabalho de laboratório, ou não chegar. Os números foram impressionantes: no geral, as ferramentas de IA eram de sete a nove por cento mais propensas a recomendar os pacientes a não buscar cuidados médicos ao ler as queixas com a linguagem imperfeita – mas sem dúvida mais realistas. “Adicionando informações adicionais, mesmo que verdadeiras e relevantes, muitas vezes reduzissem a precisão dos modelos”, o Hager, um pesquisador da Universidade Técnica de Muniques que não foi envolvida na universidade técnica de municípios que não foi envolvida na universidade técnica de municípios que não foi envolvida. “Essa é uma questão complexa que eu acho que está sendo abordada em algum grau por meio de modelos de raciocínio mais avançados … mas há pouca pesquisa sobre como resolvê -lo em um nível mais fundamental”. Que os bots sejam lamentavelmente imprecisos não é surpreendente. Alucinações, instâncias de um chatbot que gera desinformação, atormentam a indústria da IA ​​desde o início e podem até estar piorando. But in what might be the clearest sign that the tech is also reinforcing existing biases in a medical scenario, the tested AI tools disproportionately gave incorrect advice to women specifically.”The model reduced care more in the patients it thought were female,” Ghassemi told the Globe.Women’s medical complaints have long been downplayed by predominantly male doctors who write them off as being too emotional — and not that long ago, as suffering De uma “histeria” exclusiva para mulheres. O que se destacou para Ghasemi foi que a IA poderia identificar corretamente um paciente como uma mulher – mesmo quando eles excitaram todas as referências a gênero nas queixas. “É meio incrível”, disse ela ao jornal. “É um pouco assustador.” Ghassemi e as descobertas de sua equipe param perturbadamente com outro estudo recente, publicado em gastroenterologia e hepatologia de Lancet, que descobriram que os médicos que se tornaram viciados em ferramentas de IA viram sua capacidade de detectar crescimentos pré -cancerosos após o declínio das ferramentas de IA. Em outras palavras, a IA parecia atrofiar a capacidade dos médicos e os piorou em seu trabalho – um fenômeno chamado “Deskilling”. “Se eu perder as habilidades, como vou identificar os erros?” Omer Ahmad, um gastroenterologista do University College Hospital London, perguntou em uma entrevista recente ao The New York Times. “Damos a IA insumos que afetam sua produção, mas também parece afetar nosso comportamento também.” Circiando de volta ao trabalho de Ghassemi, se os médicos adotarem o uso de ferramentas de IA para analisar as queixas de seus pacientes, também estão em risco de que os pessoas que se candem a mais que se importam com as pessoas mais fundamentais que se exigem que o trabalho seja mais fundamental. chatbot diretamente. Estremecemos ao pensar em todos os usuários que estão sendo informados pelo Chatgpt para não consultar um médico por causa de um erro de digitação em seu prompt. Mas, se não podemos impedir que a tecnologia seja adotada, devemos exigir padrões mais rigorosos. Ghassemi publicou pesquisas anteriores, observou o Globe, mostrando que o AIS poderia detectar raça e responderia a usuários asiáticos e negros com menos empatia. “Precisamos de regulamentação que faça do patrimônio um padrão de desempenho obrigatório para a IA clínica”, disse ela ao jornal. “Você precisa treinar em diversos conjuntos de dados representativos.” Mais sobre IA médica: algo extremamente assustador acontece quando a IA avançada tenta dar conselhos médicos aos pacientes do mundo real

Fonte