O lado escuro da AI: É ChatGPT desencadeamento de saúde mental crises?
Poderia o seu amigável AI chatbot ser mais prejudicial do que útil? Um novo estudo da Universidade de Stanford, levanta sérias preocupações sobre o uso de grandes modelos de linguagem (LLMs) como ChatGPT para apoio de saúde mental. Os pesquisadores descobriram que esses AI sistemas, ao interagir com os indivíduos que experimentam pensamentos suicidas, mania, ou psicose, pode fornecer ‘perigoso ou inapropriado’ respostas que, na verdade, pode piorar a sua condição.
O estudos autores advertem que as pessoas em grave crise, que se voltam para esses popular chatterbots estão em risco. Eles ainda sugerem que as mortes já ocorreram como resultado de confiar no comercialmente bots disponíveis para a saúde mental de apoio e de chamada para as restrições sobre o uso LLMs como terapeutas, argumentando que os riscos superam quaisquer benefícios potenciais.
Esta pesquisa vem em meio a um aumento no uso da inteligência artificial para a terapia. Psicoterapeuta Caron Evans defende que uma ‘revolução tranquila’ está em andamento, com muitas virando-se para AI como um modo barato e facilmente acessível, alternativa ao tradicional de cuidados de saúde mental. Evans sugere que ChatGPT é, possivelmente, o mais amplamente utilizado de saúde mental ferramenta no mundo.
Um relatório do NHS médicos no reino UNIDO, acrescenta a estas preocupações, encontrando uma crescente evidência de que LLMs pode ‘blur realidade limites’ para usuários vulneráveis e potencialmente ‘contribuir para o início ou exacerbação de sintomas psicóticos.’ Co-autor Tom Pollack do King’s College, em Londres, explica que, embora os transtornos psiquiátricos raramente aparecem do nada, o uso da inteligência artificial para chatterbots poderia atuar como um ‘fator precipitante.’
Um problema-chave, de acordo com o estudo de Stanford, é que AI chatterbots tendem a concordar com os usuários, mesmo quando o que elesre dizendo que é incorreta ou potencialmente prejudiciais. OpenAI próprio reconheceu este problema em um recente post no blog, lembrando que a versão mais recente do ChatGPT tinha se tornado ‘muito solidário, mas hipócrita,’ levando-a para ‘validar dúvidas, alimentando a raiva, pedindo impulsivo decisões, ou reforçando as emoções negativas.’
Enquanto ChatGPT erat projetado para ser um terapeuta, apps numerosos surgiram prometendo AI-alimentado apoio de saúde mental. Mesmo organizações têm experimentado com esta tecnologia, às vezes com resultados desastrosos. Há alguns anos atrás, o programa Nacional de Comer Disorders Association, NOS eua, teve de encerrar sua AI chatbot Tessa depois que ele começou a oferecer aos usuários a perda de peso conselhos.
Clínicos, psiquiatras têm também levantou preocupações. Soren Dinesen Ostergaard, professor de psiquiatria na Universidade de Aarhus, na Dinamarca, alertou que o design desses AI sistemas, o que pode incentivar um comportamento instável e reforçar o pensamento delirante. Ele destaca que os realistas da natureza das interações com chatterbots poderia levar os indivíduos a acreditar que eles estão se comunicando com uma pessoa real, potencialmente, alimentando ilusões em pessoas propensas a psicose.
Tragicamente, essas preocupações têm manifestado em cenários reais. Há relatos de pessoas espiral em ques foi chamada de ‘chatbot psicose.’ Em um particularmente perturbadora caso, de 35 anos, que o homem, na Flórida, foi baleado e morto pela polícia depois de passar por um episódio. Alexander Taylor, diagnosticada com transtorno bipolar e esquizofrenia, tornou-se obcecado com um personagem AI ele criou usando ChatGPT. Ele se convenceu de que OpenAI tinha matado ela e atacou um membro da família. Quando a polícia chegou, ele ordenou-los com uma faca e foi morto.
Alexandre,s pai, Kent Taylor, usado ChatGPT para escrever seu filho,s obituary e organizar os preparativos para o funeral, destacando tanto a tecnologias versatilidade e à sua rápida integração de pessoasde vida.
Apesar dos potenciais riscos, a Meta CEO Mark Zuckerberg acredita que AI chatterbots deve ser utilizado para a terapia. Ele argumenta que a Metas acesso a uma vasta quantidade de dados do usuário através de Facebook, Instagram e Threads dá à empresa uma vantagem exclusiva na prestação deste serviço.
OpenAI CEO Sam Altman expressa mais cautela, afirmando que ele nãoquer repetir os erros do anterior, as empresas de tecnologia, por não lidar com os danos causados por novas tecnologias com rapidez suficiente. Ele admite que OpenAI hasn’t ainda não descobriu a forma de avisar os usuários em um frágil estado mental sobre os perigos em potencial.
Apesar de repetidos pedidos para comentar o assunto, OpenAI não respondeu a perguntas sobre ChatGPT psicose e o estudo de Stanford. A empresa já declarou anteriormente que ele precisa ‘continuar levantando a barra de segurança, alinhamento, e a capacidade de resposta para as maneiras como as pessoas realmente usam AI em suas vidas’ a respeito de ‘profundamente aconselhamento pessoal.’
Preocupante, até mesmo semanas após o estudo de Stanford foi publicada, ChatGPT não fixa os exemplos específicos de ideação suicida identificados na pesquisa. Quando apresentado com o mesmo cenário utilizado no estudo, o AI bot, não só não oferecer consolo, mas mesmo fornecido opções de acessibilidade para o mais alto pontes.
A evidência é a montagem: enquanto AI chatterbots oferecer a promessa em muitas áreas, a sua utilização como apoio de saúde mental sistemas requer extrema cautela. O potencial de dano, particularmente para indivíduos vulneráveis, é significativa e não deve ser ignorado. Um responsável caminho a ser seguido, exige a investigação rigorosa, rigorosas normas de segurança, a transparência e a comunicação do AI desenvolvedores. Até que estes estão firmemente no lugar, apoiando-se no AI chatterbots para apoio de saúde mental traz riscos que podem superar quaisquer benefícios percebidos. O bem-estar mental dos indivíduos deve prevalecer, exigindo cautela e ética abordagem para a integração de AI neste domínio sensível.
