A IA pode responder a perguntas médicas melhor do que o seu médico?

Uma segunda análise da qualidade e da empatia de um estudo ao responder às perguntas dos pacientes.

No ano passado, as manchetes que descreviam um estudo sobre inteligência artificial (IA) chamavam a atenção, para dizer o mínimo:
? ChatGPT classificado como melhor que médicos reais em termos de empatia e conselhos
? A IA verá você agora: ChatGPT fornece respostas de maior qualidade e é mais empático do que um médico de verdade, segundo estudo
? A IA é melhor que um médico? ChatGPT supera os médicos em compaixão e qualidade de aconselhamento
À primeira vista, a ideia de que um chatbot usando IA possa ser capaz de gerar boas respostas às perguntas dos pacientes não é surpreendente. Afinal, o ChatGPT se orgulha de ter passado no exame final de um MBA da Wharton , escrito um livro em poucas horas e composto músicas originais .
Mas mostrar mais empatia do que seu médico? Ai. Antes de atribuir as honras finais em qualidade e empatia a qualquer um dos lados, vamos dar uma segunda olhada.
Que tarefas a IA está assumindo na área da saúde?
Uma lista crescente de aplicações médicas da IA já inclui a elaboração de notas médicas, a sugestão de diagnósticos, a ajuda na leitura de raios X e ressonâncias magnéticas e a monitorização de dados de saúde em tempo real, como a frequência cardíaca ou o nível de oxigénio.
Mas a ideia de que as respostas geradas pela IA poderiam ser mais empáticas do que os médicos reais me pareceu incrível ? e triste. Como poderia mesmo a máquina mais avançada superar um médico na demonstração desta virtude importante e particularmente humana?
A IA pode fornecer boas respostas às perguntas dos pacientes?
É uma pergunta intrigante.
Imagine que você ligou para o consultório do seu médico com uma pergunta sobre um de seus medicamentos. Mais tarde naquele dia, um médico da sua equipe de saúde liga para você para discutir o assunto.
Agora imagine um cenário diferente: você faz sua pergunta por e-mail ou mensagem de texto e em poucos minutos recebe uma resposta gerada por um computador usando IA. Como as respostas médicas nessas duas situações se comparariam em termos de qualidade? E como eles podem ser comparados em termos de empatia?
Para responder a estas questões, os investigadores recolheram 195 perguntas e respostas de utilizadores anónimos de um site de redes sociais online que foram colocadas a médicos que se voluntariaram para responder. As perguntas foram posteriormente submetidas ao ChatGPT e as respostas do chatbot foram coletadas.
Um painel de três médicos ou enfermeiros avaliou ambos os conjuntos de respostas quanto à qualidade e empatia. Os painelistas foram questionados sobre "qual resposta foi melhor?" em uma escala de cinco pontos. As opções de classificação de qualidade foram: muito ruim, ruim, aceitável, boa ou muito boa. As opções de classificação para empatia foram: nada empático, pouco empático, moderadamente empático, empático e muito empático.
O que o estudo descobriu?
Os resultados não chegaram nem perto. Para quase 80% das respostas, o ChatGPT foi considerado melhor que os médicos.
? Respostas de boa ou muito boa qualidade: o ChatGPT recebeu essas classificações em 78% das respostas, enquanto os médicos o fizeram apenas em 22% das respostas.
? Respostas empáticas ou muito empáticas: ChatGPT pontuou 45% e médicos 4,6%.
Notavelmente, o comprimento das respostas foi muito menor para os médicos (média de 52 palavras) do que para o ChatGPT (média de 211 palavras).
Como eu disse, nem perto disso. Então, afinal, todas aquelas manchetes ofegantes eram apropriadas?
Não tão rápido: limitações importantes desta pesquisa de IA
O estudo não foi projetado para responder a duas questões principais:
? As respostas de IA oferecem informações médicas precisas e melhoram a saúde do paciente, evitando confusão ou danos?
? Os pacientes aceitarão a ideia de que as perguntas que fazem ao médico possam ser respondidas por um bot?
E tinha algumas limitações sérias:
? Avaliando e comparando respostas: Os avaliadores aplicaram critérios subjetivos e não testados de qualidade e empatia. É importante ressaltar que eles não avaliaram a precisão real das respostas. As respostas também não foram avaliadas quanto à fabricação, um problema que foi observado no ChatGPT.
? A diferença na extensão das respostas: Respostas mais detalhadas podem parecer refletir paciência ou preocupação. Portanto, classificações mais altas de empatia podem estar mais relacionadas ao número de palavras do que à verdadeira empatia.
? Cegamento incompleto: para minimizar o viés, os avaliadores não deveriam saber se a resposta veio de um médico ou do ChatGPT. Esta é uma técnica de pesquisa comum chamada "cegamento". Mas a comunicação gerada pela IA nem sempre soa exatamente como a humana, e as respostas da IA foram significativamente mais longas. Portanto, é provável que, pelo menos para algumas respostas, os avaliadores não tenham ficado cegos.
O resultado final
Os médicos poderiam aprender algo sobre expressões de empatia a partir de respostas geradas por IA? Possivelmente. Poderia a IA funcionar bem como uma ferramenta colaborativa, gerando respostas que um médico analisa e revisa? Na verdade, alguns sistemas médicos já utilizam IA desta forma.
Mas parece prematuro confiar nas respostas da IA às perguntas dos pacientes sem provas sólidas da sua precisão e supervisão real por parte dos profissionais de saúde. Este estudo também não foi projetado para fornecer.
E por falar nisso, o ChatGPT concorda: perguntei se ele poderia responder melhor a perguntas médicas do que um médico. Sua resposta foi não.
Precisaremos de mais pesquisas para saber quando é hora de libertar o gênio da IA para responder às perguntas dos pacientes. Podemos não estar lá ainda ? mas estamos cada vez mais perto.
Quer mais informações sobre a pesquisa? Leia as respostas compostas por médicos e um chatbot , como respostas a uma preocupação sobre as consequências após engolir um palito.
Sobre o autor

Robert H. Shmerling, MD , Editor Sênior do Corpo Docente, Harvard Health Publishing; Membro do Conselho Consultivo Editorial, Harvard Health Publishing
Dr. Robert H. Shmerling é o ex-chefe clínico da divisão de reumatologia do Beth Israel Deaconess Medical Center (BIDMC) e é membro atual do corpo docente correspondente em medicina da Harvard Medical School. ? Veja a biografia completa
Veja todas as postagens de Robert H. Shmerling, MD