ChatGPT pense-t-il comme un radiologue ? Evaluation des capacités d'intégration d'information multimodales par des radiologues et des modèles multimodaux

Abstract

Les modèles multimodaux comme GPT-4o (OpenAI) ou Gemini (Google) atteignent un niveau de réponses quasi-expert dans des quiz médicaux mêlant texte et images, notamment en radiologie. Cependant, on ne sait pas si ces modèles sont réellement capables de tirer un bénéfice de l'intégration des informations textuelles et visuelles ou si les réponses sont basées sur une analyse poussée du contexte clinique textuel. Les cas de neuroradiologie de la série Diagnosis Please publiés entre janvier 2008 et octobre 2023 dans le journal Radiology ont été inclus. Les coupes de scanner et d'IRM ainsi que les données cliniques sous forme textuelle ont été extraites des cas. Pour chaque cas, GPT-4o et Gemini 1.5 Pro ont donné trois diagnostics différentiels à partir du contexte textuel seul, des images seules ou de l'association des deux. Six experts en neuroradiologie ont résolu ces mêmes cas dans les mêmes conditions, répartis aléatoirement en deux groupes : contexte d'abord ou images d'abord. GPT-4o et Gemini ont surpassé les radiologues à partir du seul contexte clinique (29,1% de bonnes réponses et 29,1 % pour GPT-4o et Gemini, respectivement contre 16,3 % pour les radiologues, p<0.001). Les radiologues ont obtenu de meilleurs résultats que GPT-4o et Gemini à partir des seules images (42 % contre 7 % et 2 %, p<0.001) et des cas complets (48 % contre 32 % et 31 %, p<0.001). Les radiologues ont tiré un bénéfice de l'ajout du contexte clinique aux images (42 % contre 48 %, p=0.002) et des images au contexte clinique (16 % contre 48 %, p<0.001), tandis que GPT-4o et Gemini n'ont pas bénéficié de manière significative de l'ajout d'images au contexte clinique (29 % contre 32 %, p=0.22 et 29 % contre 32 %, p=0.47 respectivement). Les radiologues ont montré une capacité à tirer un bénéfice de l'intégration des informations textuelles et visuelles, tandis que les modèles multimodaux s'appuyaient principalement sur le contexte clinique pour proposer des diagnostics.

Ähnliche Arbeiten