LLM généralistes vs IA clinique : ce que révèlent vraiment les benchmarks médicaux

Un résultat contre‑intuitif : les LLM généralistes dominent les IA cliniques

Une étude parue dans Nature Medicine compare deux outils cliniques diffusés (OpenEvidence, UpToDate Expert AI) à trois LLM généralistes de pointe (GPT‑5.2, Gemini 3.1 Pro, Claude Opus 4.6).[2][3]
Résultat : les modèles généralistes dominent systématiquement tous les benchmarks, alors que les outils spécialisés sont vendus comme plus sûrs pour la pratique clinique.[2]

Protocole en trois volets :

• 500 questions MedQA de type examen de licence médicale (connaissances codifiées) ;[2]
• 500 items HealthBench (alignement avec les réponses de cliniciens) ;[2]
• 100 requêtes réelles dé‑identifiées issues d’un déploiement clinique à NYU Langone Health, constituant le benchmark Real Clinical Queries (RCQ).[1][4]

Pour RCQ :

• 12 cliniciens américains ;
• revue randomisée, en aveugle, de 1 800 couples question‑réponse ;[1][2]
• évaluation de la qualité clinique globale (pertinence, sécurité, utilité), pas seulement de l’exactitude factuelle.[3][4]

📊 Chiffre clé

• Les LLM généralistes se situent dans le « tier » supérieur sur les trois tâches ;
• les outils spécialisés se retrouvent, sur RCQ, au même niveau que Google Search AI Overview.[1][3]

💡 À retenir

• La spécialisation (branding clinique, accès bibliographique) ne garantit pas une supériorité clinique ;
• la taille des corpus d’entraînement et la qualité de l’alignement des LLM généralistes compensent l’absence de fine‑tuning strictement médical.[2][3]

Un chef de service résume : « Le produit marketé comme clinique ne fait pas mieux que ce que mes internes obtiennent avec un onglet d’IA généraliste ouvert à côté de leur dossier patient. »[3][4]

Ce que ces benchmarks disent (et ne disent pas) sur la sécurité clinique

Scores élevés sur MedQA ou HealthBench :

• indiquent une bonne maîtrise de la connaissance codifiée ;
• reflètent une proximité avec les réponses d’experts sur des vignettes standardisées ;[2]
• mais capturent mal : comorbidités, incertitude diagnostique, préférences patients, coordination avec l’équipe soignante.[4]

⚠️ Point clé

• Une IA bonne sur 80–90 % de QCM ne garantit pas une baisse équivalente des erreurs iatrogènes ;
• les situations réelles sont plus ambiguës, contraintes par le temps et les données manquantes.[4]

Les auteurs soulignent aussi :

• un risque de contamination des benchmarks : MedQA, très diffusé, a probablement été vu en entraînement par certains LLM généralistes ;[2][4]
• à l’inverse, les outils cliniques fondés sur de la littérature structurée sont moins exposés à ce chevauchement ;
• la performance apparente des généralistes peut ainsi être partiellement surestimée.[4]

📊 Conséquence méthodologique

• Une partie de l’écart observé pourrait venir de ce chevauchement corpus d’entraînement / benchmarks, surtout pour les questions fréquentes sur le web.[2][4]

Face à ces limites, l’étude recommande une évaluation indépendante, en conditions réelles, de toute IA médicale, quel que soit son marketing.[1][3]
Combiner :

• des benchmarks standardisés (MedQA, HealthBench, futurs jeux plus robustes) ;[2]
• des revues en aveugle par des cliniciens sur des requêtes issues de déploiements réels (type RCQ) ;[1][3]
• un suivi prospectif d’indicateurs cliniques (taux d’erreurs, délais de décision, qualité de la communication avec les patients).[4]

💼 Initiative structurante
Les mêmes équipes lancent une initiative publique de benchmarking médical avec tableau de bord ouvert, comparant de façon traçable les performances des modèles par tâche clinique avant tout déploiement massif.[3]

De la performance brute aux systèmes cliniques agentiques

Même dominants sur les benchmarks, les LLM généralistes ne suffisent pas pour un usage direct :

• nécessité de systèmes traçables, actualisables, avec citations précises ;[2][5]
• d’où l’intérêt de la génération augmentée par recherche (RAG), connectant le modèle à des bases médicales à jour (recommandations, revues, protocoles locaux).[5]

Dans un pipeline RAG :

• la requête est convertie en embedding ;
• un index vectoriel retrouve les documents pertinents ;
• le LLM génère une réponse à partir de ces extraits.[5][10]
  Avantages : moins d’hallucinations, recommandations vérifiables, crucial en radiologie, oncologie, prescriptions complexes.[5]

⚡ Agentic RAG en pratique
Une couche d’agents coordonnés permet de :

• reformuler une question floue ;
• explorer plusieurs hypothèses diagnostiques ;
• appeler des outils (interactions médicamenteuses, registres locaux) ;
• itérer jusqu’à une recommandation cohérente.[8][9][10]

Les systèmes RAG multi‑agents pour le CDSS tendent vers :

• agent de récupération ;
• agent de raisonnement ;
• agent de vérification ;
• agent de sécurité bloquant les propositions dangereuses.[6]
  Limites rapportées : dépendance à la qualité du corpus, validation clinique encore rare, coût computationnel notable.[6][8]

💡 Explicabilité par conception
Les travaux sur l’Agentic RAG explicable prévoient de journaliser :

• documents récupérés ;
• plans testés ;
• justifications de la recommandation finale.[7]
  Cette traçabilité facilite audit, pharmacovigilance et dialogue réglementaire.[7]

Conclusion : des scores aux soins réels

Les LLM généralistes dépassent aujourd’hui les IA cliniques spécialisées sur plusieurs benchmarks (connaissances, alignement, requêtes réelles).[1][2][3]
Mais ces scores ne suffisent ni à garantir la sécurité, ni à prédire l’impact sur les patients sans évaluations indépendantes et longitudinales.[4]

⚠️ Message aux décideurs hospitaliers
Avant tout déploiement généralisé, exiger :

• des preuves issues de benchmarks ouverts et transparents ;[2][3]
• des pilotes contrôlés avec suivi d’indicateurs cliniques ;
• des architectures complètes de type RAG / Agentic RAG, traçables, explicables et alignées sur la médecine fondée sur les preuves.[5][6][7]

L’enjeu n’est plus de choisir un « meilleur modèle », mais de co‑construire, avec sociétés savantes et équipes IA, des systèmes cliniques auditables et publics, où chaque recommandation peut être questionnée, comprise et, si nécessaire, réfutée.