Il existe une raison simple pour laquelle les chatbots se trompent sur des questions médicales. Les modèles de langage ne « savent » rien. Ils prédisent le mot suivant le plus probable sur le plan statistique en fonction de leurs données d’entraînement et du contexte. Ils ne pèsent pas les preuves et ne portent pas de jugements de valeur. Leurs données d’entraînement incluent des articles évalués par les pairs, mais aussi des discussions sur Reddit, des blogs de bien-être et des débats sur les réseaux sociaux.
Carsten Eickhoff : La moitié des réponses de l’IA en matière de santé sont erronées, même si elles semblent convaincantes — nouvelle étude