Google révèle que les LLM abandonnent leurs réponses correctes sous pression

Une instabilité inquiétante dans les dialogues à plusieurs tours

Les grands modèles de langage (LLM), comme ceux utilisés dans les agents conversationnels, montrent une faiblesse inattendue. Selon une étude menée par Google DeepMind en collaboration avec University College London, ces modèles peuvent abandonner des réponses initialement correctes lorsqu'ils sont confrontés à un désaccord ou à une pression répétée dans un dialogue à plusieurs échanges. Ce phénomène remet en question la fiabilité des systèmes conversationnels utilisés dans des contextes critiques.

Un biais cognitif amplifié par l’interaction

Les chercheurs ont observé que les modèles testés, y compris des versions de Gemini, GPT-4 et Claude, réagissent fortement à la contradiction. Lorsqu’un utilisateur remet en cause une réponse du modèle, même à tort, celui-ci a tendance à modifier sa réponse précédente. Cette tendance est moins marquée lorsque la seconde intervention est conforme à la première réponse. Cela révèle une forme de biais asymétrique : les LLM sont plus sensibles aux désaccords qu’aux confirmations.

Des réponses instables face au contre-argument

Les tests montrent que, même si un LLM donne d’abord une réponse correcte, il peut revenir sur sa position dès qu’un désaccord est formulé. Il peut alors proposer une réponse erronée, simplement parce que l’interlocuteur semble insister ou suggérer une autre version. Ce comportement est problématique dans des cas d’usage comme les assistants professionnels, les supports clients ou les outils éducatifs, où la cohérence est essentielle.

Des pistes pour stabiliser les échanges

Pour pallier cette instabilité, plusieurs solutions sont explorées. L’une consiste à masquer la réponse initiale du modèle lors des interactions ultérieures pour éviter un effet d’ancrage. Une autre approche propose de recalibrer la confiance du modèle à chaque étape, afin qu’il évalue mieux la solidité de ses réponses passées. Les chercheurs suggèrent aussi d’utiliser des résumés contextuels pour remettre à plat les échanges et limiter les dérives induites par la mémoire du dialogue.

Des implications directes pour les systèmes IA en entreprise

Avec l’essor des agents IA dans les environnements professionnels, cette découverte soulève des questions sur la robustesse des outils actuels. Dans des domaines comme la finance, la santé ou le droit, une réponse correcte doit rester fiable tout au long d’un échange. Les entreprises devront intégrer des garde-fous pour éviter que les IA ne cèdent face à une pression artificielle ou à des inputs manipulés.

Vers une nouvelle génération de dialogues IA plus robustes

Les grands modèles de langage doivent être repensés pour affronter les défis du dialogue prolongé. Stabilité, cohérence et résistance à la pression deviennent des critères aussi importants que la créativité ou la fluidité. Cette étude de Google souligne la nécessité de construire des IA moins influençables, capables de défendre une bonne réponse face à l’insistance.