Des recherches montrent que de nombreux utilisateurs d’IA acceptent des réponses erronées sans les remettre en question. Ce phénomène, appelé « reddition cognitive », peut avoir des conséquences importantes sur la prise de décision.
Écouter l’article
Écoutez l’article avec une voix IA naturelle.
IA expliquée
Qu’est-ce que la reddition cognitive chez les utilisateurs d’IA ?
La reddition cognitive désigne l’acceptation sans critique des réponses fournies par des intelligences artificielles, même lorsqu’elles sont erronées. Une étude de l’Université de Pennsylvanie a montré que les utilisateurs acceptent souvent les réponses incorrectes des grands modèles de langage. Cette tendance est renforcée par la confiance en l’IA et les contraintes de temps.
- En bref: Les utilisateurs abandonnent leur jugement critique face aux réponses de l’IA, acceptant jusqu’à 80 % des erreurs.
- Pourquoi c’est pertinent: Cette reddition cognitive peut entraîner des décisions erronées dans les contextes professionnels et personnels.
- Point clé: Il est important d’instaurer des vérifications des résultats générés par l’IA pour éviter les erreurs dues à une confiance excessive.
La reddition cognitive chez les utilisateurs d’IA
Des chercheurs de l’Université de Pennsylvanie ont étudié comment les utilisateurs de grands modèles de langage (LLM) abandonnent souvent leur pensée critique. Dans l’étude « Thinking—Fast, Slow, and Artificial: How AI is Reshaping Human Reasoning and the Rise of Cognitive Surrender », il a été démontré que beaucoup acceptent les réponses générées par l’IA sans les vérifier. Les chercheurs ont classé la prise de décision en trois catégories : intuitive, analytique, et une nouvelle forme de « cognition artificielle ». Cette dernière implique que les décisions sont largement influencées par des systèmes automatisés plutôt que par un jugement humain.
Les études ont montré que les participants consultant un chatbot IA, qui fournissait parfois des réponses erronées au hasard, acceptaient souvent ces réponses sans examen approfondi. Dans une expérience, les participants acceptaient les réponses correctes de l’IA 93 % du temps, mais même lorsque l’IA donnait une réponse fausse, ils l’acceptaient 80 % du temps. Cela indique que la présence de l’IA peut remplacer l’évaluation interne. Les chercheurs ont également constaté que la confiance envers l’IA augmentait la probabilité d’être induit en erreur par des réponses incorrectes. De plus, ils ont montré que les incitations et les contraintes de temps influençaient la capacité des participants à contester les réponses de l’IA.
Implications pour le marché français
Analyse Ainy : Ces résultats sont particulièrement pertinents pour les entreprises et développeurs français qui intègrent l’IA dans leurs processus. Il est essentiel de rester vigilant face aux risques liés à une confiance aveugle dans les systèmes d’IA. Les organisations françaises gagneraient à mettre en place des procédures de vérification des résultats générés par l’IA afin d’éviter des décisions erronées. Cela contribuera à renforcer la qualité des prises de décision dans les secteurs public et privé en France.
Source : Ars Technica
Lire aussi : Meta suspend sa collaboration avec Mercor après une fuite de données
