J’ai probablement eu cette discussion plusieurs dizaines de fois ces trois dernières années, depuis le fameux “tsunami” ChatGPT:
Quelqu’un: j’utilise ChatGPT pour faire ça, c’est vraiment super.
Moi: vraiment? Parce que, au-delà des questions éthiques et environementales, un des gros problèmes de ChatGPT et autres c’est quand même que ça ne marche pas, en fait.
Quelqu’un: mais si, moi je l’utilise tous les jours et ça marche!
Difficile d’argumenter contre ça. Si j’essaye de dire aux gens de ne pas croire leurs propres yeux, on va me prendre pour le Big Brother d’Orwell: “The Party told you to reject the evidence of your eyes and ears. It was their final, most essential command.” Et pourtant… nous savons tous que nos yeux ne sont pas fiables! Nous connaissons l’existence des illusions d’optique, et de la paréidolie, notre tendance à voir des visages partout.
ChatGPT et autres “IA” (au sens: agents conversationnels, ou chatbots, basé sur un grand modèle de langage entraîné à la génération de texte1) ne nous proposent pas des illusions d’optiques, mais des illusions cognitives: les réponses ont l’air intelligentes, ont l’air vraies, notre cerveau veut y croire… même si, au final, c’est faux.
Prenons un exemple, avec une tâche qui est souvent mise en avant comme quelque chose que les IAs font bien: résumer un texte. C’est une compétence essentielle pour justifier le “remplacement de Google” par des IAs. Au lieu de chercher sur un moteur de recherche et de lire pleins de pages différentes pour trouver l’information, on pose la question à ChatGPT, qui va chercher les résultats et nous fait un résumé. Prenons donc un article de presse. J’en ai pris un sur la page d’accueil du Soir au moment où j’écris ces lignes: “Un permis de conduire numérique bientôt dans notre smartphone”. Article assez court, pas très compliqué, je n’ai vraiment pas cherché à “piéger” l’IA d’une quelconque façon. Sur ChatGPT, j’ai demandé (lien vers la “discussion”):
Résume les points principaux de l’article suivant: https://www.lesoir.be/664174/article/2025-03-25/un-permis-de-conduire-numerique-bientot-dans-notre-smartphone
La réponse:
La Belgique prévoit d’introduire un permis de conduire numérique accessible via smartphone. Cette initiative vise à simplifier les démarches administratives et à offrir une alternative pratique au permis physique. Le permis numérique serait sécurisé grâce à des technologies avancées, garantissant son authenticité et sa protection contre la fraude. Les autorités espèrent que cette innovation facilitera les contrôles routiers et améliorera l’expérience des conducteurs belges.
Superficiellement, tout ça semble très raisonnable. Si vous recevez ça dans un “résumé de l’actualité” par une IA, vous n’allez sans doute pas chercher à particulièrement vérifier l’information. Pourtant, le résumé est très mauvais:
- Ce n’est pas la Belgique qui prévoit d’introduire ce permis numérique, c’est le Parlement européen qui a adopté le projet.
- La “simplification” est effectivement mise en avant dans l’article, mais le résumé passe complètement au-dessus de l’aspect probablement le plus important (et inquiétant): l’idée que “Le permis numérique deviendra à terme une sorte de sésame permettant ou non le démarrage de la voiture”, ce qui implique un futur ou on ne peut pas faire démarrer son véhicule si son smartphone est éteint ou déchargé, et où l’on doit en pratique “s’identifier” à chaque fois qu’on prend le volant, ce qui nous ramène bien vers Orwell.
- L’article ne parle nulle part de “technologies avancées” ou de garanties d’authenticité: c’est une fabrication de l’IA qui vient ici apporter à la proposition un surplus de légitimité qui n’est pas présent à la base dans l’article.
- La facilitation des contrôles routiers est bien mentionnée, mais l’amélioration de “l’expérience des conducteurs belges” n’est clairement pas au menu (à part pour les “simplifications administratives” précédemment mentionnées). Le fait de devoir obligatoirement pairer mon smartphone avec la voiture à chaque démarrage ne me paraît pas une meilleure expérience que de juste tourner la clé.
Le résumé retire donc du contexte important (le fait que ça concerne toute l’Europe et pas juste la Belgique), néglige des informations importantes, et fait du remplissage avec des éléments inventés. Tout ça dans un article pourtant court et sans grande complexité !
On m’accusera peut-être d’avoir testé pleins d’articles jusqu’à ce que j’en ai trouvé un avec des erreurs, mais ce n’est vraiment pas le cas: je n’en ai tenté qu’un, sélectionné juste parce qu’il m’avait l’air suffisamment court pour que ça ne me prenne pas trop longtemps pour vérifier tous les points. Et ce résultat est cohérent avec ce qu’on trouve dès qu’on essaye d’analyser de manière un peu systématique les capacités des IAs à résumer les choses: la BBC a fait un test similaire en posant à ChatGPT, Copilot, Gemini et Perplexity des questions sur l’actualité, et en ajoutant l’instruction d’utiliser des sources de la BBC lorsque c’était possible. Résultat: entre 40 et 60% des réponses, selon les systèmes, contiennent des “problèmes significatifs” (définis comme des problèmes qui pourraient induire le lecteur en erreur).
Quand ChatGPT vous fourni une réponse, vous donne une information, vous écrit un texte, ça a souvent l’air bien. Les mots semblent juste, les phrases ont du sens, on y voit facilement un raisonnement, une intelligence, une capacité cognitive. Mais comme dirait Jean-Louis Aubert: c’est juste une illusion. C’est le seul superpouvoir des IAs: l’illusion cognitive. Mais derrière, il n’y a pas de compréhension, il n’y a pas de raisonnement, il n’y a pas d’intelligence… et lorsqu’on creuse un peu, qu’on vient vérifier en détail ce que l’IA nous a sorti, qu’on dépasse l’acceptation passive de la réponse, l’illusion éclate.
Même si ChatGPT fonctionnait comme annoncé, les raisons de ne pas l’utiliser ne manquent pas. Mais en plus de tout les aspects éthiques, environnementaux, politiques, sociaux autour du déploiement massif des IAs génératives, il ne faut pas passer à côté du fait que tous ces systèmes ne marchent simplement pas, et qu’il n’y a aucune raison de penser que les problèmes fondamentaux auxquels les IAs génératives font fasse seront résolus dans un futur plus ou moins proche.
Note: pour plus de raisons de se méfier des IAs génératives, je conseille la série d’articles en cours de publication sur Hypothèses: https://academia.hypotheses.org/tag/chatgpt et https://academia.hypotheses.org/tag/iagen
Le domaine de l’intelligence artificielle est beaucoup plus vaste, et contient pleins de très bons systèmes qui fonctionnent et donnent des résultats utiles et intéressants, mais malheureusement tout le hype et tous les financements vont pour l’instant dans ce sous-domaine très précis.↩︎