La finale de l’Australian Open de tennis 2022 était plutôt mal partie pour Rafael Nadal contre Daniil Medvedev. Sans surprise: Medvedev était favori (en tout cas, c’est ce que disait Justine Hénin, qui s’y connaît certainement mieux en tennis que moi!)
Mené 2 sets à 0, et avec trois balles de break au milieu du troisième set en faveur du Russe, l’affaire semblait pliée. Puis Nadal a décidé que, finalement, il avait quand même envie de le gagner, ce tournoi. La victoire, arrachée en 5h24, fait de Nadal le premier homme à avoir 21 titres de Grand Chelem au palmarès, soit 21 de plus que moi (à ce jour), s’approchant ainsi du record de 23 titres de Serena Williams (ou des 24 de Margaret Court, selon la définition qu’on donne aux Grands Chelems).
L’exploit tennistique est certainement impressionnant, mais il y a un autre aspect du match qui a attiré l’attention: le “win predictor” qui est apparu à l’écran alors que Medvedev avait l’ascendant pour annoncer que les chances de Nadal de remporter la partie s’étaient écroulées à 4%. Un mauvais jugement de la part de l’intelligence artificielle?
Avant même que le tournoi débute, la machine d’Infosys avait déjà dérapé, donnant Djokovic largement favori:
L’IA n’était visiblement pas au courant des déboires de Djoko avec les services d’immigration australiens.
Ce n’est pas la première fois que ce genre de “prédictions” montre de sérieuses limites. Lors du dernier Grand Prix de Formule 1 de la saison 2021 à Abu Dhabi, alors que Lewis Hamilton pourchassait Sergio Perez pour reprendre la tête de la course, une prédiction d’AWS était apparue à l’écran:
AWS prédisait un dépassement particulièrement facile. Mais Perez n’était pas de cet avis, et il réussit à tenir Hamilton en échec pendant de longs, très longs moments, permettant à son coéquipier Max Verstappen de revenir dans la course. À nouveau, l’homme (dans sa machine) défiait la machine (programmée par l’homme).
Big Data = Big Loser?
Alors, toutes ces intelligences artificielles nourries à coup de “Big Data” sont-elles pour autant à jeter à la poubelle? Après tout, 4%, ce n’est pas 0%: le modèle n’a pas dit que Nadal n’avait aucune chance. Mais… on ne peut pas rejouer la fin de match 100 fois dans les mêmes conditions pour vérifier l’exactitude de la prédiction. Alors… quel intérêt?
Le problème majeur de ces systèmes est dans leur présentation. “Win predictor”, “Battle forecast”… le message indique clairement une prédiction. Mais le problème d’un modèle prédictif, c’est que c’est très compliqué à faire.
Tous ces modèles sont basés sur un principe relativement simple: on regarde une série de données sur les événements passés, et on regarde qu’est-ce qui est généralement associé à une certaine performance.
Par exemple, Infosys utilise les classements Elo des joueurs, ajustés en fonction de leurs performances sur des surfaces similaires (ausopen.com). Probablement que, pour les prédictions en cours de match, ils ajustent en fonction du nombre de fois où des joueurs ont gagnés à partir de situations similaires.
AWS, de son côté, utilise certainement des données sur les fraîcheurs relatives des gommes de pneus des voitures, sur les temps réalisés lors des tours précédents, et sur les performances passées des pilotes et des voitures. Et selon ces données, AWS avait parfaitement raison: Hamilton était le meilleur pilote, dans (sans doute) la meilleure voiture. Il avait des pneus tous frais et roulait beaucoup plus vite que Perez, abandonné par son équipe sur des pneus usés dont il aurait déjà du se débarrasser depuis longtemps… si son objectif avait été de faire la meilleure course possible.
Mais c’est là où AWS se retrouve perdu: l’objectif de Perez n’était pas de faire une bonne course pour lui, comme dans l’écrasante majorité des situations dans la base de donnée du modèle. Son objectif unique était de ralentir Hamilton aussi longtemps que possible pour permettre à Verstappen de revenir. Hamilton, de son côté, ne cherchait pas juste à dépasser Perez. Il savait aussi qu’il devait le dépasser sans incident. En Formule 1, la moindre touchette peut amener à une crevaison, ou à des pertes de performances aérodynamiques, ou à un crash pur et simple, et Hamilton devait absolument finir devant Verstappen pour gagner le championnat. Hamilton devait dépasser en douceur, Perez pouvait prendre tous les risques nécessaires quitte à mettre sa propre course en l’air.
De même, Infosys ne pouvait pas savoir que Djokovic n’allait même pas participer au tournoi. Infosys ne dispose pas non plus dans son modèle d’informations sur l’état mental des joueurs, sur leur état de fatigue, sur ce qu’ils ont mangés la veille au soir, sur l’effet que la météo peut avoir sur leurs performance, sur l’effet du public, ni plus généralement sur la stratégie que chaque joueur a décidé d’utiliser pour le match, sur l’entraînement spécifique suivit pour le tournoi, sur la qualité de leur préparation physique.
Où est ma boule de cristal, alors?
Pour qu’un modèle prédictif fonctionne vraiment, il faut qu’il dispose de variables qui ont un lien de cause à effet avec ce qu’on cherche à prédire. Ce qui ne veut pas dire, d’ailleurs, qu’un modèle comme ceux d’AWS ou d’Infosys ne va pas, en général, donner de bons résultats. Mais ces résultats sont “généralement” bons parce que, “généralement”, il n’y a pas de surprises. Sinon ce ne serait plus des surprises.
Est-ce que ça existe seulement, un modèle prédictif, alors? Oui, même s’ils ont toujours des limitations (et les meilleurs modèles prédictifs sont ceux qui identifient au mieux ces limitations). Par exemple, si je passe à un sujet que je connais un peu mieux que le tennis ou la Formule 1, on a pour l’instant beaucoup d’applications de l’intelligence artificielle au diagnostic médical. Des modèles peuvent chercher à prédire, par exemple, l’évolution d’une tumeur sur base d’images prises dans une IRM. Fondamentalement, le principe de ces modèles va être le même: prendre une série d’images de patients dans le passé, et chercher le lien entre ce qu’on voit sur les images et la survie des patients.
La différence avec les modèles d’Infosys ou d’AWS, c’est que “ce qu’on voit sur les images” va (quand tout va bien) avoir un lien direct avec l’évolution future de la tumeur. La densité des tissus dans le cerveau peut être reliée à des phénomènes biologiques, pas toujours compris à 100%, mais dont on sait qu’ils sont liés à la diffusion des cellules cancéreuses. Réussir à comprendre si le modèle se base bien sur quelque chose de biologiquement cohérent, ou s’il a trouvé dans l’image quelque qui n’a rien à voir*, c’est un des challenges majeurs de l’intelligence artificielle aujourd’hui.
Tout ce que le “win predictor” peut dire, c’est que Nadal sortait d’une moins bonne série de matchs que Medvedev, et que c’est très rare qu’un joueur revienne lorsqu’il est aussi fort mené.
Le modèle n’est pas nécessairement mauvais, dans le sens où il a sans doute raison plus souvent qu’il n’a tort. Mais au final, ce qu’il apporte est avant tout une connaissance encyclopédique de l’historique des joueurs. Et cette connaissance se retrouve bien mal exploitée lorsqu’elle est résumée à un pauvre “4%” dénué de son contexte.
* Un exemple fictif (autant que je sache): si je fais des scans de pleins de biopsies, mais que les biopsies de patients décédés sont conservés dans un autre service que celles des patients encore vivants, et que je les scanne à chaque fois sur place dans des machines différentes, peut-être que ces deux machines auront un réglage légèrement différent qui fera que la couleur des images sera, par exemple, un peu plus bleues d’un côté que de l’autre. Mon super modèle va être très fort pour prédire la mortalité sur base de la couleur de l’image… mais uniquement sur ce jeu de données particulier. Le jour où j’essaie de l’utiliser pour du diagnostic sur des nouveaux patients, je vais avoir de sérieux soucis.