Comment l'IA booste ses neurones

C’est ainsi qu’a fini par émerger une nouvelle branche de l’intelligence artificielle (IA), le deep learning (apprentissage profond). Son principe : au lieu de livrer à l’ordinateur la recette complète pour exécuter une tâche, la technique consiste à l’abreuver d’exemples pour le laisser lui-même mijoter ses propres algorithmes. Pour concevoir une telle machine, les ingénieurs se sont inspirés du vivant, à savoir les neurones du cerveau humain. Vu sa complexité, ils ne se sont pas amusés à fabriquer une copie conforme de notre cervelle. Ils sont cependant parvenus à créer une version numérique vaguement calquée sur notre bonne vieille matière grise : les réseaux de neurones.

En 2022, le cerveau de ChatGPT comptait déjà plus de 80 milliards de neurones

Une révolution ? Oui, sauf qu’elle ne date pas d’hier. En 1943, déjà, le neurologue américain Warren McCulloch avait décrit le comportement d’un neurone biologique au moyen de formules mathématiques. Et, quatorze ans plus tard, le psychologue Frank Rosenblatt, lui aussi américain, avait expérimenté cette théorie de neurone artificiel sur un ordinateur. Las, à l’époque, les capacités informatiques limitaient la taille de ces cervelets artificiels à quelques dizaines de neurones. Depuis, l’évolution des puissances de calcul a fait exploser les volumes de ces cybercerveaux. Ainsi, lors de son lancement l’an dernier, celui de ChatGPT disposait-il de plus de 80 milliards de similicellules grises enchevêtrées dans un canevas numérique de quelque 175 milliards de connexions neuronales.

Pour autant, la mission de ces neurones n’a rien de folichon. Il s’agit d’exécuter de petits calculs. Eh oui, l’intelligence artificielle est d’abord une affaire de mathématiques, plus particulièrement de probabilités. Ainsi, lorsque ChatGPT produit un texte, le programme ne réfléchit pas à ce qu’il écrit. Il prédit quel mot a le plus de chances de figurer après celui qu’il vient d’afficher. Pour y parvenir, ChatGPT s’appuie sur ses propres statistiques, élaborées après avoir avalé des téraoctets de textes, incluant l’intégralité de Wikipédia.

Car le secret d’une intelligence performante, c’est son éducation. Tout comme le cerveau d’un nouveau-né, une machine artificielle développe ses propres connexions neuronales en se nourrissant tantôt d’informations, tantôt de sa propre expérience. Il lui faut donc d’abord ingurgiter de grandes quantités de données. «Si l’on veut apprendre à une machine à reconnaître un chat, une méthode consiste par exemple à soumettre à ses réseaux de neurones des photos d’animaux, en lui notifiant pour chaque image s’il s’agit d’un chat ou d’une autre bête, résume Julien Simon, expert en intelligence artificielle chez Hugging Face. C’est ce qu’on appelle l’apprentissage supervisé.»

Nul besoin de lui définir ce qu’est un chat, la machine va établir sa propre représentation du félin à partir des seules informations dont elle dispose – à savoir des rangées de pixels qui alimentent en données ses neurones, structurés en couches successives et reliés les uns aux autres par des connexions plus ou moins fortes.

Au début de son apprentissage, cette représentation va s’avérer assez floue, et l’IA va commettre beaucoup d’impairs, parfois même jusqu’à confondre un chat avec un poisson rouge! Mais, image après image, la machine va ajuster ses connexions neuronales et sa vision va s’améliorer. C’est ainsi qu’en 2012, déjà, Brain, le projet de deep learning de Google, a appris à reconnaître des chats. Sauf que, cette fois, l’apprentissage n’était pas supervisé. Trois jours durant, ses réseaux de neurones ont avalé 10 millions de captures d’écran de vidéos YouTube, sans la moindre consigne. A l’issue de cette séance de binge-watching (visionnage boulimique), Brain avait ainsi établi un lien entre les nouvelles têtes de félins que les data scientists lui soumettaient et les chats tirés de son visionnage YouTube.

De plus en plus, les IA apprennent aussi de leurs propres actions, à l’instar de Deep Q-Network (DQN), un système conçu par l’ex-start-up anglaise DeepMind, devenue une filiale de Google. «A partir des seules captures d’écran du jeu vidéo “Breakout”, le fameux casse-briques, DQN s’est formé par tâtonnement à contrôler la raquette, à faire rebondir la balle pour détruire les briques et a fini par trouver la tactique qui lui rapportait le plus de points pour un minimum d’efforts», raconte en substance Mustafa Suleyman, un des cofondateurs de DeepMind, dans La Déferlante (Editions Fayard), passionnant essai consacré à cette révolution technologique. Cette technique dite d’apprentissage par renforcement a aussi été utilisée par Google pour entraîner AlphaGo, l’IA qui a vaincu le champion du monde de jeu de go en 2016.

L’apprentissage de tâches complexes nécessite encore de vrais coachs

Reste que pour apprendre à réaliser des tâches complexes, les intelligences artificielles ont encore du mal à se passer de vrais professeurs. ChatGPT lui-même ne s’est pas contenté d’avaler des quantités vertigineuses de textes puisés sur le Net. «Cette étape non supervisée par des humains était suffisante pour lui apprendre à générer du texte à la demande, mais pas pour répondre à des questions», explique Julien Simon.

Pour acquérir cette compétence, ChatGPT a donc été entraîné par des coachs de chair et d’os. Ceux-ci lui ont d’abord soumis des tonnes de questions avec les réponses correspondantes. Puis, dans un deuxième temps, l’IA a été invitée à passer une sorte d’examen en tentant de répondre d’elle-même à des questions qui lui étaient soumises. Pour chaque question, ChatGPT avait le droit de fournir plusieurs réponses, classées par un opérateur humain, en fonction de leur pertinence. Répété de nombreuses fois, afin d’établir les bonnes connexions neuronales, ce processus a été sous-traité à de petites mains, africaines notamment, rémunérées au lance-pierre. Deux dollars de l’heure, voilà qui n’est vraiment pas cher payé pour un cours si particulier…

L'intelligence artificielle, en six dates clé

• 1957 : un psychologue américain invente le Perceptron, précurseur des réseaux de neurones actuels.
• 1997 : grâce à sa puissance de calcul, l’ordinateur d’IBM Deep Blue bat Garry Kasparov aux échecs.
• 2011 : Watson, un autre ordinateur conçu par IBM, remporte «Jeopardy!», le jeu télé de culture générale.
• 2012 : une intelligence artificielle mise au point par Google apprend d’elle-même à reconnaître des chats après avoir visionné des millions de vidéos YouTube.
• 2016 : l’IA AlphaGo, mise au point par DeepMind, bat le champion du monde du jeu de go après avoir étudié des milliers de parties.
• 2022 : Sam Altman, le PDG d’OpenAI, dévoile son robot de conversation ChatGPT et conquiert 1 million d’utilisateurs en cinq jours.