La société OpenAI a construit le robot de jeu le plus performant sur Minecraft. Pour ce faire, l'entreprise lui a fait visionner plus de 700 heures de vidéos de parties jouées par des humains. Il s'agit d'une nouvelle technique puissante qui pourrait être utilisée pour entraîner des machines à effectuer un large éventail de tâches en s'abreuvant sur des plateformes comme YouTube. Une source vaste et inexploitée de données qui pourrait servir au développement d'intelligences artificielles (IA).
Le modèle formé par OpenAI sur Minecraft a appris à exécuter des séquences complexes - réalisées à l'aide de clics sur le clavier et la souris - pour accomplir des tâches dans le jeu comme couper des arbres et fabriquer des outils. Il s'agit du premier robot capable de fabriquer des outils dits "en diamant". Une tâche qui demande généralement aux bons joueurs humains 20 minutes de clics à grande vitesse, soit environ 24.000 actions.
Les résultats obtenus constituent une percée pour une technique connue sous le nom de "imitation learning" ("apprentissage par imitation", en français) dans laquelle les réseaux neuronaux sont formés à l'exécution de tâches en regardant les humains les accomplir. L'apprentissage par imitation peut être utilisé pour entraîner l'IA à contrôler des bras de robots, à conduire des voitures ou à surfer sur Internet.
Suivre l'exemple du modèle GPT-3
Il existe une grande quantité de vidéos publiées sur Internet montrant des personnes accomplir différentes tâches. En exploitant cette ressource, les chercheurs espèrent faire pour l'imitation learning ce que le modèle GPT-3 a fait pour les grands modèles de langage. "Ces dernières années, nous avons assisté à la montée en puissance de ce paradigme GPT-3 qui permet d'obtenir des capacités étonnantes à partir de grands modèles formés sur d'énormes pans d'Internet", explique Bowen Baker d'OpenAI, l'un des membres de l'équipe à l'origine du nouveau robot formé sur Minecraft. "Cela s'explique en grande partie par le fait que nous modélisons ce que font les humains lorsqu'ils sont en ligne".
Le problème des approches existantes de l'imitation learning est que les démonstrations vidéo doivent être étiquetées à chaque étape : faire cette action provoque ceci, faire cette action provoque cela et ainsi de suite. Annoter à la main de cette manière représente beaucoup de travail et les ensembles de données de ce type ont donc tendance à être restreints. Bowen Baker et ses collègues ont voulu trouver un moyen de transformer les millions de vidéos disponibles sur le toile en un nouvel ensemble de données.
L'approche de l'équipe, appelée Vidéo Pre-Training (VTP), permet de contourner le goulot d'étranglement de l'imitation learning en formant un autre réseau neuronal pour étiqueter automatiquement les vidéos. Ils ont d'abord engagé des gamers pour jouer à Minecraft et ont enregistrer les mouvements de clics sur leur clavier et souris en même temps que les images du jeu sur leur écran. Les chercheurs ont ainsi obtenu 2.000 heures de jeu annoté dans Minecraft qu'ils ont utilisé pour former un modèle permettant de faire correspondre les actions aux résultats à l'écran. Par exemple, si l'on clique sur un bouton de la souris dans une certaine situation, le personnage balance sa hache.
L'étape suivante a consisté à utiliser ce modèle pour générer des étiquettes d'action pour 70.000 heures de vidéos non étiquetées issues d'Internet, puis à entraîner le robot sur cet ensemble de données plus vaste.
"La vidéo est une ressource d'entraînement à fort potentiel", souligne Peter Stone, directeur exécutif de Sony AI America, qui a déjà travaillé sur l'imitation learning.
Une technique à l'origine des grandes avancées récentes de l'IA
L'apprentissage par imitation est une alternative au reinforcement learning (apprentissage par renforcement, en français), dans lequel un réseau neuronal apprend à effectuer une tâche à partir de zéro à force d'essais et d'erreurs. Cette technique est à l'origine de la plupart des grandes avancées de l'IA ce dernières années. Elle a été utilisée pour former des modèles capables de battre les humains aux jeux, de contrôler un réacteur à fusion et de découvrir un moyen plus rapide de faire des mathématiques fondamentales.
Le problème est que le reinforcement learning fonctionne mieux pour les tâches qui ont un objectif clair et où les actions aléatoires peuvent mener à un succès accidentel. Les algorithmes d'apprentissage par renforcement récompensent ces réussites accidentelles pour les rendre plus susceptibles de se reproduire.
Minecraft est un jeu sans but précis. Les joueurs sont libres de faire ce qu'ils veulent, en se promenant dans un monde généré par ordinateur, en exploitant différents matériaux et en les combinant pour fabriquer différents objets.
Minecraft est en train de devenir un important un important banc d'essai pour les nouvelles techniques d'IA
Le caractère ouvert de Minecraft constitue un bon environnement pour l'entraînement de l'intelligence artificielle. Bowen Baker est l'un des chercheurs à l'origine de Hide & Seek ("Cache-cache", en français), un projet dans lequel des robots étaient lâchés dans un terrain de jeu virtuel et où ils utilisaient le reinforcement learning pour comprendre comment coopérer et utiliser des outils pour gagner à des jeux simples. Cependant, les robots ont rapidement dépassé le cadre de leur environnement. "Ils ont en quelque sorte pris possession de l'univers. Ils n'avaient rien d'autre à faire", relate Bowen Baker. "Nous voulions étendre ce dernier et nous nous sommes dits que Minecraft était un domaine de travail idéal".
Ils ne sont pas les seuls. Minecraft est en train de devenir un important banc d'essai pour les nouvelles techniques d'IA. MineDojo, un environnement Minecraft avec des dizaines de défis prédéfinis, a remporté un prix à la conférence NeurIPS de cette année, l'une des plus grandes conférences sur l'IA.
Grâce à la VPT, le robot d'OpenAI a pu accomplir des tâches qui auraient été impossibles en utilisant uniquement l'apprentissage par renforcement telles que la fabrication de planches et leur transformation en table, ce qui implique environ 970 actions consécutives. Malgré cela, l'équipe a constaté que les meilleurs résultats provenaient de l'utilisation conjointe de l'apprentissage par imitation et de l'apprentissage par renforcement. En prenant un robot entraîné avec la VPT et en affinant ses capacités avec l'apprentissage par renforcement, il a pu effectuer des tâches impliquant plus de 20.000 actions consécutives.
La VPT peut-elle permettre d'entraîner les robots à exercer des tâches physiques dans le monde réel ?
Les chercheurs affirment que leur approche pourrait être utilisée pour entraîner l'IA à effectuer d'autres tâches. Dans un premier temps, elle pourrait servir à former des robots utilisant un clavier et une souris pour naviguer sur des sites Internet, réserver des vols ou acheter des produits alimentaires en ligne. En théorie, elle pourrait également être employée pour entraîner des robots à effectuer des tâches physiques, dans le monde réel, en visionnant des vidéos et en copiant les mouvements effectués par des personnes dans ces vidéos. "C'est plausible", s'enthousiasme Peter Stone.
Toutefois, Matthew Guzdia, de l'université d'Alberta au Canada, qui a utilisé des vidéos pour enseigner à des IA les règles de jeux comme Super Mario Bros, ne pense pas que cela se produira de sitôt. Les actions dans des jeux comme Minecraft et Super Mario Bros sont réalisées en appuyant sur des boutons. Les actions dans le monde physique sont beaucoup plus compliquées et complexes à apprendre pour une machine. "Cela ouvre toute une série de nouveaux problèmes de recherche", déclare-t-il.
"Ce travail est une nouvelle preuve de la puissance de la mise à l'échelle des modèles et de l'entraînement sur des ensembles de données de masse afin d'obtenir de bonnes performances", estime Natasha Jacques. Cette dernière travaille sur le reinforcement learning multi-agent chez Google et à l'université de Californie à Berkeley.
Ces grands ensembles de données à l'échelle d'Internet vont très certainement débloquer de nouvelles capacités pour l'IA, affirme-t-elle : "Nous l'avons vu maintes et maintes fois et c'est une excellente approche". Cependant, OpenAI place beaucoup d'espoir dans le pouvoir des grands ensembles de données seuls, poursuit-elle. "Personnellement, je suis un peu plus sceptique sur le fait que les données peuvent résoudre n'importe quel problème".
Pourtant, Bowen Baker et ses collègues pense que la collecte de plus d'un million d'heures de vidéos de Minecraft rendra leur IA encore meilleure. À ce jour, c'est probablement le robot qui a les meilleurs performances sur Minecraft, insiste-t-il : "Avec plus de données et des modèles plus grands à disposition, je m'attendrais à ce que vous ayez l'impression de regarder un humain jouer au jeu par opposition à une bébé IA qui essaie d'imiter un humain".
Article de Will Douglas Heaven, traduit de l'anglais par Kozi Pastakia.
- Accès à tous les articles réservés aux abonnés, sur le site et l'appli
- Le magazine en version numérique
- Navigation sans publicité
- Sans engagement
