À partir d'un extrait sonore, la nouvelle IA de Google peut produire la suite d'une musique ou d'un discours

Générer de l'audio grâce à une IA est une technique devenue monnaie courante : la voix des assistants personnels comme Alexa utilisent, par exemple, le traitement du langage naturel. Les systèmes musicaux d'intelligence artificielle comme Jukebox d'OpenAI ont déjà produit des résultats impressionnants mais la plupart des techniques existantes nécessitent que des humains préparent des transcriptions et des étiquettes textuelles de données d'entraînement. Une opération qui prend beaucoup de temps et qui nécessite, donc, une intervention humaine. Jukebox, par exemple, utilise des données textuelles pour générer des paroles de chansons.

AudioLM, dont le fonctionnement est décrit dans un article publié le mois dernier et non évalué par des pairs, se distingue des autres systèmes : il n'a besoin ni de transcription ni d'étiquette pour fonctionner. Au lieu de cela, les bases de données sonores sont introduites dans le programme et l'apprentissage automatique est utilisé pour compresser les fichiers audio en bribes de sons appelées "tokens", le tout sans une grosse perte d'informations. Ces données d'apprentissage par tokens sont ensuite introduites dans un modèle d'apprentissage automatique qui utilise le traitement du langage naturel afin d'apprendre les motifs du son.

Pour générer l'audio, quelques secondes d'extraits sonores sont introduites dans AudioLM. Ce dernier prédit ensuite ce qui va suivre. Le processus est similaire à la manière dont les modèles de langage comme GPT-3 prédisent les phrases et les mots qui en suivent d'autres généralement.

Les clips audio publiés par l'équipe de Google semblent assez naturels et vraisemblables. Par exemple, les notes de piano générées à l'aide d'AudioLM sont plus fluides que celles produites à l'aide d'autres techniques d'IA existantes. Ces dernières ont tendance à avoir un aspect chaotique.

Roger Dannenberg, qui mène des recherches sur la musique générée par ordinateur à l'université Carnegie Mellon, affirme qu'AudioLM offre déjà une qualité sonore bien supérieure à celle des programmes musicaux de générations précédentes. En particulier, dit-il, AudioLM est étonnamment doué pour recréer certains motifs répétitifs inhérents à la musique produite par l'Homme. Afin de générer une musique interprétée à partir de notes de piano de manière réaliste, AudioLM doit capturer une grande partie des vibrations subtiles contenues dans chaque note lorsque les touches du piano sont frappées. La musique doit également conserver ses rythmes et ses harmonies durant un certain temps.

"Le résultat est vraiment impressionnant, en partie parce que cela indique que [ces systèmes] apprennent certains types de structure à plusieurs niveaux", s'enthousiasme Roger Dannenberg.

Par ailleurs, AudioLM ne se limite pas à la musique. Comme il a été formé à partir d'une bibliothèque d'enregistrements de phrases prononcées par des humains, le système peut également fabriquer un discours qui reprend le ton et la cadence de l'orateur d'origine - même si à ce stade, les phrases peuvent sembler ne pas avoir de lien avec ce qui précède et être incompréhensibles. AudioLM est formé pour apprendre quels types d'extraits sonores sont fréquemment utilisés ensemble et il utilise le processus inverse pour produire des phrases. Autre avantage : le système dispose de la capacité à apprendre les moments de pause et les exclamations inhérents aux langues parlées mais qui sont difficiles à retranscrire à l'écrit.

Rupal Patel, chercheur en sciences de l'information et de la parole à la Northeastern University, explique que les travaux antérieurs utilisant l'IA pour générer du son ne pouvaient saisir ces nuances que si elles étaient explicitement annotées dans les données d'entraînement. AudioLM, lui, apprend automatiquement ces caractéristiques à partir de données d'entrée, ce qui renforce l'aspect réaliste du son produit.

"AudioLM tente de reproduire tout ce qui n'est pas des mots et que nous pourrions regrouper sous l'appellation informations linguistiques, c'est-à-dire tout qui englobe une façon de communiquer basée sur la façon dont vous dites les choses pour exprimer une intention spécifique ou une émotion particulière", explique Neil Zeghidour, co-créateur d'AudioLM. Par exemple, quelqu'un peut rire après avoir dit quelque chose pour indiquer qu'il s'agissait d'une blague. "Tout cela rend la parole naturelle", ajoute-t-il.

À terme, la musique générée par l'IA pourrait être utilisée pour fournir des bandes sonores plus naturelles pour les vidéos et les diaporamas. Selon Rupal Patel, une génération de technologie de parole plus naturelle pourrait contribuer à améliorer les outils d'accès à Internet ainsi que les robots fonctionnant dans les établissements de santé. L'équipe derrière AudioLM espère également pouvoir créer des sons plus sophistiqués comme ceux produits par un groupe de musique utilisant différents instruments ou des sons imitant un enregistrement sonore d'une forêt tropicale.

Toutefois, les défis éthiques qu'impliquent la technologie doivent être pris en compte, selon Rupal Patel. Il est important, en particulier, de déterminer si les musiciens produisant les clips utilisés comme données d'entraînement recevront des droits d'auteur ou des redevances sur la production finale - une question qui se pose aussi avec les IA de conversion texte à image. Un discours généré par l'intelligence artificielle qui ne peut pas être distingué du discours réel pourrait également devenir si convaincant qu'il permettrait de diffuser plus facilement de fausses informations.

Dans leur article, les chercheurs écrivent qu'ils sont déjà à l'oeuvre pour tenter d'atténuer ces problèmes en développant, par exemple, des techniques permettant de distinguer les sons naturels des sons produits à l'aide d'AudioLM. Rupal Patel suggère la possibilité d'inclure également des filigranes audio dans les produits générés par l'IA afin de les rendre plus facile à distinguer des sons naturels.

Article de Tammy Xu, traduit de l'anglais par Kozi Pastakia