Les grands modèles de langage (LLM) ont un secret bien gardé : leur développement et leur fonctionnement nécessitent de grandes quantités d'énergie. En outre, l'ampleur réelle de l'empreinte carbone de ces modèles reste un mystère. La start-up Hugging Face pense avoir trouvé un moyen de calculer cette empreinte avec plus de précision en estimant les émissions produites pendant l'ensemble du cycle de vie du modèle et non plus seulement pendant leur développement.
Cette tentative pourrait constituer une avancée vers l'obtention de données plus réalistes de la part des entreprises technologiques concernant l'empreinte carbone de leurs produits d'intelligence artificielle (IA) à un moment où les experts appellent le secteur à mieux évaluer l'impact environnemental de l'IA. Les travaux de Hugging Face sont publiés dans un article qui n'a pas encore été révisé par des pairs.
Afin de tester sa nouvelle approche, Hugging Face a évalué les émissions globales de son propre modèle de langage baptisé BLOOM. Ce dernier a été lancé au début de l'année. Ce processus a nécessité l'addition de nombreux chiffres : la quantité d'énergie utilisée pour former le modèle sur un superordinateur, l'énergie nécessaire à la fabrication du matériel du superordinateur et à la maintenance de son infrastructure informatique ainsi que l'énergie utilisée pour faire fonctionner BLOOM une fois qu'il a été déployé. Les chercheurs ont calculé cette dernière partie à l'aide d'un outil logiciel appelé CodeCarbon. Celui-ci a surveillé les émissions de carbone produites par BLOOM en temps réel sur une période de 18 jours.
Hugging Face estimait que le développement de BLOOM avait occasionné l'émission de 25 tonnes de carbone. Mais les chercheurs ont constaté que ce chiffre doublait lorsqu'ils prenaient en compte les émissions produites par la fabrication du matériel informatique utilisé pour le développement de cet LLM, l'infrastructure informatique au sens large ainsi que l'énergie nécessaire pour faire fonctionner BLOOM une fois la phase de développement terminée.
Aider la communauté de l'IA à avoir une meilleure idée de son impact sur l'environnement
Si ce nombre peut paraître élevé pour un seul modèle - 50 tonnes métriques d'émissions de carbone soit l'équivalent d'environs 60 vols reliant Londres à New York -, c'est nettement moins que les émissions associées à d'autres LLM de la même taille. Cela s'explique par le fait que BLOOM a été développé par un superordinateur français alimenté principalement par de l'énergie nucléaire qui ne produit pas d'émissions de carbone. Les modèles formés en Chine, en Australie ou dans certaines régions des Etats-Unis, dont les réseaux énergétiques reposent davantage sur les combustibles fossiles, sont susceptibles d'être plus polluants.
Après le lancement de BLOOM, Hugging Face a estimé que l'utilisation du modèle émettait environ 19 kilogrammes de dioxyde de carbone chaque jour. Un nombre qui est similaire aux émissions produites par une voiture neuve moyenne roulant sur un peu plus de 85 kilomètres.
À titre de comparaison, on estime que le GPT-3 d'OpenAI et l'OPT de Meta émettent respectivement plus de 500 et 75 tonnes métriques de dioxyde de carbone pendant leur développement. L'ampleur des émissions de GPT-3 peut s'expliquer en partie par le fait qu'il a été entraîné sur du matériel plus ancien et moins efficace. Mais il est difficile de se prononcer avec certitude sur ces chiffres. Il n'existe pas de méthode normalisée pour mesurer les émissions de carbone et ces chiffres sont basés sur des estimations externes ou, dans le cas de Meta, sur des données restreintes publiées par la société.
"Notre objectif était d'aller au-delà des seules émissions de carbone de l'électricité consommée pendant le développement et de prendre en compte une plus grande partie du cycle de vie afin d'aider la communauté de l'IA à avoir une meilleure idée de son impact sur l'environnement et de la façon dont nous pourrirons commencer à réduire cet impact", explique Sasha Luccioni, chercheur chez Hugging Face et auteur principal de l'article.
L'empreinte carbone des modèles de langage
L'article de Hugging Face établit une nouvelle norme pour les organisations qui développent des modèles d'IA, indique Emma Strubell, professeure adjointe à l'école d'informatique de l'université Carnegie Mellon, qui a écrit en 2019 un article fondateur sur l'impact de l'IA sur le climat. Emma Strubell n'a pas pris part à cette nouvelle recherche.
Cet article "représente l'analyse la plus approfondie, honnête et bien documentée de l'empreinte carbone d'un grand modèle machine learning (ML) à ce jour, pour autant que je sache, développant beaucoup plus de détails... que tout autre article [ou] rapport que je connais", souligne Emma Strubell.
D'après Lynn Kaack, professeure adjointe d'informatique et de politique publique à la Hertie School de Berlin, qui n'a pas participé aux travaux de Hugging Face, l'article apporte également des éclaircissements indispensables sur l'étendue de l'empreinte carbone des modèles de langage de grande taille. Elle dit avoir été surprise de voir l'ampleur des chiffres relatifs aux émissions sur le cycle de vie mais juge qu'il reste encore beaucoup à faire pour comprendre l'impact environnemental des grands modèles linguistiques dans le monde réel.
"Nous devons mieux comprendre les effets en aval, beaucoup plus complexes, dus à l'utilisation et à l'abus de l'IA... C'est beaucoup plus difficile à estimer. C'est pourquoi cette partie est souvent négligée", détaille Lynn Kaack. Cette dernière a co-écrit un article publié l'été dernier dans la revue Nature qui proposait un moyen de mesurer les émissions en chaîne causées par les systèmes d'IA.
Le secteur technologique est responsable d'environ 2% à 4% des émissions mondiales de gaz à effet de serre
Par exemple, les algorithmes de recommandation et de publicité sont souvent utilisés dans la publicité qui incite à son tour les gens à consommer et acheter plus de choses, ce qui entraîne davantage d'émissions de carbone. Selon Lynn Kaack, il est également important de comprendre comment les modèles d'intelligence artificielle sont employés. De nombreuses entreprises, telles que Google et Meta, utilisent des modèles d'IA pour classer les commentaires des utilisateurs ou leur recommander du contenu. Prises individuellement, ces actions consomment très peu d'énergie mais étant donné qu'elles sont réalisées un milliard de fois par jour elles s'additionnent et les émissions augmentent.
On estime que le secteur technologique, dans son ensemble, est responsable de 1,8% à 3,9% des émissions mondiales de gaz à effet de serre. Bien que l'IA et l'apprentissage automatique ne soient responsables que d'une fraction de ces émissions, l'empreinte carbone de l'IA reste très élevée pour un seul secteur de la technologie.
Grâce à une meilleure compréhension de la quantité d'énergie consommée par les systèmes d'IA, les entreprises et les développeurs peuvent faire des choix quant aux compromis qu'ils sont prêts à faire entre pollution et coûts engendrés, analyse Sasha Luccioni.
Un "signal d'alerte" pour les grands groupes technologiques
Les auteurs de l'article de Hugging Face espèrent que les entreprises et les chercheurs seront en mesure de réfléchir à la manière dont ils peuvent développer de grands modèles de langage en limitant leur empreinte carbone, déclare Sylvain Viguier, co-auteur de l'article en question et directeur des applications chez Graphcore, une société de semi-conducteurs.
Cela pourrait également encourager les gens à s'orienter vers des méthodes plus efficaces de recherches sur l'IA en affinant, par exemple, les modèles existants plutôt qu'en poussant à la création de modèles encore plus grands, ajoute Sasha Luccioni.
Les conclusions de l'article constituent "un signal d'alerte pour les personnes qui utilisent ce type de modèle, c'est-à-dire la plupart du temps des personnes travaillant pour des grandes entreprises technologiques", considère David Rolnick, professeur adjoint à l'école informatique de l'université McGill et à l'institut québécois d'intelligence artificielle (Mila). Avec Lynn Kaack, il est l'un des co-auteurs de l'article paru dans Nature mais il n'a pas participé aux travaux de Hugging Face.
"Les impacts de l'IA ne sont pas inévitables. Ils résultent de nos choix sur la manière dont nous utilisons ces algorithmes et sur le choix des algorithmes utilisés", conclut David Rolnick.
Article de Melissa Heikkilä, traduit de l'anglais par Kozi Pastakia.
- Accès à tous les articles réservés aux abonnés, sur le site et l'appli
- Le magazine en version numérique
- Navigation sans publicité
- Sans engagement
