IA : Des experts mettent en place un concours pour repérer les systèmes discriminants

La compétition est organisée bénévolement par un groupe d'experts travaillant au sein d'entreprises telles que Twitter, la société de logiciels Spunk et la start-up Reality Defender spécialisée dans la détection des deepfakes. Ils se sont baptisés les "Bias Buccaneers".

Le premier concours avec primes pour la détection de biais dans les systèmes IA portera sur les images. C'est un problème fréquent : Par le passé, par exemple, des systèmes de détection d'images défectueux ont identifié à tort des personnes noires comme des gorilles.

Les participants devront construire un modèle d'apprentissage automatique qui labellise chaque image en fonction de la couleur de peau, du sexe et de la tranche d'âge supposés des personnes présentes sur les clichés. Ceci devrait faciliter la mesure et la détection des biais au sein des ensembles de données. Pour ce faire, les participants auront accès à un ensemble de données comprenant environ 15.000 images de visages humains générés synthétiquement. Ils seront notamment classés en fonction de la précision avec laquelle leur modèle étiquette les images et la durée d'exécution du code. Le concours se termine le 30 novembre prochain.

Microsoft et la start-up Robust Intelligence se sont engagés à verser des récompenses d'un montant de 6;000 dollars au gagnant, de 4.000 dollars au deuxième et de 2.000 dollars au troisième. Amazon a offert 5;000 dollars au premier groupe de participants sur la puissance de calcul.

Ce concours incarne l'exemple d'une industrie naissante dans le domaine de l'intelligence artificielle : L'audit des biais algorithmiques. L'an dernier, Twitter a lancé le premier concours de vérification des biais de l'IA et l'université de Stanford vient de conclure son premier concours du même type. Parallèlement, la Fondation Mozilla à but non lucratif crée des outils à disposition des auditeurs de l'IA.

Ces audits sont appelés à devenir de plus en plus courants. Ils ont été salués par les régulateurs et les experts en éthique de l'IA comme un bon moyen de responsabiliser davantage les systèmes d'IA. Dans certaines juridictions, ces audits vont devenir une obligation légale.

La nouvelle loi européenne sur la modération des contenus, baptisée loi sur les services numériques, prévoit des obligations d'audit annuel des données et des algorithmes utilisés par les grandes plateformes technologiques. La future loi européenne sur l'IA pourrait aussi permettre aux autorités de réaliser un audit sur les systèmes d'IA. L'institut national américain des normes et de la technologie recommande également des audits de l'IA en tant que de normes de référence. Selon Alex Engler, qui étudie la gouvernance de l'IA au sien du groupe de réflexion Brookings Institution, l'idée est que ces audits agissent comme les inspections que l'on voit dans d'autres secteurs à haut risque comme les usines chimiques par exemple.

Toutefois, cette volonté est confrontée à un double problème : premièrement, on ne dispose pas de suffisamment d'entrepreneurs indépendants pour répondre à la future demande d'audits algorithmiques. Et deuxièmement, les entreprise sont réticentes à l'idée de leur donner accès à leurs systèmes. C'est ce qu'affirment la chercheuse Deborah Raji, spécialisée dans la responsabilité de l'IA, ainsi que ses co-auteurs dans un article publié en juin dernier.

Les concours espèrent justement permettre de contourner ces problèmes. La communauté IA aspire à inciter davantage d'ingénieurs, de chercheurs et d'experts à acquérir les compétences et l'expérience nécessaires pour mener à bien ces audits. Jusqu'à présent, la plupart des examens limités dans le monde de l'IA sont menés soit par des universitaires soit par des entreprises technologiques elles-mêmes. L'objectif de concours tels que celui-ci est de créer un nouveau secteur d'experts spécialisés dans l'audit de l'intelligence artificielle.

"Nous tentons de créer un troisième espace pour les personnes qui s'intéressent à ce type de travail, pour les personnes qui souhaitent se lancer ou qui sont des experts ne travaillant pas pour de grands groupes technologiques", explique Rumman Chowdhury, directrice chez Twitter de l'équipe éthique, transparence et responsabilité de l'apprentissage automatique. Elle est également cheffe de file des Bias Buccaneers. "Cette offre peut concerner aussi bien des hackers que des spécialistes des données qui ont le désir d'acquérir une nouvelle compétence", ajoute-t-elle.

À l'origine de ce concours avec système de primes, les Biais Buccaneers espèrent qu'il ne s'agit là que du premier d'une longue série.

Des compétitions de ce type incitent non seulement la communauté des personnes travaillant sur l'apprentissage automatique à effectuer des audits mais elles font également progresser la compréhension commune sur "la meilleure façon de mener des audits et sur les types d'audit dans lesquels il faut investir", détaille Sara Hooker, qui dirige Cohere for AI, un laboratoire de recherche en IA à but non lucratif.

Cet effort est "fantastique et absolument nécessaire", insiste Abhishek Gupta, fondateur de l'AI Ethics Institute de Montréal, qui était juge lors du défi lancé par l'université de Stanford. "Plus il y a de pairs d'yeux qui scrutent un système, plus il y a de chances que nous y trouvions des failles", précise-t-il.

Article de Melissa Heikkilä, traduit de l'anglais par Kozi Pastakia.