Cette phrase a été écrite par une intelligence artificielle (IA). Vraiment ? Le nouveau chatbot (ou agent conversationnel) d'OpenAI, baptisé ChatGPT, nous met face à une problématique : comment savoir si ce que nous lisons sur Internet a été écrit par un humain ou par une machine ?
Depuis sa sortie publique fin novembre, ChatGPT a été utilisé par plus d'un million de personnes. La communauté de l'IA s'est enthousiasmée pour ce nouvel outil et il est évident que, de nos jours, on retrouve de plus en plus de textes sur la toile qui ont été générés par l'IA. Les gens s'en servent pour inventer des blagues, écrire des histoires pour enfants et rédiger de meilleurs e-mails.
ChatGPT est un dérivé de GPT-3, le grand modèle de langage d'OpenAI, qui génère des réponses, dans un langage quasi-identique à celui d'un humain, aux questions qui lui sont posées. La magie - et le danger - de ces grands modèles de langage réside dans l'illusion d'exactitude qu'ils donnent. Les phrases qu'ils produisent semblent correctes avec le bon type de mots placés dans le bon ordre. Toutefois, l'IA ne sait pas ce que cela signifie. Ces modèles fonctionnent en prédisant le mot suivant le plus probable d'être utilisé dans une phrase. Ils n'ont pas la moindre idée de ce qui est correct ou faux. Pourtant, ils présentent leurs réponses, avec assurance, comme des vérités absolues, et ce, même quand ce n'est pas le cas.
Dans un monde numérique déjà polarisé et politiquement tendu, ces outils d'intelligence artificielle pourraient amplifier ce phénomène en déformant encore plus les informations que nous consommons. S'ils sont déployés dans le monde réel, à travers des produits physiques, les conséquences pourraient être dévastatrices.
"Nous avons désespérément besoin de moyens pour différencier les textes écrits par des humains de ceux générés par une IA afin de contrer les éventuels abus de la technologie", explique Irene Solaiman, directrice des politiques de la start-up Hugging Face. Cette dernière a été chercheuse en intelligence artificielle chez OpenAI et a étudié la détection des sorties de l'IA pour le lancement du prédécesseur de GPT-3, baptisé GPT-2.
De nouveaux outils seront également essentiels pour faire respecter les interdictions relatives aux textes et aux codes générés par l'IA, comme celle annoncée récemment par Stack Overflow, un site web sur lequel les codeurs peuvent demander de l'aide. Le ChatGPT peut régurgiter en toute confiance des réponses à des problèmes logiciels mais il n'est pas infaillible. Une erreur de code peut entraîner des bugs et des pannes logiciels et la réparation peut se révéler être à la fois coûteuse et chaotique.
Un porte-parole de Stack Overflow a déclaré que les modérateurs de l'entreprise "examinent des milliers de rapports soumis par les membres de la communauté au moyen d'un certain nombre d'outils tels que des modèles heuristiques et de détection", sans donner plus de détails.
En réalité, c'est incroyablement difficile et l'interdiction est quasiment impossible à faire respecter.
Les textes écrits par les humains sont truffés de fautes de frappe
Des chercheurs ont essayé de détecter les textes générés par l'IA de différentes manières. L'une des méthodes les plus courantes consiste à utiliser un logiciel pour analyser les diverses caractéristiques du texte. Par exemple, la fluidité de la lecture, la fréquence d'apparition de certains mots ou l'existence de modèles dans la ponctuation ou la longueur des phrases.
"Si vous disposez d'une quantité suffisante de texte, il est très facile de repérer le pronom 'le' qui apparaît trop souvent", précise Daphne Ippolito, chercheuse principale chez Google Brain, l'unité de recherche de la société spécialisée dans le deep learning (ou apprentissage profond, en français).
Comme les grands modèles de langage fonctionnent en prédisant le prochain mot d'une phrase, ils sont plus susceptibles d'utiliser des mots courants comme "le", "il", ou "est" au lieu de mots complexes et rares. Les systèmes de détection automatisés sont efficaces précisément pour capter ce genre de texte. C'est ce qu'ont constaté Daphne Ippolito et une équipe de chercheurs travaillant pour Google dans une étude publiée en 2019.
Par ailleurs, les travaux menés par Daphne Ippolito ont également mis en lumière quelque chose d'intéressant : les participants humains avaient tendance à penser que ce type de texte "propre" présentait mieux et contenait moins de fautes, concluant qu'il devait avoir été écrit par une vraie personne.
En réalité, les textes écrits par les humains sont truffés de fautes de frappe et sont incroyablement variables en raison des différents styles et de l'utilisation de l'argot. "Les modèles de langage, eux, font très rarement des fautes de frappe. Ils sont bien meilleurs pour générer des textes parfaits", souligne Daphne Ippolito.
"Une faute de frappe dans un texte est un très bon indicateur montrant que celui-ci a été écrit par un humain", poursuit-elle.
Les grands modèles de langage eux-mêmes peuvent également être utilisés pour détecter les textes générés par l'IA. "L'une des méthodes les plus efficaces consiste à entraîner de nouveau le modèle sur des textes écrits par des humains et d'autres créés par des machines afin qu'il apprenne à faire la différence entre les deux", explique Muhammad Abdul-Mageed, titulaire de la chaire de recherche du Canada sur le traitement du langage naturel et du machine learning (ou apprentissage automatique, en français) à l'université de Colombie-Britannique, qui a étudié la détection.
Des méthodes de détection inefficaces face aux chatbots et assistants virtuels ?
Scott Aaronson, informaticien à l'université du Texas, détaché en tant que chercheur chez OpenAI pendant un an, a quant à lui développé des filigranes pour les longs textes générés par des modèles tels que GPT-3. "Un signal secret autrement imperceptible dans ses choix de mots que vous pouvez utiliser pour prouver plus tard que, oui, GPT est bien l'auteur", écrit-il sur son blog.
Un porte-parole d'OpenAI a confirmé que la société travaille sur les filigranes et a déclaré que les politiques de l'entreprise stipulent que les utilisateurs doivent clairement indiquer un texte généré par l'IA "d'une manière visible et compréhensible de tous".
Toutefois, ces solutions techniques sont assorties d'importantes réserves. La plupart d'entre elles n'ont aucune chance contre la dernière génération de modèles de langage de l'IA car elle est construite sur le modèle GPT-2 ou d'autres modèles antérieurs. Beaucoup de ces outils de détection fonctionnent mieux lorsqu'il y a beaucoup de texte disponible. Ils seront moins efficaces dans certains cas concrets, comme avec les chatbots ou les assistants virtuels, qui reposent sur des conversations plus courtes et qui fournissent moins de données à analyser. De plus, l'utilisation de grands modèles de langage pour la détection nécessite de faire appel à des ordinateurs puissants et à un accès au modèle d'IA lui-même, ce que les entreprises technologiques ne permettent pas, détaille Muhammad Abdul-Mageed.
D'après Irene Solaiman, plus le modèle est gros et puissant, plus il est difficile de construire des modèles d'IA pour distinguer les textes écrits par un humain de ceux qui ne le sont pas.
"Désormais, ce qui est véritablement inquiétant c'est que [ChatGPT a] des résultats vraiment impressionnants. Les modèles de détection ne peuvent tout simplement pas suivre. Vous ne faites que courir après votre retard", poursuit-elle.
Toujours selon Irene Solaiman, il n'existe pas de solution miracle pour détecter les textes générés par l'intelligence artificielle. "Un modèle de détection n'est pas la solution pour repérer les textes synthétiques, de la même manière qu'un filtre de sécurité n'est pas la solution pour atténuer les biais", analyse-t-elle.
Former les internautes à mieux repérer les textes générés par l'IA
Pour avoir une chance de résoudre le problème, nous avons besoin de correctifs techniques améliorés et de plus de transparence à partir du moment où les humains interagissent avec une IA. Les gens doivent apprendre à repérer les signes montrant que les phrases ont été écrites par l'IA.
"Ce qui serait vraiment bien, c'est un plug-in pour Chrome ou n'importe quel autre navigateur web qui nous permettrait de savoir si un texte consulté sur une page Internet est généré par une machine", propose Daphne Ippolito.
Des outils aidant les internautes existent déjà. Des chercheurs de Harvard et d'IBM ont développé un outil appelé Giant Language Model Test Room (GLTR) qui vient en aide aux humains en mettant en évidence les passages qui pourraient avoir été écrits par un programme informatique.
Mais l'IA nous trompe déjà. Des chercheurs de l'université Cornell ont constaté que 66% des gens interrogés ont trouvé crédibles des articles générés par GPT-2. Ces derniers étaient pourtant remplis de fake news.
Une autre étude a mis en lumière le fait que des humains non-formés étaient capables de repérer correctement un texte écrit par GPT-3 mais seulement de manière hasardeuse.
La bonne nouvelle, c'est qu'il est possible de former les gens à mieux repérer les textes générés par l'IA, explique Daphne Ippolito. Elle a créé un jeu pour tester le nombre de phrases qu'un ordinateur peut générer avant qu'un joueur ne se rende compte qu'il n'a pas affaire à un être humain. Elle a constaté que les gens s'amélioraient progressivement avec le temps.
"Si vous regardez beaucoup de textes génératifs et que vous essayez de trouver ce qui n'a pas de sens, vous pouvez vous améliorer dans cette tâche", indique-t-elle. L'un des moyens consiste à repérer les déclarations invraisemblables, comme cette IA qui a affirmé qu'il fallait 60 minutes pour préparer une tasse de café.
GPT-3, le prédécesseur de ChatGPT, n'existe que depuis 2020. OpenAI affirme que ChatGPT est une démo mais ce n'est qu'une question de temps avant que des modèles tout aussi puissants soient développés et déployés dans des produits tels que les chatbots utilisés pour le service client ou les systèmes de soins. Et c'est bien là que réside le nœud du problème : la vitesse de développement dans ces secteurs signifie que tous les moyens pour repérer les textes générés par l'intelligence artificielle deviennent très vite obsolètes. C'est une course aux armements et, pour l'instant, nous sommes en train de perdre.
Article de Melissa Heikkilä, traduit de l'anglais par Kozi Pastakia.
- Accès à tous les articles réservés aux abonnés, sur le site et l'appli
- Le magazine en version numérique
- Navigation sans publicité
- Sans engagement
