Être sur les réseaux sociaux peut donner l'impression de vivre dans un nouveau type de ville. C'est même la plus grande ville du monde. Des millions de personnes peuvent y faire des choses qui dépassent les rêves les plus fous de leurs parents. Ils peuvent vivre ensemble, jouer ensemble et apprendre ensemble. La ville est une merveille. Toutefois, c'est également une ville pourrie. Des eaux d'égout brutes se déversent dans les rues. De temps en temps, une frénésie de masse s'installe. Des citoyens dénoncent d'autres citoyens. Les relations sont irrévocablement brisées.
Mon travail consistait à protéger la ville. J'étais membre de l'équipe d'intégrité civique de Facebook. Mes collègues et moi recherchions et résolvions les problèmes d'intégrité - les abus sur la plateforme comme la diffusion de canulars, les discours de haine, le harcèlement, les appels à la violence, etc. Au fil du temps, nous sommes devenus des experts grâce à toutes les personnes, les heures et les données consacrées à ce problème. Comme dans toute communauté d'experts, nous avions tous des façons différentes d'aborder le problème. Pour ma part, j'ai commencé à penser comme un urbaniste. La ville doit être conçue correctement dès le départ. Elle a besoin de quartiers construits pour que les gens, les sociétés et les démocraties puissent s'épanouir.
Il s'agit d'une approche différente qui a fait son apparition dans les entreprises travaillant dans l'univers des réseaux sociaux : la conception de l'intégrité. Les défenseurs de l'intégrité comme moi essayent de défendre un système contre les agresseurs qui ont trouvé et appris à abuser des bugs et des failles dans ses règles ou sa conception. Notre travail consiste à mettre systématiquement fin aux préjudices en ligne que les utilisateurs s'infligent mutuellement. Nous ne nous lançons pas (souvent) dans la prise de décisions concernant un message ou une personne en particulier. Nous réfléchissons plutôt aux incitations, aux écosystèmes d'information et aux systèmes en général. Les entreprises spécialisées dans les réseaux sociaux doivent donner la priorité à la conception de l'intégrité plutôt qu'à la modération du contenu et le public doit leur demander des comptes à ce sujet.
Tout d'abord, prenons un peu de recul : si les réseaux sociaux sont une ville nouvelle, pourquoi sont-ils si difficiles à gouverner ? Pourquoi les vraies villes ne voient-elles pas des millions de citoyens tomber dans des sectes en l'espace de quelques mois ? Comment peuvent-elles organiser des conférences sans harcèlement ? Comment peuvent-elles disposer de clubs qui ne transformer par les gens en robot crachant de la propagande ? Pourquoi n'y-a-t-il pas de vague de recrutement nazi ? Qu'est-ce que la ville physique possède que la ville virtuelle n'a pas ?
La physique. Plus précisément, des limites physiques.
En tant que société, nous avons mis en place une combinaison de règles, de normes et de modèles de conception qui fonctionnent, plus ou moins, pour limiter certains types de comportement terrible. Ces règles supposent que nous n'avons pas développé de superpouvoirs. Cependant, en ligne, les internautes ont effectivement des pouvoirs tels que le clonage (armées de robots), la téléportation (capacité de poster à plusieurs endroits simultanément), le déguisement (pseudonyme), etc. Dans une ville physique, un propagandiste, seul, est limité par son endurance vocale ou la capacité de son portefeuille. Dans la ville en ligne, la même personne peut poster dans 400 groupes (touchant ainsi des dizaines de milliers de personnes) chaque heure et cela gratuitement. Dans une ville physique, prendre une nouvelle identité implique du maquillage, des documents falsifiés et beaucoup de travail. Dans la ville des réseaux sociaux, il suffit de deux minutes pour créer un nouveau compte. La ville physique est peuplée d'êtres humains. Dans la ville des réseaux sociaux à tout moment par à quelqu'un qui est, sans que vous ne le sachiez, un robot. Dans une ville physique, les déplacements prennent du temps. Dans la ville des réseaux sociaux, il est trivial pour des adolescents macédoniens d'usurper l'identité de personnes vivant dans un hémisphère différent.
Dans un système où plus votre comportement est mauvais, plus vous êtes incité à agir ainsi, la punition après coup est vouée à l'échec. Heureusement, nous avons d'autres approches. Après tout, la ville physique ne résout pas non plus les problèmes en surveillant et en arrêtant tout le monde. Les campagnes de santé publique et les travailleurs sociaux peuvent aider les gens avant qu'il en soit trop tard. Nous construisons des espaces publics comme des marchés fermiers et des bibliothèques pour créer un sentiment de communauté.
Si nous sommes des urbanistes, les modérateurs de contenu sur les plateformes sont à la fois des flics, des juges et des jurés. Ces personnes - qui sont généralement des contractuels sous-payés et sur-traumatisés - se sont vu confier la tâche impossible d'examiner des millions de messages potentiellement problématique et de déterminer, en quelques secondes et sans contexte critique, s'ils violent les lois de la ville, en constante évolution, afin que les sanctions appropriées puissent être appliquées. Ils sont obligés de trancher des affaires à fort enjeu avec un minimum de preuves et sans procès. Quelle que soit leur décision, les gens sont furieux et la ville ne semble jamais devenir plus sûr. La modération du contenu ne peut pas résoudre les problèmes systémiques qui affectent les réseaux sociaux, pas plus que le agents de la circulation ne peuvent protéger les routes sans marquage au sol des voies, sans limitation de vitesse, sans panneaux ni feux de signalisation. Nous n'arriverons jamais à arrêter ou à censurer ce problème et d'ailleurs nous ne devrions pas essayer.
Le travail des équipes d'intégrité apporte une solution différente. Nous sommes peut-être sous les feux de la rampe aujourd'hui mais nous avons une longue histoire dans le secteur. Nous avons beaucoup appris des approches de la lutte contre le spam dans les boites mails ou les moteurs de recherche et nous empruntons de nombreux concepts à la sécurité informatique.
L'une des meilleures stratégies d'intégrité que nous ayons trouvées consiste à ramener une certaine friction du monde réel dans les interactions en ligne. Pour expliquer cela, je me concentrerai sur deux exemples - mais il existe de nombreux autres mécanismes de ce type comme la limitation de la taille des groupes, un système de karma ou de réputation (comme le PageRank de Google), un indicateur de localisation, des structures pour une bonne conversation et un bouton de partage moins puissant. Pour l'instant, parlons de deux idées que les travailleurs de l'intégrité ont développées : nous les appellerons examens de conduite et ralentisseurs.
Premièrement, nous devons faire en sorte qu'il soit plus difficile pour les gens d'avoir de faux comptes. Imaginez qu'après avoir été arrêté pour un crime, n'importe qui puisse sortir de prison et être parfaitement déguisé en une toute nouvelle personne. Imaginez qu'il soit impossible de savoir si vous parlez à un groupe de personnes ou à une seule personne qui change rapidement de déguisement. Ce manque de confiance n'est pas bon. En même temps, nous devons nous rappeler que les comptes avec pseudonyme ne sont pas toujours une mauvaise chose. La personne derrière le pseudonyme est peut-être un adolescent gay qui n'a pas fait son coming-out auprès de sa famille ou un militant des droits de l'Homme vivant sous un régime répressif. Nous n'avons pas besoin d'interdire tous les faux comptes mais nous pouvons rendre la tâche plus complexe.
Autre solution : Dans de nombreux pays, vous ne pouvez pas conduire une voiture sans avoir eu quelques heures de conduite accompagné d'un moniteur et sans avoir passé un examen. De même, les nouveaux comptes ne devraient pas avoir un accès immédiat à toutes les fonctionnalités d'une application. Pour débloquer les fonctionnalités dont on peut abuser (spam, harcèlement, etc), un compte devrait peut-être avoir à payer un certain coût en terme de temps et d'efforts. Peut-être a-t-il besoin de temps pour "mûrir" ? Peut-être doit-il avoir suffisamment de bonne volonté dans un système de karma. Peut-être doit-il réaliser certaines tâches qui sont difficiles à accomplir pour un robot ? Ce n'est qu'une fois que le compte aura passé cet "examen de conduite" qu'on lui accordera la confiance nécessaire pour accéder au reste de l'application.
Les spammeurs pourraient, bien sûr, contourner ces obstacles. En fait, nous attendons d'eux qu'ils le fassent. Après tout, nous ne voulons pas rendre la tâche trop difficile aux utilisateurs légitimes de faux comptes. Cependant, en demandant un certain effort pour créer un nouveau "déguisement", nous réintroduisons un peu de physique dans l'équation. Avoir trois faux comptes, ça pourrait être gérable. En revanche, centaines ou des milliers, cela deviendrait trop difficile à gérer.
En ligne, les pires méfaits proviennent presque toujours des utilisateurs puissants. C'est assez intuitif à comprendre : les réseaux sociaux encouragent généralement leurs membres à publier autant que possible. Les utilisateurs puissants peuvent le faire beaucoup plus souvent, touchant des publics différents et plus simultanément que dans la vie réelle. Dans les villes traditionnelles, le coût du préjudice causé par une personne est limité par la nécessité physique pour une personne donnée de se trouver à un endroit ou de s'adresser à un public à la fois. Ce n'est pas le cas sur Internet.
En ligne, certaines actions sont parfaitement raisonnables si elles sont faites avec modération mais elles deviennent suspectes lorsqu'elles sont réalisées en masse. Pensez à créer deux douzaines de groupes en même temps, à commenter un millier de vidéos par heure ou à poster toutes les minutes pendant une journée entière. Lorsque nous voyons des gens utiliser une fonctionnalité de manière excessive, nous pensons qu'ils agissent probablement comme s'ils conduisaient une voiture à une vitesse dangereux. Nous avons une solution : le dos d'âne. Empêchez-les de faire cette chose pendant un certain temps. Il n'y a pas de jugement de valeur ici - ce n'est pas une punition, c'est un dispositif de sécurité. De telles mesures seraient un moyen facile de rendre les choses plus sûres pour tout le monde tout en ne gênant qu'une petite fraction de la population.
Ces idées s'inspirent d'un même principe : la friction. C'est une autre façon de parler de l'imposition de coûts croissants aux actions lorsqu'elles commencent à être physiquement impossibles. Avec les examens de conduite, l'action c'est la création d'un compte ; avec les ralentisseurs, l'action c'est de poster ou de commenter. Les coûts ne doivent pas nécessairement être de l'argent au sens propre. Il peut s'agir d'un décalage avant l'exécution de l'action, d'une pénalisation du classement du contenu de l'utilisateur dans un flux ou d'une modification de l'apparence d'un contenu pour le rendre moins attrayant. En résumé, au-delà d'un certain seuil, le énième message, commentaire, retweet ou action devrait coûter plus cher que le précédent.
En fait, à partir de cela, nous pouvons obtenir une bonne définition du spam. Ce dernier est ce qui se passe lorsque les gens trichent en profitant du manque de physique en ligne. La solution semble simple : réparer la physique pour lutter contre les spammeurs. Après tout, en tant qu'industrie, nous savons comment combattre le spam.
La conception intégrale peut résoudre certains problèmes épineux comme la guerre permanente contre la "censure". Elle peut soulager la pression pesant sur un système de modération du contenu surchargé. Elle peut créer un système qui résiste à la fois aux "attaques" intentionnelles des services de renseignement et au problèmes "organiques" des personnes qui apprennent à abuser des règles. Cependant, la conception de l'intégrité ne peut à elle seule empêcher les entreprises de prendre de mauvaises décisions.
Le piège des parties prenantes peut ruiner le travail de toute une équipe chargée de l'intégrité. Une grande partie de la lutte contre le spam consiste à identifier les failles de votre système et à les combler. Il est impossible de s'attaquer à ces failles favorisant les spams sans nuire aux personnes qui en profitent actuellement. Lorsque vous faites cela, ils se mettent en colère. Ils peuvent se plaindre bruyamment. Rappelez-vous ceci : leur portée actuelle provient du spam. Ils ne le "possèdent" pas. C'est du vol, ce n'est pas un droit. Si vous les laissez vous intimider, vous échouerez.
Souvent, les entreprises sociales échouent à ce test.
Pendant trop longtemps, le travail d'intégrité a été un service public piégé dans des entités privées. Nous avons identifié des moyens de construire de meilleures villes et nous nous sommes battus pour les mettre en oeuvre. Toutefois, si nos propositions allaient à l'encontre des objectifs d'autres entreprises, elles risquaient de ne pas voir le jour. Nous avons également été seuls : si une équipe d'une entreprise met au point une nouvelle technique importante pour protéger les gens, il est difficile de faire passer le mot à ses collègue ailleurs. C'est pourquoi nous venons de lancer l'Integrity Institute, un groupe de réflexion à but non lucratif, le premier du genre, dirigé par une communauté de professionnels de l'intégrité. Nous ferons progresser la théorie et la pratique du travail sur l'intégrité et nous partagerons ces connaissances avec le public, les entreprises et les autres. Le monde mérite d'entendre des explications indépendantes et honnêtes sur le fonctionnement de ces nouvelles villes et sur la façon dont nous pouvons effectivement mieux les construire.
Nous savons ce que les entreprises doivent faire : elles doivent donner la priorité à la conception de l'intégrité avec des concepts tels que les limites inspirées de la physique et des stratégies de lutte contre les spams. Elles doivent conserver une certaine modération du contenu mais se concentrer davantage sur l'investigation des attaques au lieu d'arrêter métaphoriquement des gens pour avoir jeté des détritus. Elles doivent tenir bon et appliquer réellement leurs propres politiques. Nous savons également ce que le public doit faire : Il doit soit faire pression sur les entreprises pour qu'elles prennent les bonnes décisions soit persuader les employés, les annonceurs de ces structures ou encore les législateurs de les y contraindre. Il ne suffit pas de démissionner : Votre oncle se laissera happer par de violentes théories du complot quelle que soit la fréquence à laquelle vous vous connectez, ou non, à YouTube.
La conception intégrale est déjà en cours dans certaines entreprises mais elle a besoin de soutien. Trop souvent, les entreprises empêchent ces équipes de faire leur travail au maximum lorsque ce travail entre en conflit avec d'autres priorités de l'entreprise comme le fait d'augmenter l'engagement des utilisateurs.
Tribune de Sahar Massachi datant du 20 décembre 2021, traduite de l'anglais par Kozi Pastakia.
- Accès à tous les articles réservés aux abonnés
- Le magazine en version numérique
- Sans engagement
