Un algorithme Instagram pour protéger les utilisatrices contre les photos de pénis

Meta confirme que sa plateforme de partage photo est en train de tester un algorithme de censure de la nudité, pour protéger du harcèlement sexuel via le chat Instagram. D'aucuns craignent néanmoins un risque d'espionnage des messageries privées.

Des algorithmes pour contrôler le harcèlement en ligne

La plupart des utilisatrices de la plateforme Instagram connaissent malheureusement cette pratique courante qui consiste à envoyer des photos de sexe masculin, non sollicitées. Selon le Pew Research Center, 33% des femmes de moins de 35 ans ont déjà été harcelées sexuellement en ligne de cette manière l'année passée.

Un rapport publié par le Center for Countering Digital Hate a révélé que les outils de modération d'Instagram n'ont pas agi sur 90% des messages avec des images envoyés à des femmes. Pour éviter ce type de cyberharcèlement, la plateforme va, d'après un de ses développeurs s’exprimant sur Twitter, développer un algorithme capable d’entrer dans les messageries privées pour détecter de la nudité dans les photos, pour pouvoir les signaler avant la réception.

Un contrôle de la nudité attendu depuis longtemps

Meta a ensuite confirmé au média spécialisé The Verge que la fonctionnalité en était aux premiers stades de son développement. Elle aura pour objectif d'aider les gens à se protéger des photos de nus ainsi que d'autres messages indésirables. Cette technologie devrait pouvoir être activée de façon facultative, comme c’est le cas actuellement pour la fonction "Mots cachés", qui permet aux utilisateurs de filtrer automatiquement les demandes de messages directs contenant des contenus offensants. Mais selon le Center for Countering Digital Hate, cette fonctionnalité "mots cachés" n’est pas efficace, et n’a pas réussi à filtrer des insultes telles que "salope".

Un espion dans les conversations privées ?

Selon Meta, la technologie ne permettra pas à Meta de visualiser les messages réels ni de les partager avec des tiers. Liz Fernandez, porte-parole de Meta, assure que la plateforme donnera dans les prochaines semaines des détails sur la mise en place de cette fonctionnalité tout en protégeant la vie privée des utilisateurs : "Nous travaillons en étroite collaboration avec des experts pour nous assurer que ces nouvelles fonctionnalités préservent la vie privée des personnes, tout en leur donnant le contrôle sur les messages qu'elles reçoivent", a t-elle déclaré.

Un algorithme de détection de la nudité déjà très critiqué

En plus du risque d’espionnage des messages privés, d’autres critiques rappellent que charger une intelligence artificielle du contrôle de la nudité sur la plateforme, a déjà été très critiqué par le passé. En effet, en 2019, un collectif avait tiré la sonnette d’alarme en dénonçant ce type de contrôle automatique, qui bloquait injustement les photos des personnes en situation de surpoids. Les influenceurs en surpoids avaient vu leurs comptes signalés, et ont été victimes d’une diminution de la visibilité de leurs publications, car l’algorithme les identifie comme des comptes susceptibles de partager de la nudité.

Ce défaut vient du fait que l’algorithme évalue le pourcentage de peau visible sur la photo, ce qui pénalise forcément les personnes en surpoids. Pour répondre à cette polémique, Instagram avait déclaré que pour éviter des erreurs, des contrôleurs humains étaient aussi chargés de passer en revue le contenu pénalisé : en cas de doute, quand l'Intelligence artificielle détecte "trop de peau", la photo est envoyée à un opérateur humain pour censure ou validation.