Régulièrement, Internet est secoué par des scandales avec des algorithmes qui associent des personnes noires avec des singes, chimpanzés, gorilles, etc. Lorsque les plateformes (Facebook et Google, notamment) sont mises en cause, en lieu et place de corriger l’erreur, il semble plutôt qu’elles suppriment le vocabulaire animalier de leur base lexicale. En somme, « effacer les symptômes de la maladie plutôt que de chercher un remède. »
Ces scandales montrent que les biais algorithmiques, ces technologies, sont tout sauf neutres. Les biais sociaux de ceux qui créent les algorithmes de reconnaissance d’images transpirent dans la façon dont ils fonctionnent : le racisme de ceux qui les programment et de ceux à qui est sous-traité l’étiquetage des données ; la sous-représentation de personnes noires dans les bases de données que les algorithmes traitent, etc.
L’imaginaire collectif autour d’une technologie perçue comme neutre (phénomène qui rend invisibles les biais sociaux à l’œuvre dans l’utilisation de ladite technologie) n’est pas nouveau. L’auteur rappelle que la question se posait déjà avec les débuts du cinéma et l’éclairage adéquat pour les différents types de peau. Ce qui était présenté comme un blocage lié à la technique s’est rapidement résorbé avec l’apparition de réalisateur·rices noir·es.
Ces « erreurs d’algorithmes » font désormais l’objet d’un nombre croissant de recherches, ce que recense par exemple le mouvement Black in AI. Ces « erreurs » s’inscrivent dans un continuum de biais racistes qui traversent tout l’Internet (et de fait, toutes nos sociétés), de façon plus ou moins évidente. Cette infrastructure discriminatoire est d’autant plus dangereuse qu’elle est en majorité invisible, et parfois même peu maîtrisée par ses propres concepteurs : elle a potentiellement des conséquences dramatiques, lorsqu’elle sert de support à des prises de décisions en termes de politique sanitaire, éducative, judiciaire, économique, etc.
Il est urgent de démonter le mythe de la neutralité de la technologie et des algorithmes.