La mathématicienne et « scientifique des données » Cathy O’Neil, ex-analyste à Wall Street et militante du mouvement Occupy, a publié en 2018 son livre Algorithmes. La bombe à retardement. Elle y présente une analyse problématisée de l’impact d’une société qui livre de plus en plus de décisions sociales fondamentales à des algorithmes. Voici une courte synthèse de ses principaux arguments.
Les algorithmes, de même que tout ce qui est associé à la science et à la technologie, ont tendance à être perçus comme un mécanisme objectif, neutre, extérieur aux complexités sociales. Or, argumente Cathy O’Neil, les algorithmes sont plutôt le reflet d’opinions non-scientifiques des développeurs, qui contrôlent et prennent les décisions sur leur production finale. En particulier, c’est le type de données à utiliser et la définition du résultat attendu qui, en soi, est sensible aux biais sociaux et idéologiques de ces développeurs.
Sans réflexion critique préalable, les algorithmes en arrivent à reproduire, voire amplifier, les inégalités sociales. Par exemple, si un algorithme doit déterminer quel·les candidat·es ont le plus de chance d’être embauché·es à Fox News (pour reprendre l’exemple développé par la mathématicienne), il se basera sur les caractéristiques sociales des dirigeants historiques de la chaîne de télévision : hommes, blancs, de classes moyennes ou supérieures. Les femmes auraient beaucoup moins de probabilité d’être sélectionnées par l’algorithme car dans le passé elles n’avaient pas accès à ces postes : en un sens, le passé définit le futur. Ainsi, si on construit un algorithme à partir d’une culture discriminatoire, les inégalités ne peuvent être que reproduites et amplifiées par les calculs automatisés.
Selon cette auteure, les algorithmes sont des « armes de destructions mathématiques » [1] pour trois raisons :
- il s’agit d’un système de notation qui prend des décisions graves, importantes, à fort impact sur la vie des personnes ;
- leur fabrication est maintenue secrète, tout autant que la nature des données prises en compte et des définitions du résultat à atteindre ;
- les algorithmes sont fondamentalement injustes, car ils creusent les inégalités sociales.
L’exemple paradigmatique de cela est l’algorithme de prédiction de récidive utilisé par le système judiciaire états-unien. En obtenant un score élevé, une personne condamnée reçoit une peine de prison plus longue pour « éviter la récidive ». Or, les données utilisées présentent un biais raciste évident : le taux de criminalité du quartier de résidence (dans un pays géographiquement très ségrégué), si le père du détenu a fait de la prison, s’il touche des prestations sociales... Des éléments que la population afro-états-unienne a beaucoup plus de probabilité de rassembler. Les hommes noirs se retrouvent donc à écoper des peines de prison bien plus longues que les hommes blancs pour les mêmes délits ou crimes. Cet algorithme, mis en place à l’origine pour contrebalancer le racisme notoire de certain·es juges états-unien·nes grâce à des mesures « objectives », finit par inscrire en son sein même le racisme qu’il était censé combattre – voire pire, car la croyance en l’objectivité de l’algorithme rend plus invisibles les dynamiques racistes à l’œuvre.
Le problème réside donc d’un côté, en cette fausse impression de la neutralité des algorithmes, et de l’autre, en l’absence de conscience sociale des développeurs informatiques qui ne se sentent pas responsables de leur production technologique sur le plan éthique. Aucun garde-fou ne leur est d’ailleurs opposé, car l’idée qu’ils « savent ce qu’ils font car ils ont un doctorat » est largement répandue. Les algorithmes deviennent ainsi un mécanisme pour éluder les responsabilités personnelles et collectives face aux erreurs commises et aux injustices sociales.
Il est donc urgent, rappelle O’Neil, d’exiger collectivement un droit de regard citoyen sur la fabrication et l’utilisation des algorithmes ; qu’il soit possible de pousser les responsables techniques et politiques à rendre des comptes sur ces utilisations ; et que soient mis en place des mécanismes d’appels de décisions prises par algorithmes.