« Algorithmes, la bombe à retardement » : un cri d’alarme citoyen

Attention, c’est du brutal. Algorithmes, la bombe à retardement (Novembre 2018, Les Arènes) nous plonge dans les cuisines peu ragoûtantes des fabricants d’algorithmes. L’auteure, Cathy O’Neil, est une mathématicienne américaine de haut vol passée de l’université aux banques puis aux analyses en big data avant de se reconvertir en lanceuse d’alerte. Elle pousse ici un cri d’alarme citoyen : nous ne pouvons pas rester spectateurs d’un monde où nous sommes de plus en plus tributaires d’outils conçus de façon opaque, utilisés à des fins commerciales ou sécuritaires et ayant pour conséquence d’exacerber les inégalités.

« Un manuel citoyen du XXIe siècle ». Voilà en quels termes le Financial Times présente Weapons of Math Destruction. How Big Data Increases Inequality and Threatens Democracy, le livre de Cathy O’Neil, sorti en 2016 aux États-Unis et fraîchement traduit en français. Un ouvrage également adoubé par l’historien Yuval Noah Harari, et dont la version française est préfacée par un autre mathématicien célèbre – et député, et candidat à la candidature à la mairie de Paris -, Cédric Villani. On se dit que l’engouement pour le propos de Cathy O’Neil devrait aller croissant, tant les thèses avancées dans son livre sont confirmées jour après jour. Ainsi, la postface du livre rappelle que ce qu’elle redoutait début 2016 s’est concrétisé avec l’élection présidentielle de Trump, à grands renforts d’algorithmes de Facebook déviants… Scandale déjà renvoyé au rang d’amateurisme par les magouilles sur Whatsapp effectuées pendant la campagne qui a mené à l’élection de Jair Bolsonaro à la présidence du Brésil.

Comme à la guerre 

Contre ces algorithmes malséants, Cathy O’Neil s’insurge et, contrairement à une partie de la culture hacker, elle le fait à visage découvert : «  Je suis sur Google, je n’utilise pas Tor ou autres proxy. Je n’ai pas besoin de me cacher : les ravages des algorithmes ne frappent pas des gens comme moi. Au contraire, le système est fait pour favoriser les gens comme moi et fragilise encore les plus fragiles », a-t-elle déclaré mardi 6 novembre, lors d’une rencontre organisée à Paris par son éditeur (les Arènes).

Pour comprendre la thèse du livre, il faut en lire l’envoi : « À tous ceux que l’on donne perdants ». « On », ce sont les dominants qui, sous couvert de discours méritocratique et exaltant l’égalité des chances, déploient des algorithmes qui traquent les dominés dans un grand nombre de domaines et leur infligent de sévères dommages. Comme à la guerre.

L’allégorie guerrière parcourt d’ailleurs tout le livre. Pour nommer ces algorithmes malfaisants, elle parle d’« ADM » pour « Arme de destruction mathématique ». Ces armes sont conçues sans que les soldats ne s’en rendent compte, comme elle l’écrit dans des travaux de recherche en géométrie algébrique et mathématique au MIT. Désireuse de confronter ses recherches à la réalité des marchés, elle quitte l’université pour un Wall Street en surchauffe, en 2007.  Elle y reste quatre ans, stupéfaite par le déni de l’industrie de la finance par rapport aux risques pris. En 2011, elle ajoute deux mots à son CV – « data scientist » – et s’en va monnayer ses services chez Insent Media.

Si nous ne prenons pas des mesures politiques contraignantes, les algorithmes vont continuer d’exacerber violemment les inégalités 

La désillusion est rapide : « Je décelais en réalité toutes sortes de parallèles entre la finance et le big data. Ces deux industries exploitent avidement le même vivier de talents, issus pour la plupart d’universités d’élite à qui on fait comprendre qu’ils deviendront riches et dirigeront le monde. En outre, leur productivité montre qu’ils sont sur la bonne voie, et se traduit en dollars. D’où cette conclusion – si fallacieuse soit-elle – que tout ce qui peut rapporter davantage d’argent est forcément bon et “ajoute de la valeur”. Sinon, pourquoi le marché récompenserait-il ce genre de comportements ? ».

Cette double immersion dans les milieux où l’on crée des fausses valeurs pousse la mathématicienne à prendre la plume : si nous ne prenons pas des mesures politiques contraignantes, les algorithmes vont continuer selon elle d’exacerber violemment les inégalités dans un grand nombre de secteurs, à rebours de ce que nous disent les solutionnistes.

Des inégalités accrues face à l’emploi ou l’éducation

Ainsi du monde du travail, où elle réalise que les recrutements se font de plus en plus sans passer par un jugement humain. Dans un grand nombre de postes où la réputation est en jeu, il y a ceux qui peuvent s’acheter un service d’achats de followers Twitter à 19,95 $ par mois et ceux qui restent bloqués à un nombre confidentiel de fans et qui n’auront jamais de community à manager. À l’autre bout de l’échelle sociale, un nombre croissant de demandeurs d’emplois dans des multinationales comme Home Depot, Lowe’s ou Walgreen voient leurs candidatures bloquées par des algos, pour cause d’antécédents psychiatriques. 

O’Neil montre comment les inégalités jouent ici un rôle crucial, notamment avec l’exemple de Kyle Behm, jeune homme brillant, score parfait au SAT et admis dans la grande fac de Vanderbilt, qui doit faire une pause de deux ans dans ses études pour soigner des troubles bipolaires. Quand il reprend ses études dans une autre fac, il cherche à côté des petits jobs alimentaires pour lesquels il échoue systématiquement, ce qui le conforte dans l’idée de sa maladie mentale et de son incapacité à s’insérer. Mais le père de Kyle, avocat, se renseigne sur la société Kronos, celle qui a fait passer des tests de personnalité à son fils. Il découvre que ceux-ci se rapprochent de ceux exigés dans les hôpitaux. Sur la base de ces tests très discutables, Kyle est évincé du marché de l’emploi. Son père a alors intenté une class action (inaboutie à ce jour) pour déterminer qui, de Kronos ou des entreprises qui recourent aux services de ces tests, se rend coupable de discrimination à l’emploi. Mais tout le monde n’a pas la chance d’avoir un père avocat pour le défendre, et on pense aux milliers de personnes restées interdites face au refus reçus sans explication autre que « did not pass the test ».

L’analyse de Cathy O’Neil sur la puissance de destruction de certains algorithmes mal intentionnés vaut aussi dans le secteur de l’éducation. Aux Etats-Unis, les étudiants les plus pauvres se retrouvent ainsi inondés de pubs pour des facs de seconde catégorie, qui misent tout là-dessus pour remplir leurs amphis, quand les bonnes facs jouent plus de la réputation de leurs profs : « Apollo Group, maison mère de l’Université de Phoenix, a dépensé en 2010 plus de 1 milliard de dollars pour son marketing, focalisé presque entièrement sur le recrutement. Ce qui donnait 2 225 dollars par étudiant pour le marketing, et seulement 892 pour l’enseignement, raconte Cathy O’Neil. Un chiffre à comparer au Portland Community College, dans l’Oregon, qui dépense 5 953 dollars par étudiant pour l’enseignement et 185 pour le marketing ».

Un cercle vicieux potentiellement exponentiel 

La sphère judiciaire suit la même pente, avec un nombre d’exemples accablants que l’on jurerait sortis de Minority Report, mais hélas puisés dans des décisions de justice bien réelles. Avec un tel déluge de mauvaises nouvelles, on se demande pourquoi ces bombes algorithmiques sont dites, dans le titre, « à retardement », et on se pince pour savoir ce qu’il pourrait y avoir de pire.

 « Le sordide univers des ADM (armes de destruction mathématique) les bombarde de publicités prédatrices pour des prêts hypothécaires de type subprime ou des écoles à but lucratif »

La conclusion l’expose de façon limpide : il s’agit d’un cercle vicieux potentiellement exponentiel. « Les ADM se nourrissent les unes les autres. Les gens pauvres ont tendance à présenter un mauvais score de crédit et à vivre dans des quartiers à forte criminalité, entourés d’autres individus pauvres. Une fois ces données digérées, le sordide univers des ADM les bombarde de publicités prédatrices pour des prêts hypothécaires de type subprime ou des écoles à but lucratif. Il déploie plus de policiers pour les arrêter et, lorsqu’ils sont condamnés, leur inflige des peines de prisons plus longues… ».

Et le cercle vicieux continue d’étendre son rayon, tandis qu’à l’autre bout de la chaîne sociale, nous recevons des publicités ciblées pour des week-ends d’exception. « Mal nommer les choses, c’est ajouter au malheur du monde », écrivait très justement Camus. Cathy O’Neil apporte ici la preuve que mal mesurer les choses peut aussi apporter davantage de drames.

SUR LE MÊME SUJET : 

> Un algorithme peut-il prédire le risque de récidive des détenus ?

> Virginia Eubanks : « Les algorithmes servent de palliatifs à l’empathie »

> 6 raisons de faire confiance (ou pas) aux algorithmes

Image à la Une : Cathy O’Neil, décembre 2017. Flickr CC setuputrecht