Gouvernementalité algorithmique : 3 questions à Antoinette Rouvroy et Hugues Bersini
Sommaire
Aux injonctions explicites de performance-production et de jouissance-consommation qui caractérisaient le néolibéralisme s’ajoute la neutralisation de la capacité que nous avons de ne pas faire tout ce dont nous sommes capables, de notre capacité de “réticence” ou de transformation de nos pulsions en désirs conscients. — Antoinette Rouvroy
Un usage prédateur des données
PointCulture : Que recouvre le concept de gouvernementalité algorithmique en regard des écrits de Foucault ?
Antoinette Rouvroy : La gouvernementalité algorithmique, c’est l’hypothèse d’un gouvernement du monde social fondé sur le traitement algorithmique (automatique) des données massives proliférant de nos comportements (relations, interactions, trajectoires,...) plutôt que sur la politique, le droit, les normes sociales, dans une multitude de secteurs d’activité et de gouvernement. Nous appelons donc gouvernement algorithmique un mode de gouvernement - production de normes (standards, règles) et adjudication (décisions judiciaires, administratives, commerciales et autres affectant des individus) - nourri essentiellement de “données brutes” (signaux infra-personnels et a-signifiants mais quantifiables), opérant par configuration anticipative des possibles (à travers l’optimisation anticipative des environnements: espaces médiatiques, espaces physiques, relations,...) plutôt que par réglementation (permission, interdiction) des conduites, et ne s'adressant aux individus que par voie d’alertes provoquant des réflexes plutôt qu'en s’appuyant sur leurs capacités (postulées) d'entendement et de volonté.
Notons d’emblée que toute intermédiation algorithmique ne s’intègre pas nécessairement dans l’hypothèse de la gouvernementalité algorithmique. Le machine learning et, plus généralement, la capacité qu’ont les machines de nous rendre sensibles à des régularités du monde qui ne sont repérables que sur des grands nombres, a vocation au contraire à augmenter notre intelligence individuelle et collective en nous donnant accès à une “stéréo-réalité” à la fois analogique et numérique de nature à améliorer nos manières de nous gouverner et de coordonner nos comportements de façon soutenable (à condition, toutefois, de reconnaître que les algorithmes sont, tout autant que les décideurs humains, toujours “biaisés” à leur façon, même si ces “biais” n’apparaissent pas évidents à débusquer tant ils paraissent “résorbés” dans les couches cachées des réseaux de neurones). Ce que je vise dans ma critique de la gouvernementalité algorithmique, c’est un certain usage, actuellement dominant, prédateur, que je dirais “contre-nature” (eu égard aux possibilités offertes par ces machines) du data-mining, du machine learning et de tout ce que l’on place sous le signe de l’intelligence artificielle au service de “rationalités sectorielles” visant à optimiser des états de faits insoutenables au profit de bureaucraties publiques et privées soucieuses, pour les unes, de ne plus assumer la charge et la responsabilité de “décider” en situation d’incertitude et, pour les autres, de sélectionner et de faire advenir, parmi les possibles co-présents, le possible qui maximise leur intérêt sans que celui-ci soit nécessairement aligné avec l’intérêt commun.
Postérité de Foucault : fin de la biopolitique
Sous-traiter à des machines algorithmiques la tâche politique de fixer les critères de mérite, de besoin, de désirabilité, de dangerosité acceptable présidant à la répartition des ressources et des opportunités sociales ce serait succomber au danger que Foucault pointait déjà en 1981:
Il est un danger que peut-être on n’évoquera pas : celui d’une société qui ne s’inquiéterait pas en permanence de son code et de ses lois, de ses institutions pénales et de ses pratiques punitives (…) il est bon, pour des raisons éthiques et politiques, que la puissance qui exerce le droit de punir s’inquiète toujours de cet étrange pouvoir et ne se sente jamais trop sûre d’elle-même. — Michel Foucault, « Punir est la chose la plus difficile qui soit » (entretien avec A. Spire), 1942.
La pensée de Foucault, bien entendu, demeure infiniment féconde, notamment pour bien comprendre la généalogie de ce à quoi nous avons aujourd’hui affaire, et qui s’inscrit dans la suite des formes de gouvernementalité (souveraineté, discipline, contrôle) dont il a fait le diagnostic. La gouvernementalité algorithmique ne tombe pas du ciel, elle poursuit, en le radicalisant et en l’immunisant contre tout ce qui devrait, de toute urgence, l’interrompre, le “projet” du capitalisme néolibéral dont l’émergence et le déploiement - suivant des modalités différentes aux États-Unis et en Europe - ont été soigneusement décrits par Foucault (notamment dans son Cours au Collège de France de 1978-1979 intitulé “La naissance de la biopolitique”). La gouvernementalité algorithmique n’est, en somme, rien d’autre qu’une manière de transformer le virtuel en plus-value sans plus se confronter à la matérialité, à l’intelligence humaine (dans ses dimensions de sensibilité, d’imagination et de raison), à l’altération qui est au principe de tout ce qui vit. C’est une manière d’immuniser - en en passant par l’institution imaginaire et fantasmatique d’une sorte d’immortalité numérique sans organes - les pratiques de prédation et d’épuisement des ressources, contre ce qui devrait urgemment les interrompre: le monde matériel, les sujets, la vie même. Nous avons à ré-instituer la société suivant un imaginaire qui ne soit plus celui d’une prédation illimitée (passant pour de l’optimisation rationnelle) des capacités repérables de la nature et des êtres humains eux-mêmes.
De la pensée de Foucault j’ai repris les trois socles qui la structurent - savoir, pouvoir, sujet - pour les réexaminer à l’œuvre dans le tournant algorithmique, pour examiner comment les modes de production du savoir, d’exercice du pouvoir et de production de subjectivités dans la gouvernementalité algorithmique distinguent celle-ci des sociétés de souveraineté, des sociétés disciplinaires, ou même des sociétés de contrôle (dans l’extension que Gilles Deleuze a donné au concept). Pour dire les choses très rapidement, et forcément un peu caricaturalement, ce que Foucault décrivait comme “régimes de vérité” (les modes d’énonciation, de véridiction, de justification propres à chaque époque et à chaque discipline) est remplacé par un “régime d’optimisation” dans lequel le critère de félicité de la modélisation algorithmique n’est pas sa “vérité”, sa “justesse” ou sa “justice”, mais son opérationnalité en “temps réel”, c’est-à-dire son caractère “décisif” (qui nous dispense, nous, humains, d’avoir à décider).
Les mécanismes de l’enquête, l’épreuve, l’examen, les régimes d’administration des preuves, toutes ces pratiques à travers lesquelles chaque époque a pu produire ses “vérités” scientifiques et ses “vérités” juridiques, à travers lesquelles on se “représentait” ce que l’on “tient pour vrai”, semblent de plus en plus devoir être court-circuitées par des “data sciences” productrices de “solutions opérationnelles” mais dépourvues d’épistémologie et court-circuitant les possibilités de critique herméneutique et politique. — Antoinette Rouvroy
Des normes dociles aux comportements des corps
Dans la gouvernementalité algorithmique occidentale (en Chine, c’est très différent), la cible ce ne sont plus les corps physiques ou un territoire, ou, comme dans la biopolitique foucaldienne, la lèpre, l’étranger, la maladie mentale, mais, bien plus généralement, l’espace spéculatif de l’incertitude. La gouvernementalité algorithmique n’agit pas sur les personnes, à la manière de la normalisation, mais sur la prévisibilité de leurs actes. Nous sommes loin de l’univers disciplinaire décrit par Foucault. La biopolitique, qui consistait à produire des corps dociles par rapport à des normes qui leur préexistent fait place à des dispositifs qui visent plutôt à produire les normes les plus adéquates, les plus “personnalisées”, les plus dociles aux comportements des corps : il s’agit d’une normativité éminemment plastique, fluide, qui colle aux comportements de chaque individu comme une seconde peau. Les microdirectives algorithmiques n’ont pas du tout le caractère “stratégique” que la norme avait toujours chez Foucault : les comportements des individus ne sont pas “en retard” sur une “norme” qu’ils tentent d’incarner ou dont ils tentent de s’écarter, non, c’est la “norme” (ou le profil, le “score”, l’appariement, la hiérarchisation qui sont d’ailleurs d’avantage des “espaces spéculatifs” que des normes) qui “suit” les comportements même les plus “hors norme”, même les plus éloignés des grands nombres, des individus. Dans cette “société de notation” les individus sont mis en concurrence absolue les uns par rapport aux autres et enjoints de maximiser leur “capital humain numérisé”, évalués en continu comme ils le sont, non plus à l’aune de métriques stables, mais à l’aune de métriques hyper-mobiles évolutives en fonction des comportements de tous les autres.
Prédire ne demande pas de savoir, encore moins de comprendre
Les régimes d’énonciation, de véridiction, de justification (les régimes de vérité chez Foucault) sont remplacés par un régime d’optimisation et de préemption. Les catégories ou les formes (idéologiquement contestables, subjectivement partiales, toujours un peu “inadéquates”,...) à travers lesquelles nous sommes socialement, culturellement, politiquement ou idéologiquement prédisposés à percevoir et à évaluer les événements du monde et ses habitants sont donc remplacées par la détection de signaux en “temps réel” et une évaluation anticipative non plus de ce que “sont” les personnes ou les événements, mais, sur le mode du “crédit”, des opportunités, propensions, risques,... dont leurs formes de vie sont “porteuses”. Les modélisations algorithmiques ne visent plus la production d’aucun “savoir” mais la fourniture d’informations opérationnelles qui ne sont ni vraies ni fausses, mais qui sont suffisamment fiables pour justifier des stratégies d’action préemptive.
- Peut-on considérer que l’enjeu de la protection des données personnelles soit dépassé ? En quoi le raffinement des techniques de profilage exerce-t-il une pression contre l’individu dans l’espace social?
Antoinette Rouvroy : Oui, et ce pour plusieurs raisons.
Il est vrai que le phénomène des « données massives » (Big data) met les régimes juridiques de protection des données personnelles « en crise ». Ce qui pose problème, avec la prolifération exponentielle, extrêmement rapide, de données numériques diverses, c’est tout d’abord que les régimes de protection des données semblent peu aptes à faire face aux défis inédits posés par les phénomènes de profilage et de personnalisation propres à la société numérisée, et qui sont précisément une manière de gouverner les comportements sans en passer par la personne mais uniquement à travers les fragments infra-personnels d’existences quotidiennes (les données décontextualisées) reliés statistiquement à des modélisations supra-individuelles inférées au départ de traces de comportements récoltées auprès d’autres portions de la population.
L’un des traits de génie du capitalisme numérique est de faire croire que les données sont toujours des “biens” ayant une “valeur” alors qu’elles devraient peut-être plutôt être considérées comme des déchets toxiques, étant donnée l’empreinte psychique, sociale, écologique et climatique, de cette prolifération hypertrophique de l’univers numérique. — Antoinette Rouvroy
Les traces parlent de nous mais ne disent pas qui nous sommes
Aujourd’hui, toute donnée numérique est potentiellement susceptible de contribuer à nous identifier ou à caractériser très précisément nos comportements singuliers si elle est croisée avec d’autres données même peu « personnelles » en quantités suffisantes. Ce qui paraît nous menacer, dès lors, ce n’est plus prioritairement le traitement inapproprié de données personnelles, mais surtout la prolifération et la disponibilité même de données numériques, fussent-elles impersonnelles, en quantités massives.
Les informaticiens le savent : l’anonymat, par exemple, est une notion obsolète à l’heure des Big data. Les possibilités illimitées de croisements de données anonymes et de métadonnées (données à propos des données) permettent très facilement de ré-identifier les personnes quand bien même toutes les données auraient été anonymisées. — Antoinette Rouvroy
Par ailleurs, ce qui intéresse les bureaucraties privées et publiques qui nous « gouvernent », c’est de détecter automatiquement nos « potentialités », nos propensions, ce que nous pourrions désirer, ce que nous serions capables de commettre, sans que nous en soyons nous-mêmes parfois même conscients. Une propension, un risque, une potentialité, ce n’est pas encore une personne. L’enjeu, ce n’est pas la donnée personnelle, mais bien plutôt la disparition de la « personne » dans les deux sens du terme. Il nous devient impossible de n’être « personne », d’être « absents » (nous ne pouvons pas ne pas laisser de traces) et il nous est impossible de compter en tant que « personne ». Ce que nous pourrions dire de nous-mêmes ne devient-il pas redondant, sinon suspect, face à l’efficacité et à l’objectivité machinique des profilages automatiques dont nous faisons l’objet ?
Ce qui est ainsi appréhendé à travers les modélisations algorithmiques ne dit strictement rien ni ne dépend strictement pas des propriétés intrinsèques des objets ou des capacités éprouvées des / par les personnes : de même que, pour le biologiste et théoricien de l'évolution (Richard Dawkins), l’organisme individuel n’intervient que comme véhicule temporaire car mortel d’un code génétique hérité et transmis, donc immortel, dans la gouvernementalité algorithmique les objets, les personnes, n’interviennent plus qu’en tant qu’agrégats temporaires de données comportementales infra-objectales (purs signaux a-signifiants), infra-personnelles, exploitables en masse à l’échelle industrielle. Les « possibles » détectés par les algorithmes sont tributaires d’un comportementalisme numérique indifférent à tout ce qui existe et est reconnaissable pour nous en dehors de l’« espace purement métrique, neutralisé », au sens où « les régions alentours » des signaux numériques « deviennent de simples dimensions de l’espace ». (Franck Fischbach, La privation de monde. Temps, espace et capital, Vrin, 2011, p. 58). Ce processus de “mathématisation” du monde ou de “réduction informatique” n’est pas seulement un outil heuristique utile pour la théorisation scientifique ou un moyen technique de contrôle de la nature, elle ouvre une toute nouvelle perspective sur l’univers, révélant un monde glacial organisé suivant des séries de coordonnées indifférentes dont le point zéro n’est plus l’être humain. Les traces parlent de/pour nous mais ne disent pas qui nous sommes : elles prédisent ce dont nous sommes capables et permettent, le cas échéant, aux bureaucraties publiques et privées de nous envoyer les stimuli adaptés de manière à produire un passage à l’acte sur le mode réflex ou d’empêcher absolument celui-ci. Aux injonctions explicites de performance-production et de jouissance-consommation qui caractérisaient le néolibéralisme s’ajoute la neutralisation de la capacité que nous avons de ne pas faire tout ce dont nous sommes capables, de notre capacité de “réticence” ou de transformation de nos pulsions en désirs conscients.
L’urgence, aujourd’hui, c’est de se confronter à ce qui fait réellement problème plutôt que de continuer à fétichiser la donnée personnelle tout en flattant l’individualisme possessif de nos contemporains à travers des promesses de contrôle individuel accru, voire de propriété et de libre disposition commerciale de chacun sur « ses » données. — Antoinette Rouvroy
Une idée de la justice
Si l’on se place du point de vue de l’individu, d’ailleurs, le problème n’est pas celui d’une plus grande visibilité sociale ni d’une disparition de la sphère privée. On assiste au contraire à une hypertrophie de la sphère privée au détriment de l’espace public. Ce qui pose problème c’est le démantèlement de l’espace public et de tous les agencements collectifs d’énonciation (notamment à travers la fragmentation algorithmique des espaces publics médiatiques) et l’incapacité dans laquelle nous nous trouvons d’encore instituer la société à travers un imaginaire collectif qui transcende la juxtaposition des intérêts individuels de court terme de citoyens ne se percevant plus que comme consommateur.
- En quoi la prétendue objectivité du calcul algorithmique s’érige-t-elle contre l’idée même de justice ?
Antoinette Rouvroy : Enfermée dans une logique inductive - fût-elle apprenante - la rationalité algorithmique ne peut prendre en compte les “causes” des phénomènes et ne se focalise que sur leurs “effets”.
Pour les algorithmes, les seuls “faits” sont les données, rendues amnésiques de leurs conditions de production. Or les faits, ou les données, ne sont jamais que le reflet ou les effets des rapports de force, de domination, des pratiques discriminatoires ou des stigmatisations dont la réalité sociale est percluse. — Antoinette Rouvroy
La justice réclame non pas d’optimiser un état de fait dont les déterminants sociaux ont été rendus indicibles et imperceptibles dans l’épistème numérique, mais au contraire, de “corriger l’état de fait” en vue d’un idéal de justice et d’équité qui ne se trouve jamais dans l’échu, enregistrable sous forme numérique, mais à l’horizon, inatteignable, dont le juge cherche à produire des approximations à travers ses décisions. L’optimisation de l’état de fait, et l’objectivité machinique, peuvent dans certains cas être à l’opposé de ce que serait la justice. L’optimisation de l’état de fait dans un espace purement métrique n’instaure pas une juste mesure des choses mais une injusticiable démesure.
Car la justice ne s’évalue pas à l’aune de critères d’opérationnalité ou d’optimisation, mais à l’aune d’un idéal de justice qui est le principe de perfectibilité - et donc de subversion - de l’état de fait. — Antoinette Rouvroy
La fiction d'une machine à gouverner
- Norbert Wiener, le père de la cybernétique, qui avait émis l’hypothèse d’une machine à gouverner conçue pour le bien-être de la planète et des humains, en était arrivé à la conclusion que celle-ci serait comme une fiction au service d’intérêts particuliers et humains. Est-ce là une vue qui rencontre aujourd’hui la définition d’une gouvernementalité algorithmique ?
Antoinette Rouvroy : Je pense que la “machine à gouverner” de Wiener correspond assez bien, par certains traits au moins, à la gouvernementalité algorithmique. L’un des enjeux est bien évidemment que derrière cette fiction d’une machine gouvernant le monde social de manière autonome et immanente à celui-ci se profile une (dés-)institution imaginaire du social très particulière. Semblant émaner spontanément d’un « réel numérisé » traduisant un état de fait déshistoricisé, déterritorialisé, démondanéisé, la gouvernementalité algorithmique évoque un imaginaire dont Jean Baudrillard avait une intuition précise: « Dans la théorie révolutionnaire, il y avait aussi l’utopie vivante que l’Etat disparaisse, que le politique se nie en tant que tel, dans l’apothéose et la transparence du social. Il n’en a rien été. Le politique a bien disparu, mais il ne s’est pas transcendé dans le social, il a entraîné le social dans sa disparition. Nous sommes dans le transpolitique, c’est-à-dire dans le degré zéro du politique, qui est aussi celui de sa reproduction et de sa simulation infinie. Car tout ce qui ne s’est pas porté au-delà de soi-même a droit à un revival sans fin. Le politique n’en finira donc jamais de disparaître, mais il ne laissera rien d’autre émerger à sa place. Nous sommes dans l’hystérésie du politique. » (Jean Baudrillard, La transparence du mal, Galilée, 1990, p.19.) On ne saurait mieux décrire ce dont la gouvernementalité algorithmique est symptomatique.
Le commentaire d'Hugues Bersini
Hugues Bersini : Ma définition de la gouvernementalité algorithmique est en effet la mise en place d’un exécutif algorithmique, uniquement dans les sphères sociales qui sont les plus menacées par l’évolution du monde (environnement, inégalité, …) et dont la légitimité surgirait d’une nouvelle forme de pouvoir législatif se reposant largement sur une nouvelle pratique de codage citoyen, transparent, flexible, constamment adaptatif.
- La vision d’une société régie par des puissances prédictionnelles, renvoie dans l’imaginaire collectif à celle qui s’expose dans le film Minority Report, que Spielberg a tiré d’une nouvelle de Philip K. Dick. Ce tableau vous semble-t-il caricatural ?
Hugues Bersini : L’idée d’une prédictibilité infinie des comportements humains comme dans le film susdit me semble très largement exagérée. Néanmoins, que les algorithmes gouvernants de demain se servent en partie de prédictions comportementales (consommation énergétique, habitudes de mobilité…) me semblent inévitable.
- En ayant recours à des outils numériques permettant une récolte de données émanant de géants du Web tels que Alibaba, Tencent et Baidu, la Chine a mis en place un système d’évaluation citoyenne coercitif et autoritaire. Cet exemple n’est-il pas dissuasif pour des populations qui valorisent encore très haut ce qu’elles considèrent, à tort ou à raison, comme leur droit à une liberté individuelle ?
Hugues Bersini : La loi existe pour contrebalancer les libertés individuelles, pour imposer un ordre social qui contraint les libertés de chacun. Elle le fait essentiellement par le texte et la punition. Les algorithmes sont une autre forme d’obligation légale, au caractère cette fois nettement plus prescriptif. La voiture autonome ne brûle pas un feu rouge. Le thermostat pourrait limiter votre consommation, et le web interdire la réservation de plus de n vols aériens. Ces algorithmes ont pour eux l’efficacité de leur pouvoir exécutif, et c’est l’étendue de leur espace d’expression et leur écriture qui va exiger une nouvelle forme de légitimation (au vu de leur extraordinaire efficacité).
- À quelles conditions des rationalités numériques peuvent-elles œuvrer dans une société pour une amélioration des conditions de vie ?
Hugues Bersini. C’est tout le débat ! Une nouvelle forme de création législative ancrée dans l’écriture citoyenne des codes numériques. Comment ? À nous de l’inventer. En tous les cas, j’y œuvre.
Pour un numérique humain et critique
Antoinette Rouvroy et Hugues Bersini seront présents au PointCulture de Bruxelles dans le cadre du cycle Pour un numérique humain et critique.
Le 11 décembre 2019 à 20h00
Questions et mise en page : Catherine De Poortere
Photos : Antoinette Rouvroy et Hugues Bersini (tous droits réservés)
Visuels : Unsplash