Traduction libre
Sur la numérisation tardive et l’érosion des connaissances
CONTEXTE : L’ÉPISTÉMOLOGIE DES MÉDIAS DE MASSE MODERNES
Je reviens souvent au classique de Neil Postman, Amusing Ourselves to Death (tr fr Se distraire à en mourir), paru en 1985. C’est une analyse pénétrante des effets cognitifs de la technologie des médias. Il se concentre principalement sur la manière dont le format et le mode de communication influencent le caractère du contenu et la manière dont ce contenu nous forme ensuite, mais aussi, dans une moindre mesure, sur la manière dont le discours et l’« atmosphère » de l’échange d’informations affectent ces questions.
C’était il y a près de quarante ans, et le média perturbateur étudié est la télévision. L’approche dans son ensemble semble presque désuète, les années 80 étant, par rapport à la période actuelle, un âge d’or comparatif de la pensée critique, de l’exposition complexe et des citoyens conscients et créatifs.
Pourtant, les questions sur lesquelles Postman met l’accent étaient déjà importantes à l’époque. Nous pouvons résumer sa critique en disant que le format de la télévision a des effets complexes et néfastes sur le contenu et le caractère du discours public, ainsi que sur les capacités cognitives des êtres humains, notamment en termes de compréhension de questions complexes et d’analyse d’arguments et de preuves à plusieurs niveaux et aux implications multiples.
Selon Postman, la question fondamentale est que l’exposition écrite et la tradition orale complexe favorisent et préparent l’esprit humain aux rigueurs de la pensée critique et de la réflexion rationnelle. Et, au contraire, les médias et les discours de divertissement, comme l’illustre la télévision en particulier, orientés vers la gratification à court terme et la communication d’expériences sensationnelles, ont plutôt l’effet inverse.
Ses exemples sont vraiment flagrants, même à l’époque :
En bref, il y a contradiction quand les déclarations et les événements sont perçus comme les aspects corrélatifs d’un contexte continu et cohérent. Faites disparaître le contexte, ou n’en donnez qu’un fragment, et la contradiction disparaît. C’est un problème qui m’est apparu de façon très claire lors de conférences avec mes jeunes étudiants à propos de leur manière d’écrire. « Regardez, leur ai-je dit, dans ce paragraphe vous avez dit une chose. Et dans celui-là vous avez dit le contraire. Qu’en est-il ? » Ils étaient polis et cherchaient à plaire, mais ils furent aussi déconcertés par ma question que je le fus par leur réponse. « Nous savons, me dirent-ils, mais il y a ici et là. » La différence entre eux et moi c’est que, pour moi, le « ici » et « là », le « maintenant » et « alors » d’un paragraphe doivent être reliés au paragraphe suivant, car ils sont supposés, l’un et l’autre, faire partie du même monde de pensée cohérent et continu. C’est ainsi qu’il en est dans le discours typographique et la typographie est l’univers « d’où je viens » comme ils disent. Mais, eux viennent d’un univers où le discours est différent : le monde du « Et maintenant… voici » de la télévision. Un monde qui est basé, non pas sur la cohérence, mais sur la discontinuité. Et, dans un monde de discontinuité, la contradiction ne peut servir de critère de vérité ou de validité, car la contradiction n’existe pas.
À mon avis, nous sommes déjà tellement adaptés au monde du « Et maintenant… voici » des informations — un monde de fragments où les événements sont isolés, détachés de leurs liens avec le passé, le futur ou les autres événements — que tous les présupposés de cohérence n’ont plus cours. Et aussi, par force, la notion de contradiction. Dans le contexte de l’absence de contexte, elle a tout simplement disparu. Et si la notion de contradiction a disparu, quel intérêt pourrait avoir une confrontation entre ce que le Président dit maintenant et ce qu’il a dit alors ? Ce n’est qu’une resucée d’informations anciennes et il n’y a rien d’intéressant ni de distrayant à cela.
– Postman, ibid.
Cette situation n’est pas inhabituelle pour la plupart d’entre nous. J’ai même vécu une expérience similaire ce matin lors d’une tentative de discussion avec quelqu’un qui, aussi incroyable que cela puisse paraître, a affirmé quatre (!) choses différentes et mutuellement incompatibles dans le cadre de quelques courts paragraphes, et il a bien sûr continué à insister sur le fait que j’avais tort. Sa position contenait les propositions suivantes :
-
Les croyances sont absurdes.
-
Les croyances ne doivent être entretenues que sur la base de preuves acceptables.
-
Vous pouvez avoir des croyances pour toutes les raisons que vous voulez.
-
Les croyances sont par définition ancrées dans l’émotion et non dans des preuves acceptables.
Toutes ces affirmations sont littéralement incompatibles avec chacune des autres.
C’est comme une version alambiquée du paradoxe du menteur. Si je suis d’accord avec lui, j’ai forcément tort, et si je ne suis pas d’accord, j’ai également tort. Mais contrairement à l’ancienne expérience de pensée, où mon erreur réside dans l’affirmation directe du contraire d’un énoncé, ici il n’y a littéralement aucun moyen de comprendre comment j’aurais tort si j’étais d’accord avec sa position ou si je la rejetais, puisqu’elle est intérieurement incohérente dans un sens complexe et pas seulement binaire.
On est presque impressionné par l’intensité de ce feu de poubelle discursif.
Ainsi, comme la plupart d’entre nous le reconnaissent, cet échange, au moins dans une certaine mesure, reflète le caractère épistémique du discours public contemporain dans la sphère numérique. Les communications sont souvent simplistes et décousues, et si elles s’approchent d’un certain niveau de complexité, elles dévient presque immédiatement vers la contradiction, le manque de pertinence ou l’absurdité, comme indiqué ci-dessus.
Qu’est-ce que cela signifie pour la connaissance en général, et en particulier pour la qualité, la conservation et la reproduction des connaissances complexes des cultures humaines contenues dans des traditions telles que la science ou les sciences humaines ?
Tout d’abord, je pense qu’une situation comme la nôtre réduira considérablement le nombre de candidats disponibles pour le travail difficile et souvent laborieux de gestion efficace de ces traditions de connaissance, tant pour eux-mêmes en tant qu’individus que pour les institutions ou les organisations qui sont nécessaires pour maintenir ces traditions.
Il n’y aura pas beaucoup de gens capables d’écrire un Doktor Faustus ou Common Sense, ou de produire une œuvre d’art qui soit en rapport avec la plénitude de l’esprit, du caractère et des problèmes de son époque. Et vous ne trouverez pas beaucoup de personnes capables de le comprendre, même si quelque chose de ce genre pouvait être produit.
Le problème ici, dans une large mesure, est que notre époque incohérente et ses technologies médiatiques ne parviennent pas à doter les gens de la capacité de comprendre pleinement les principes abstraits de base et de transférer l’essentiel des expériences et des idées vécues dans un autre contexte. En fait, nous ne nous familiarisons pas correctement avec les abstractions et les concepts universels de bon sens qui rendent possibles les discours complexes et la pensée critique. Sans cette familiarité, nous sommes moins capables de donner un sens à des situations nouvelles et chaotiques et de voir les liens et les similitudes entre différentes expériences et formes de savoir. La raison en tant que telle s’érode, comme l’aurait probablement dit Aquin.
Le savoir que nous obtenons est spécialisé, commercialisé et instrumentalisé et, bien qu’il puisse être très étendu, il a un caractère insulaire et ne permet pas efficacement la pensée critique au sens abstrait et global du terme. C’est un peu comme si quelqu’un pouvait apprendre à utiliser une calculatrice de manière fiable par mémorisation sans avoir plus qu’une connaissance rudimentaire des mathématiques. Il peut faire fonctionner l’appareil, mais il n’est pas un maître souverain de la (des) discipline(s) concernée(s). Il ne pourrait jamais concevoir et construire une calculatrice.
« L’homme est la mesure de toute chose », a dit Protagoras, et son propos n’était probablement pas le relativisme, mais plutôt le fait que les êtres humains peuvent (ou devraient pouvoir) faire des évaluations raisonnées de toutes les situations et de tous les états de fait dans le monde.
LES EFFETS CUMULÉS DE L’IA CONTEMPORAINE
Il y aurait encore beaucoup à dire sur le caractère et les problèmes du savoir dans ce contexte général de discours, de technologie des médias et d’adaptations cognitives dans lequel nous nous trouvons, mais concentrons-nous ici sur les contributions de l’IA.
L’IA contemporaine est un ensemble de systèmes de reconnaissance de formes conçus pour la surveillance et la discipline, pour le contrôle du flux d’informations et pour la production de masse de substituts de marchandises pour le contenu culturel dans un cadre néolibéral.
Il n’est pas vraiment possible d’exagérer les dommages qu’un tel ensemble de systèmes pourrait causer s’il devenait une partie intégrante de la production de connaissances de la société. Ce n’est pas seulement qu’ils aggravent massivement les problèmes du contexte que j’ai tenté d’esquisser ci-dessus, c’est-à-dire ceux d’un environnement médiatique numérique sensationnaliste presque entièrement dépourvu d’exposition et orienté vers un divertissement facilement gratifiant.
L’objectif fondamental de l’algorithme d’apprentissage automatique et de collecte d’informations a toujours été de minimiser la distance entre le produit et le consommateur en renforçant les modèles de comportement souhaitables. En d’autres termes, les algorithmes tendront principalement à renforcer les comportements qui soutiennent efficacement l’extraction par le capital de la plus-value du travailleur-consommateur.
C’est un point qui pourrait être répété à maintes reprises. Google n’est pas une bibliothèque. C’est une entreprise privée structurée autour d’un système conçu pour commercialiser l’information à des fins lucratives, et elle n’a ni l’obligation ni l’incitation réelle de conserver les données qui vous intéressent ou dont vous avez un usage réel.
Qui plus est, cette société et d’autres entreprises similaires se livrent à une concurrence acharnée pour dominer au sein d’une architecture de l’information presque totalement centralisée qui relie immédiatement la quasi-totalité des êtres humains de la planète. C’est comme si les grands requins blancs ne pouvaient pas s’arrêter de bouger sans suffoquer.
Nous avons donc conçu un système parfait pour faire évoluer rapidement ces systèmes de marchandisation de l’information vers un profit maximal, qui coïncide également avec une architecture de communication centralisée permettant à une seule modification d’un algorithme de Google d’avoir un impact simultané sur la quasi-totalité des personnes dans le monde.
Les réticences de Postman à l’égard de la télévision semblent en effet désuètes.
Ce qui découle de ce qui précède, c’est que toutes les autres qualités de l’information produite par ces systèmes, à l’exception de celles qui renforcent les comportements rentables du consommateur à court terme (comme dans le cas de l’industrie de la publicité), n’ont plus aucune importance. Il s’agit au mieux de priorités secondaires et, dans la mesure où elles interfèrent avec la directive sur le profit, elles seront activement supprimées. En outre, ces priorités auront un impact mondial immédiat.
Et ces systèmes numériques de marchandisation de l’information dans un cadre capitaliste ne peuvent pas faire autrement, sous peine d’étouffer.
Lorsque nous ajoutons l’IA au mélange susmentionné, en particulier le type « génératif », ces processus problématiques ne font que s’aggraver. Sous sa forme actuelle, l’IA agit comme un multiplicateur de force pour la marchandisation de l’information au sein de l’ordre économique établi et de ses structures numériques d’échange. Les algorithmes d’apprentissage automatique rationalisent le flux d’informations et permettent la publicité ciblée, la propagande et le contrôle narratif au niveau individuel avec une rapidité et une spécificité incroyables. L’IAGen, en plus de cela, permet la production automatisée de produits d’information qui seront inévitablement adaptés pour entrer en synergie avec les objectifs de surveillance, de marketing et de modification du comportement.
Ou les requins s’étoufferont.
Nous pourrions donc nous demander si la promotion de penseurs indépendants bien équilibrés, spirituellement mûrs, capables de satisfaire leurs propres besoins et disposant d’un centre de contrôle interne, va soutenir ou non les incitations au profit à court terme du capital.
La réponse à cette question détermine la tendance des algorithmes propriétaires qui sont actuellement conçus pour parvenir à une domination de l’information sur l’ensemble du spectre.
LA SCIENCE ET LA RECHERCHE UNIVERSITAIRE
Quel est le rapport avec l’avenir de la science ?
Eh bien, les implications sont stupéfiantes, et semblent s’étendre à tous les domaines. D’une part, la formation massive de consommateurs étroitement spécialisés, peu familiarisés avec les concepts universels et les abstractions, et mal équipés pour la pensée critique, ne seront pas des gardiens et des rénovateurs efficaces des traditions complexes de la connaissance, qu’il s’agisse de la physique des particules ou de la médecine générale. Sans les concepts universels, sans une familiarité avec la logique, les principes de cause et d’effet, ce qui constitue une preuve raisonnable indépendamment de tout contexte particulier, les gens seront de moins en moins capables de voir les liens entre les différentes disciplines et d’intérioriser leur propre vision cohérente du monde, ce qui est nécessaire pour y naviguer de manière indépendante. Les gens seront moins compétents et moins autonomes pour inventer de nouvelles connaissances dans des situations peu familières et pour adapter leurs schémas conceptuels et leur expérience à des circonstances imprévues. Tout comme l’opérateur de la calculatrice à mémorisation par cœur ci-dessus ne sera pas en mesure de faire des mathématiques avec un stylo et du papier lorsque la machine tombera en panne.
Aller à l’école signifiait apprendre à lire, car sans cette capacité on ne pouvait pas participer aux conversations de la civilisation. Mais la plupart des gens savaient lire et y participaient. Pour ces gens, la lecture constituait à la fois un lien avec le monde et un archétype du monde. Ligne après ligne, page après page, le texte imprimé révélait que le monde était un lieu cohérent et sérieux, susceptible d’être dirigé par la raison et amélioré par la logique et par un juste esprit critique.
Postman, ibid.
Mais en dehors des effets néfastes sur nos capacités cognitives, aussi graves soient-ils, il y a un sens significatif dans lequel l’IA générique et l’itération actuelle de la numérisation tardive peuvent saper structurellement la nature et la qualité de l’information et des expériences inhérentes à nos traditions de connaissance, anciennes et modernes.
Rappelons que l’architecture centralisée de l’information, pour des raisons structurelles inévitables, tendra à promouvoir une information qui renforce le comportement qui, à son tour, soutient l’extraction par le capital de la plus-value du travailleur-consommateur. La fiabilité, l’objectivité et une centaine d’autres mesures de qualité que vous ou moi pourrions vouloir privilégier sont presque entièrement hors de propos. La motivation du profit et les objectifs auxiliaires tels que la propagande, la formation stratégique de l’opinion et la minimisation des discours perturbateurs seront les priorités absolues.
Et comme la production de l’IAgen, notamment en raison de l’architecture numérique centralisée, commence à dominer les canaux et les modes de communication ainsi que le contenu de nos référentiels d’information, le caractère de la production de l’IA aura une influence significative sur la qualité des données conservées au sein des traditions de connaissance qui peuvent subsister. En d’autres termes, le contenu et les modes de fonctionnement de la science en tant que tradition de connaissance tendront vers les priorités inhérentes aux systèmes conçus pour la marchandisation de l’information. Vers le renforcement du comportement rentable du consommateur et de la formation stratégique de l’opinion.
L’une des voies menant à cette fin ignominieuse est l’introduction de l’IA générative (IAgen) dans le cadre de publier-ou-périr (publish-or-perish) du monde universitaire contemporain. Disons simplement que ce ne sont pas seulement les étudiants qui utiliseront chatGPT ou des systèmes similaires pour prendre des raccourcis, et que tous les titulaires d’une maîtrise ou d’un diplôme supérieur resteront totalement à l’écart de ces perversités.
Loin de là. Le modèle bibliométrique actuel de la concurrence universitaire désavantagera considérablement la minorité d’entre nous qui refuse de toucher à ce genre de choses. Notre production sera beaucoup plus limitée que celle des personnes qui, avec l’aide d’outils genAI personnalisés, pourront peut-être produire deux articles de recherche viables par jour. Ils peuvent être médiocres et dérivés, mais il s’agit en grande partie d’un jeu de chiffres.
Plusieurs mécanismes augmenteront ensuite l’importance du matériel généré par l’IA dans les sciences et les universités, notamment le fait que les personnes qui ont étoffé leur curriculum vitae avec ce genre de déchets feront des progrès dans la compétition pour la titularisation, les bourses et les postes de recherche, ce qui obligera d’autres personnes à suivre leur exemple. Les revues exploiteront cette production pour augmenter leur débit, leur visibilité et leur part de marché par la force brute, ce qui poussera la concurrence à suivre le mouvement. Les revues à bas prix inonderont le marché de contenu semi-généré.
Les chercheurs et les scientifiques finiront par être glorifiés en tant que « Prompts Engineers (NDT Ingénieurs de requêtes : spécialiste qui formule des prompts ou des indications pour l’IA) » dans un avenir proche.
On pourrait peut-être imaginer un peu naïvement que le processus d’évaluation par les pairs devrait encore être en mesure de fonctionner comme un contrôle de qualité fiable, éliminant les pires excès d’une spirale descendante. On se tromperait.
(Journal scientifique publie un rat généré par IA avec un pénis gigantesque dans un incident inquiétant. Des images générées par IA dans un nouvel article académique comprenaient un rat avec un pénis gigantesque : une évaluation par un pair qui a parlé à la carte mère [Motherboard] a déclaré que ce n’était pas leur préoccupation.)
Les évaluateurs, ces personnes bizarres qui sont prêtes à faire un travail minutieux et ennuyeux sans compensation, devront bien sûr faire face à un torrent d’articles fades et médiocres générés par l’IA, car le volume de production augmentera de manière prévisible grâce à l’utilisation de ce type d’outils. Et quelle est la solution inévitable à ce petit casse-tête ?
Faire en sorte que l’IA se charge également de la « révision par les pairs », bien entendu :
(Semaine de l’évaluation par les pairs 2023 : IA, évaluation par les pairs et l’avenir de la publication scientifique
« L’IA améliorera l’avenir de l’évaluation par les pairs en utilisant des systèmes automatisés pour analyser et évaluer les articles de recherche. Elle accélérera le processus d’évaluation, améliorera la précision, identifiera les biais et aidera à traiter de grands volumes de soumissions. Cependant, l’expertise humaine et le jugement resteront cruciaux pour évaluer la qualité globale et l’impact de la recherche ».)
L’IA examinera les articles rédigés par des algorithmes et publiés dans des revues qui ne seront lues par personne. Sauf peut-être par l’IA elle-même, qui génère désormais ses propres données d’entraînement dans une boucle de rétroaction informationnelle maléfique qui sera remplie d’hallucinations structurellement intégrées.
Où est donc le contrôle de la qualité ? Comment est-ce concevable ? Qui se chargera de la « vérification des faits » des torrents d’informations générées par l’IA ? Et en référence à quelles données ? Des articles de recherche générés ou rédigés par l’IA, dont les informations ont été déconnectées de la fiabilité, de l’objectivité et de la validité, et qui sont maintenant produites dans le but de renforcer le comportement rentable des consommateurs et la formation stratégique de l’opinion ?
Tout cela porte en germe un problème épistémologique vraiment grave, celui de la qualité fondamentale des preuves accessibles à l’être humain. Si cela va plus loin, nous approchons d’une situation entièrement nouvelle de la connaissance humaine où la chaîne de base du témoignage est rompue. Nous ne pouvons plus faire confiance à aucune information reçue par l’intermédiaire de l’infrastructure numérique centralisée comme étant le compte rendu authentique des expériences, des conclusions ou des découvertes d’une personne humaine réelle. Tout sera potentiellement remis en question.
Tout.
Ainsi, de nos jours, lorsque je suis assis aux petites heures, en train de fournir gratuitement une évaluation par les pairs pour une obscure revue de philosophie, et que j’en viens à me demander si tout cela en vaut la peine, je pense simplement à ce rat généré par l’IA qui traverse l’évaluation par les pairs avec sa bite géante et ses quatre couilles distendues, et je souris en moi-même en me rappelant que la souffrance est à la fois fructueuse et purificatrice.
La grande marche de désagrégation intellectuelle se continuera.
Tout sera nié et tout deviendra une croyance. C’est une position raisonnable que de nier les pavés de la rue, le fait de les affirmer deviendra un dogme religieux. C’est une thèse rationnelle de prétendre que nous vivons tous dans un rêve, il sera d’un sain mysticisme de déclarer que nous sommes tous éveillés. On allumera des feux pour attester que deux et deux font quatre. On tirera l’épée pour prouver que les feuilles sont vertes en été.
Nous serons amenés à défendre non seulement les incroyables vertus de la vie humaine, mais quelque chose de plus incroyable encore, cet immense et impossible univers qui nous confronte. Nous combattrons pour des prodiges visibles comme s’ils étaient invisibles. Nous contemplerons l’herbe impossible et les cieux avec un étrange courage. Nous serons de ceux qui ont vu et qui pourtant ont cru.
– G. K. Chesterton, Hérétiques.
Johan Eddebo est un philosophe et chercheur basé en Suède. Vous pouvez lire d’autres de ses travaux sur son site Substack.
Texte original : https://off-guardian.org/2024/03/17/how-generative-ai-will-ruin-science-and-academic-research/