Dans quelle mesure pouvons-nous vraiment faire confiance à l’IA ?

Sur la question de l’intelligence artificielle (IA), la plupart des utilisateurs oscillent entre l’idée qu’il s’agit de la plus grande invention de tous les temps et l’idée qu’elle nous condamnera tous. L’enjeu est la précision. Invariablement, un expert dans un domaine spécifique peut la surpasser. Les moteurs LLM (Large Language Model) finiront par l’admettre et par s’améliorer, ce qui est tout à leur honneur. La plupart des êtres humains n’admettent jamais leurs erreurs !

En fait, je soupçonne que c’est l’une des raisons pour lesquelles nous aimons tant les utiliser. D’une manière étrange, ils nous permettent d’avoir des arguments et de gagner sans contestation. Ça n’arrive pratiquement jamais dans la vie réelle !

L’IA peut se tromper sur beaucoup de choses, mais j’ai vécu une expérience sur deux jours qui m’a véritablement choquée. Je lisais le remarquable livre de Laura Delano, Unshrunk (Non rétréci), et je me suis arrêtée sur la poésie d’ouverture de Percy Shelley : Sur la Méduse de Léonard de Vinci dans la galerie florentine, publié pour la première fois par Mary Shelley dans un recueil de poèmes posthumes en 1824.

Les quatre dernières lignes sont : « Devient un miroir […] et toujours changeant, de toute la beauté et de la terreur là – / Un visage de femme, avec des boucles de serpent, regardant dans la mort le Ciel depuis ces rochers humides. »

C’est important pour le livre de Delano, car son premier chapitre raconte comment elle s’est regardée dans le miroir à l’âge de 13 ans et s’est demandé qui était cette personne qui la regardait en face. C’est un chapitre d’une puissance et d’une résonance étonnantes pour le reste du livre, qui traite de la recherche de la beauté et du salut à travers l’obscurité et la souffrance.

Cependant, la première fois que j’ai interrogé Grok à ce sujet, il m’a donné quatre dernières lignes différentes : « Devient une malédiction et un couronnement là -, Et la vraie beauté qu’elle altère, Pourtant laisse une telle lumière qui ose affronter le midi, Et vit dans la gloire et la grâce. »

Très intéressant, mais nous parlons ici de faits concrets. C’est un vers intéressant qui ressemble à Shelley mais que je n’ai pu trouver nulle part.

J’ai fouillé davantage et Grok a affirmé que les quatre lignes du livre de Delano étaient en fait tirées du poème « Medusa » de Louise Bogan, paru en 1921. J’ai cherché et je n’ai rien trouvé à propos d’un « miroir en perpétuel mouvement ». Je l’ai fait remarquer et Grok s’est penché pour dire que cette partie n’était qu’une sorte de pastiche inventé, généré par Delano elle-même.

C’est une accusation grave à l’encontre d’un auteur réputé, et Grok l’a librement formulée. J’ai ensuite produit une version du poème de Shelley datant de 1914, qui contient toute la section, et j’ai souligné qu’elle ne pouvait pas provenir d’un autre poème publié en 1921. Pourquoi ? Parce qu’il n’est pas possible qu’une édition de 1914 copie quelque chose d’un livre publié sept ans plus tard !

Grok s’est encore défendu, en proposant lien après lien. Mais à chaque fois que j’ai vérifié, chaque lien (ceux qui fonctionnaient en tout cas) confirmait la version de Delano. À chaque fois, Grok est revenu sur ses preuves, mais a néanmoins défendu ses affirmations. Il y a eu 12 rounds.

Enfin, j’ai porté le coup de grâce.

J’ai demandé à Grok la meilleure preuve qu’il avait la bonne version et Delano la mauvaise, et il a objecté qu’elle provient de l’ouvrage de Mary Shelley datant de 1824, qui, selon lui, n’est pas en ligne. Satisfait, Grok s’est déclaré vainqueur.

À ceci près qu’il m’a suffi d’une recherche rapide pour obtenir un rendu réel de cette édition exacte. Elle a confirmé la version de Delano et non celle de Grok.

Finalement, Grok a cédé, a admis son erreur totale, a demandé pardon et a promis de s’améliorer.

J’ai ensuite attendu une heure en effectuant une nouvelle recherche sur le même sujet et, bien sûr, Grok m’a donné satisfaction avec une version correcte sans aucune des absurdités qui avaient pris des heures de mon temps.

Triomphe !

Et pourtant, pas si vite. J’ai attendu une heure de plus et j’ai posé une autre version de la même question. Et là, vous n’allez pas le croire. Grok a généré quatre autres dernières lignes : « Devient une malédiction et un couronnement là -. Et chaque éclair, comme à travers les cheveux / De la grande comète, semble flamboyer et tomber, Et attire l’observateur sous l’emprise de la Gorgone. »

Des vers fascinants… mais aussi totalement faux. Encore une fois ! Stupéfait, j’ai hurlé la bonne version. Cette fois, Grok s’est à nouveau mis en position de défense, affirmant que, certes, la version de Delano est la version établie, mais que certains spécialistes la remettent en question parce que Mary Shelley pourrait avoir modifié quelque chose avant la publication. Grok a cité des « critiques, tels que G. Kim Blank » qui doutent de son authenticité.

Bien sûr, on peut trouver quelque part un érudit qui met volontiers en doute n’importe quoi, mais là n’est pas la question. La question est la suivante : quelle est la version qui fait autorité ? Par deux fois, Grok a complètement inventé des absurdités. À ce jour, Grok défend toujours son erreur idiote.

Je ne doute pas que si j’avais le temps, je pourrais pousser Grok à admettre que sa citation de « critiques, tels que G. Kim Blank » est également bidon et ne justifie certainement pas d’inventer des lignes de toutes pièces et de les attribuer à Shelley. Mais je n’ai pas une heure ou deux de plus pour refaire des recherches et prouver que Grok a tort.

C’est plutôt intéressant, vous ne trouvez pas ? Grok met en doute l’authenticité de la version originale, alors qu’il invente gratuitement des vers absurdes et les attribue à Shelley. C’est un peu comme si la marmite avait été mise dans le pot au feu ! Ou, pour citer la Bible, c’est le type qui a une poutre dans l’œil et qui parle de l’aiguille dans l’œil des autres.

Gardez à l’esprit que ma question n’avait rien de particulier. Le livre original est disponible en ligne en six formats, dont un fac-similé au format PDF. Il n’y a pas de mystère. Je suis étonné que Grok ne puisse pas faire facilement ce que je peux faire, c’est-à-dire effectuer une recherche rapide pour trouver la réponse. Il est intelligent sur tout, sauf sur ce qui est insupportablement évident.

Pourquoi ? Je ne le sais pas, mais ce qui est encore plus exaspérant, c’est le ton de « je sais tout » que l’on retrouve dans chaque réponse. C’est formidable que ces LLM admettent qu’ils se trompent, mais nous nous adressons à eux pour obtenir des informations correctes.

S’ils se trompent parfois ou souvent, comment pouvons-nous savoir quand ils ont raison ou tort ? Si nous devons fouiller et vérifier tout ce qu’ils disent, à quoi servent-ils exactement ?

Cette technologie est merveilleuse, mais sa confiance en sa propre précision dépasse sa base de connaissances et sa curiosité. C’est dangereux. Tout peut être faux. Tout doit être vérifié encore et encore auprès de sources originales. Et pour cela, il faut connaître un peu le sujet sur lequel on s’interroge. J’ose dire que pour corriger Grok, vous devez connaître au moins une chose mieux que l’IA ne la connaît.

On pourrait dire que ça s’améliorera avec le temps. Cela ne fait aucun doute. Mais jusqu’à quel point et pendant combien de temps ? Il n’y aura jamais de moment où l’on pourra dire : maintenant, c’est tout à fait exact. Les erreurs font partie de l’expérience de l’IA, mais vous ne saurez jamais avec certitude où elles se trouvent. En attendant, ces modèles continueront leur petit bonhomme de chemin, prétendant avoir raison sur tout, jusqu’à ce qu’ils soient corrigés.

Tout cela soulève la question à laquelle nous sommes confrontés aujourd’hui : la valeur de l’homme par rapport à la machine dans nos vies et notre culture. Et c’est là que le livre de Delano excelle à l’extrême.

Si « Unshrunk » n’était pas également un ouvrage de science médicale et n’excluait donc pas toute discussion détaillée sur les médicaments psychiatriques, il serait brillant et captivant en tant qu’autobiographie pure. S’il s’agissait d’une fiction et non d’une autobiographie, il serait comparable aux grands romans victoriens. Parce que la prose et les expériences sont les siennes – richement détaillées et puissamment présentées d’une manière qui mérite d’être lue à haute voix par d’autres – c’est une prouesse extraordinaire et rare que l’intelligence artificielle ne pourra jamais copier.

Voilà ce dont notre époque a besoin : plus d’exemples de la beauté, du charme et du caractère glorieux des vies vécues authentiquement et sans programmation algorithmique. La plus grande réussite de l’IA pourrait se trouver dans l’ironie : par l’exemple opposé, elle nous apprendra à aimer plus que jamais la créativité humaine. Il s’avère que l’intelligence humaine, bien que profondément faillible, offre quelque chose que l’IA ne peut pas offrir : la sincérité, la créativité et, apparemment (et pour l’instant), un plus grand degré de précision à l’ancienne.

Les opinions exprimées dans cet article sont celles de l’auteur et ne reflètent pas nécessairement celles d’Epoch Times.