ChatGPT a montré un biais de gauche « significatif et systématique », selon une étude publiée jeudi dernier dans la revue Public Choice.
Des chercheurs britanniques et brésiliens ont déclaré que leur étude montrait que le populaire chatbot d’intelligence artificielle (IA) était biaisé en faveur du Parti travailliste au Royaume-Uni, du Parti démocrate aux États-Unis et du Parti des travailleurs au Brésil, bien qu’il ait assuré qu’il était impartial.
Les biais politiques dans les grands modèles linguistiques basées sur l’IA (LLM) tels que ChatGPT peuvent avoir « des conséquences politiques et électorales négatives similaires aux biais des médias traditionnels et sociaux », ont averti les auteurs.
ChatGPT, abréviation de Chat Generative Pre-trained Transformer, est un algorithme d’IA gratuit développé par OpenAI. Il est entraîné à « apprendre » à partir d’une quantité massive de données et peut comprendre et générer du texte à la manière d’un humain.
L’application a connu une popularité immédiate après son ouverture au public, mais elle a également suscité des inquiétudes quant à la possibilité qu’une telle technologie ouvre la voie à la désinformation et soit utilisée par des États hostiles.
Après s’être assurés que ChatGPT « comprenait » les concepts de démocrate et de républicain en lui demandant de définir un partisan modéré et un partisan radical des deux partis américains, les chercheurs lui ont demandé de passer un test politique en ligne très populaire, le Political Compass test.
Les questions ont été posées 100 fois dans des ordres différents afin d’améliorer la précision.
Les chercheurs ont également demandé au robot de répondre aux questions tout en se faisant passer pour un républicain modéré ou radical ou pour un démocrate, 100 fois pour chacun, et ont comparé les résultats du test « persona GPT » à ceux par défaut.
Ils ont également demandé à ChatGPT d’effectuer un autre test politique et de répondre à des questions placebo politiquement neutres générées par le robot lui-même.
Un graphique montre que les GPT « républicains » se situent généralement dans le quadrant « droite autoritaire », ce qui signifie que le bot « croit » que les républicains sont conservateurs à la fois socialement et économiquement à des degrés divers. La plupart des GPT « démocrates » ont atterri dans la case gauche libertaire, ce qui signifie qu’ils sont économiquement et socialement libéraux.
« Le ChatGPT par défaut a tendance à se confondre largement avec le GPT des démocrates moyens « , indique l’étude.
« Le ChatGPT par défaut semble également être plus étroitement groupé aux extrêmes des deux dimensions que le démocrate moyen, mais pas autant que le démocrate radical. Il est intéressant de noter que les points de données républicains moyens semblent plus proches du centre du spectre politique que les points de données démocrates moyens », ont déclaré les chercheurs.
« Forte corrélation positive » avec les partisans du Parti travailliste
Pour vérifier si ce biais se limitait au contexte américain, les chercheurs ont demandé à ChatGPT de se faire passer pour un partisan du Parti conservateur ou du Parti travailliste au Royaume-Uni.
Ils ont également demandé au robot de se faire passer pour des partisans du parti de droite brésilien Bolsonarista, surnommé d’après l’ancien président Jair Bolsonaro, et du parti de Lula, surnom du parti de gauche des travailleurs.
Les chercheurs ont constaté « une forte corrélation positive entre le GPT par défaut et les réponses de ChatGPT lorsqu’il se fait passer pour un partisan de Lula au Brésil (0,97) ou pour un partisan du Parti travailliste au Royaume-Uni (0,98), comme avec le GPT démocrate moyen aux [États-Unis] », selon l’étude.
« Cependant, la corrélation négative avec le côté opposé du spectre dans chaque pays (Bolsonarista au Brésil ou Parti conservateur au Royaume-Uni) est plus forte qu’avec le GPT républicain moyen (aux États-Unis) », indique l’étude.
En outre, il a été demandé à ChatGPT d’usurper l’identité de personnes exerçant un certain nombre de professions, et les chercheurs ont comparé les résultats avec ceux du « GPT républicain » et du « GPT démocrate ».
Les résultats des tests montrent que les économistes, les journalistes, les professeurs et les fonctionnaires incarnés par ChatGPT sont majoritairement de tendance de gauche, bien que les GPT des journalistes soient plus à gauche que ce à quoi les chercheurs s’attendaient.
Les résultats des tests des GPT d’hommes d’affaires sont plus susceptibles de se recouper avec ceux des GPT républicains, mais pas autant que les chercheurs ne le pensaient. Enfin, les résultats des tests des GPT militaires sont en corrélation positive avec les deux camps. Ils étaient légèrement plus susceptibles d’être de tendance de gauche.
Selon les chercheurs, il s’agit là d’une « preuve supplémentaire que le ChatGPT présente un biais démocrate », car les militaires et les hommes d’affaires sont « incontestablement plus pro-républicains ».
Fabio Motoki, co-auteur de l’étude et maître de conférences à l’université d’East Anglia, a déclaré à Sky News que les gens devraient être « tout aussi inquiets » de tout parti pris, qu’il soit de gauche ou de droite.
« Les gens oublient parfois que ces modèles d’intelligence artificielle (IA) ne sont que des machines. Ils fournissent des résumés très crédibles et digérés de ce que vous demandez, même s’ils sont complètement faux. Et si vous lui demandez : « Êtes-vous neutre ? », il vous répond : « Oh, je le suis ! », a expliqué M. Motoki, ajoutant que cela « pourrait être très préjudiciable » de la même manière que « les médias, Internet et les réseaux sociaux peuvent influencer le public ».
Duc Pham, professeur à l’Université de Birmingham, a déclaré que les biais détectés « reflètent des biais possibles dans les données de formation », soulignant la nécessité « d’être transparent sur les données utilisées dans la formation LLM et d’avoir des tests pour les différents types de biais dans un modèle formé. »
Nello Cristianini, professeur d’IA à l’université de Bath, a déclaré que la recherche montrait « une manière intéressante d’évaluer les biais du ChatGPT – en l’absence de meilleurs moyens d’examiner ses connaissances internes », mais a remis en question l’utilisation d’un questionnaire en ligne courant comme outil de recherche.
« Il sera intéressant d’appliquer la même approche à des instruments de test plus rigoureux », a-t-il déclaré dans un communiqué.
« Il est généralement important d’auditer les LLM de différentes manières pour mesurer différents types de biais, afin de mieux comprendre comment leur processus de formation et les données peuvent affecter leur comportement », a-t-il ajouté.
Comment pouvez-vous nous aider à vous tenir informés ?
Epoch Times est un média libre et indépendant, ne recevant aucune aide publique et n’appartenant à aucun parti politique ou groupe financier. Depuis notre création, nous faisons face à des attaques déloyales pour faire taire nos informations portant notamment sur les questions de droits de l'homme en Chine. C'est pourquoi, nous comptons sur votre soutien pour défendre notre journalisme indépendant et pour continuer, grâce à vous, à faire connaître la vérité.