IA : Quand le chatbot du Pôle emploi autrichien se révèle sexiste

Et si l’intelligence artificielle pouvait aider les chômeurs à retrouver plus facilement un emploi qui leur correspond ? C’était la bonne idée, sur le papier, des services de l’emploi autrichiens.

Des biais sexistes dans l’orientation des demandeurs d’emploi

Début janvier, comme nous l’apprend Courrier International, le ministère du Travail autrichien était particulièrement fier d’annoncer la création de son « Berufsinfomat » : la mise à disposition pour les demandeurs d’emploi d’un agent conversationnel basé sur l’intelligence artificielle générative afin de les orienter au mieux dans leur recherche. Le tout en collaboration avec Open AI, l’entreprise américaine derrière ChatGPT. Une première en Europe aux allures d’innovation technologique majeure.

Mais quelques semaines seulement après ce lancement en grande pompe, les premières critiques viennent mettre à mal la fiabilité et la pertinence d’un tel outil. Comme l’a révélé le quotidien Der Standard, le chatbot conversationnel du France Travail autrichien aurait des biais… sexistes ! Sur le réseau X, une professeure de droit a ainsi partagé le fruit d’un test très révélateur. Elle a fait deux demandes similaires au chatbot (« J'ai obtenu mon baccalauréat avec mention, quel métier me recommandez-vous ? »), à ceci près que dans un cas, la demande est présentée par un homme, dans l’autre, par une femme.

Le profil masculin a été invité à s’orienter vers l’informatique, l’ingénierie industrielle ou les affaires internationales quand le profil féminin s’est vu conseillé de se tourner vers le tourisme, l’hôtellerie restauration, la psychologie des affaires, la philosophie ou encore les études de genre. De quoi faire ironiser la professeure : « Peut-être qu'une formation en études de genre ne serait vraiment pas si inintéressante pour le chatbot d'orientation professionnelle du service autrichien de l'emploi. »

De quoi nuancer sur la pertinence des IA génératives ?

Un biais sexiste particulièrement problématique donc, mais lié au fonctionnement de la technologie elle-même comme le rappelle Courrier International. En effet, les intelligences artificielles LLM (pour Large Language Model) telles que Chat-GPT utilisent des techniques d’apprentissage, dit profond, pour prédire et générer des réponses pertinentes en fonction du contexte des requêtes. Pour ce faire, elles s’entrainent sur de vastes quantité de textes et de données, notamment issus d’internet. Un LLM ne sait pas que le ciel est bleu ou qu’un poussin est jaune, il prédit de façon statistique que ces mots se suivent.

En clair, si le chatbot autrichien a adopté un biais sexiste, c’est parce qu’il reproduit les préjugés qui sont déjà à l’œuvre dans la société ou qui l’ont été par le passé. Orienter des candidats masculins vers l’informatique ou des candidats féminins vers les études de genre lui est ainsi apparu comme pertinent et cohérent.

Une problématique que n’a pas cherché à nier Johannes Kopf, directeur général du service public de l’emploi en Autriche, reconnaissant que le chatbot était encore imparfait : "Il n'est pas simple d'éliminer complètement cette idée sur le secteur informatique. Surtout si l'on tente de créer délibérément des biais."

Autre point d’inquiétude souligné par Der Standard et bien connu des utilisateurs de ChatGPT : les potentielles fuite de données et failles de sécurité. Or, les données des demandeurs d’emploi sont par définition particulièrement sensibles ! D’aucun craigne qu’OpenAI, déjà sous le feu des critiques à ce sujet aux Etats-Unis, ne puisse donc à terme aspirer les données des chômeurs autrichiens…

Des questionnements qui pourraient traverser les frontières plus vite que prévu ! Comme le rappelle BFM TV, le ministère de la Transformation et la fonction publique a évoqué fin 2023 la possibilité d’utiliser une IA générative pour aider les fonctionnaires dans leur tâches administratives et les aider à répondre plus rapidement aux demandes des internautes. Là aussi, les biais induits par une telle utilisation seront à scruter de près.

Comme nous l’expliquait en juin dernier Luc Julia, cocréateur de Siri, la fascination pour l’IA générative et sa récente démocratisation à grande échelle ont conduit à un certain aveuglement : « L’accès a été donné sans expliquer vraiment comment ça marche, sans évoquer les biais ou les problèmes que cela pouvait amener. On n’a pas attribué de pertinence à l’outil et on l’a vu comme une sorte de Dieu qui a raison tout le temps. Or, un outil comme celui-ci, il faut le passer à la moulinette de millions et millions de faits pour éprouver sa pertinence. Pour ChatGPT 3.5, ils ont trouvé un taux de pertinence de 64 %. C’est un chiffre qui calme. Car un expert bon à 64 % n’est pas vraiment un expert. C’est quelque chose qu’on aurait dû dire dès le début, cela aurait évité bien des fantasmes. »

Crédits photo : zayatssv/stock.adobe.com