Ce mois d’octobre voit les modèles de langage d’OpenAI, GPT-4o, o1-preview, et o1-mini, toujours dominer le classement de la Chatbot Arena, grâce à leurs performances et innovations, comme expliqué dans cette brève. OpenAI, désormais valorisée à 157 milliards de dollars grâce à sa dernière levée de fonds, devance aussi les modèles Gemini 1.5 Pro de Google, tandis que le modèle Grok-2 de X (anciennement Twitter) occupe la sixième place.

La grande nouveauté du mois est l’arrivée des modèles chinois Yi Lightning (7e) et GLM-4-Plus (9e), ce qui marque la progression de 01.ai, entreprise de Kai-Fu Lee, et pousse des acteurs comme Anthropic, Meta, et Mistral AI hors du top 10, eux qui accaparaient le haut du classement en mars.

La Chatbot Arena, développée par des chercheurs de l’Université de Berkeley, évalue les modèles par des duels anonymes et notés selon un score Elo, permettant une classification plus objective que les évaluations internes des entreprises. Le duel anonyme signifie que l’utilisateur compare les réponses apportées par deux modèles anonymes et désigne un vainqueur pour la réponse la plus convaincante.

La multiplication des modèles produit la matière pour d’autres études, celles-ci orientées sur les biais contenus dans ces modèles de langage. Des chercheurs belges et espagnols, respectivement des universités de Gand et de Navarre, ont cherché à mettre en lumière les conséquences de l’ensemble des choix nécessaires à la conception d’un modèle de langage (LLM), de sa conception, aux données utilisées pour l’entraîner et aux interventions directes dans le modèle pour conditionner son comportement.

Au cours de leur raisonnement, les chercheurs ont dû questionner la notion de la neutralité idéologique. Objectif idéal, la neutralité idéologique n’est qu’un chimère qui contient en son sein la subjectivité de son environnement. Appliqué dans le champ de l’IA générative, les chercheurs ont montré que, lorsque le prompt était signifié en mandarin, les résultats étaient plus favorables aux personnalités qui promeuvent les valeurs chinoises. De même, les LLM occidentaux sont plus alignés avec les valeurs occidentales que leurs concurrents non-occidentaux, bien que l’anglais soit utilisé dans tous les cas.

La mise en lumière des biais des LLM, malgré leur recherche de neutralité objective, implique différentes conséquences. La première est d’intégrer l’orientation du modèle dans les critères transparents du choix de l’outil, au même titre que son prix ou son accessibilité, car il aura une conséquence sur la qualité des résultats. La deuxième entraîne un besoin d’un fort accroissement de transparence de la part des concepteurs des modèles. La neutralité idéologique étant par nature subjective, un pouvoir politique malintentionné pourrait chercher à réguler les résultats produits. Et pourtant, chaque Etat devrait promouvoir un modèle national pour mieux refléter les caractéristiques propres à sa nation.

Pour contrer cette neutralité illusoire, les chercheurs aspirent à des modèles promoteurs de diversité, acteurs de la démocratie dans une perspective d’une société agoniste.