Humanity's Last Exam

Cet article manque de repères chronologiques ou de dates (septembre 2026).

Vous pouvez ajouter les données manquantes avec leurs sources.

Humanity's Last Exam (HLE) est un test de performance pour l’évaluation des modèles de langage composée de 2 500 questions couvrant un large éventail de sujets. Il est créé conjointement par le Center for AI Safety et Scale AI et dévoilé publiquement le 28 janvier 2026.

Création

Le rapport annuel 2025 de l'IA Index de l'Institute for Human-Centered Artificial Intelligence (HAI) de l'université Stanford cite Humanity's Last Exam comme l'un des « épreuves de référence les plus difficiles » développés en réponse aux épreuves d'IA populaires ayant atteint un « plafond ». Le test est décrit comme le fruit de l'imagination de Dan Hendrycks, chercheur en apprentissage automatique et directeur du Center for AI Safety, qui déclare avoir été inspiré pour créer le test après une conversation avec Elon Musk, qui pensait que les épreuves de modèles de langage existants, tels que le MMLU, étaient trop faciles. Hendrycks travaille avec Scale AI pour compiler les questions.

Les questions sont collectées auprès d'experts en la matière de diverses institutions à travers le monde. Elles sont d'abord filtrées par les principaux modèles d'IA ; si les modèles ne parviennent pas à y répondre ou font pire que deviner au hasard pour les questions à choix multiples, ils sont examinés par des experts humains en deux tours et approuvés pour être inclus dans l'ensemble de données. Les auteurs des questions les mieux notées reçoivent un prix d'un montant de 500 000 dollars américains : 5 000 $ pour chacune des 50 meilleures questions et 500 $ pour les 500 suivantes.

Après la publication initiale dans la revue Nature, le 28 janvier 2026, un programme de récompenses aux bugs, basé sur les commentaires de la communauté, est lancé pour identifier et supprimer les erreurs majeures dans l'ensemble de données.

Composition

Le test comprend 2 500 questions, classées selon les principales disciplines suivantes :

• mathématiques (41 %),
• physique (9 %),
• biologie/médecine (11 %),
• sciences humaines/sociales (9 %),
• informatique/intelligence artificielle (10 %),
• ingénierie (4 %),
• chimie (7 %)
• et autres (9 %).

Environ 14 % des questions requièrent la compréhension de textes et d’images, ce qui exige une capacité multimodale des modèles. 24 % des questions sont à choix multiples ; les autres sont des questions à réponse courte et à correspondance exacte. Un ensemble privé est également maintenu pour tester le surapprentissage du test .

Un exemple de question :

« Les colibris (Apodiformes) possèdent de manière unique un os ovale bilatéralement apparié, un sésamoïde enchâssé dans la partie caudolatérale de l’aponévrose cruciforme élargie d’insertion du m. depressor caudae. Combien de tendons appariés sont soutenus par cet os sésamoïde ? Répondez par un nombre. »

Résultats

Voir aussi