Humanity's Last Exam

Humanity's Last Exam (HLE) est un test de performance pour l’évaluation des modèles de langage composée de 2 500 questions couvrant un large éventail de sujets. Il est créé conjointement par le Center for AI Safety et Scale AI et dévoilé publiquement le .

Création

Le rapport annuel 2025 de l'IA Index de l'Institute for Human-Centered Artificial Intelligence (HAI) de l'université Stanford cite Humanity's Last Exam comme l'un des « épreuves de référence les plus difficiles » développés en réponse aux épreuves d'IA populaires ayant atteint un « plafond ». Le test est décrit comme le fruit de l'imagination de Dan Hendrycks, chercheur en apprentissage automatique et directeur du Center for AI Safety, qui déclare avoir été inspiré pour créer le test après une conversation avec Elon Musk, qui pensait que les épreuves de modèles de langage existants, tels que le MMLU, étaient trop faciles. Hendrycks travaille avec Scale AI pour compiler les questions.

Les questions sont collectées auprès d'experts en la matière de diverses institutions à travers le monde. Elles sont d'abord filtrées par les principaux modèles d'IA ; si les modèles ne parviennent pas à y répondre ou font pire que deviner au hasard pour les questions à choix multiples, ils sont examinés par des experts humains en deux tours et approuvés pour être inclus dans l'ensemble de données. Les auteurs des questions les mieux notées reçoivent un prix d'un montant de 500 000 dollars américains : 5 000 $ pour chacune des 50 meilleures questions et 500 $ pour les 500 suivantes.

Après la publication initiale dans la revue Nature, le , un programme de récompenses aux bugs, basé sur les commentaires de la communauté, est lancé pour identifier et supprimer les erreurs majeures dans l'ensemble de données.

Composition

Le test comprend 2 500 questions, classées selon les principales disciplines suivantes :

Environ 14 % des questions requièrent la compréhension de textes et d’images, ce qui exige une capacité multimodale des modèles. 24 % des questions sont à choix multiples ; les autres sont des questions à réponse courte et à correspondance exacte. Un ensemble privé est également maintenu pour tester le surapprentissage du test .

Un exemple de question :

« Les colibris (Apodiformes) possèdent de manière unique un os ovale bilatéralement apparié, un sésamoïde enchâssé dans la partie caudolatérale de l’aponévrose cruciforme élargie d’insertion du m. depressor caudae. Combien de tendons appariés sont soutenus par cet os sésamoïde ? Répondez par un nombre. »

Résultats

Performances de différents modèles sur l'épreuve
Organisation Modèle Précision (%) ↑ Erreur d'étalonnage (%) ↓
Google DeepMind Aperçu de Gemini 2.5 Pro (06-05) 21,64 72
OpenAI o3 (élevé) 20,32 34
Anthropic Claude Opus 4 10,72 73
Meta AI Llama 4 Maverick 5,68 83
Mistral AI Mistral Medium 3 4,52 77
Amazon Web Services Nova Pro 4,40 80
Source : Scale AI, 5 juin 2025.
Performances de divers modèles non multimodaux sur le sous-ensemble textuel de l'épreuve
Organisation Modèle Précision (%) ↑ Erreur d'étalonnage (%) ↓
DeepSeek DeepSeek-R1-0528 14,04 78
OpenAI o3-mini (élevé) 13,37 80
Alibaba Cloud Qwen3-235B-A22B 11,75 74
Amazon Web Services Nova Micro 4,41 84
Source : Scale AI, 3 juin 2025.

Voir aussi

Articles connexes