GAIA Leaderboard
L'analyse du classement GAIA (General AI Assistants) que vous présentez montre une évolution spectaculaire des capacités des agents IA en 2025. Contrairement aux benchmarks classiques qui testent les connaissances théoriques, GAIA évalue la capacité à agir (utiliser des outils, naviguer sur le web, raisonner par étapes).
Voici un décodage des résultats et les points clés à retenir :
1. Une performance globale proche de l'humain
Le score moyen des leaders (89,37 %) est impressionnant. À titre de comparaison, lors du lancement du benchmark fin 2023, GPT-4 plafonnait à environ 15 %. Nous approchons désormais du score de référence humain (environ 92 %). Cela signifie que les agents actuels sont capables de résoudre des tâches administratives ou de recherche complexes de manière quasi autonome.
2. Analyse par niveaux de difficulté
Le benchmark GAIA est structuré en trois paliers, reflétant la complexité du workflow :
Niveau 1 (Validation des bases) : Presque tous les modèles du Top 10 dépassent les 95 %. Ce niveau, qui demande peu d'étapes de raisonnement, est désormais considéré comme "résolu" par les modèles de pointe.
Niveau 2 (Complexité intermédiaire) : Les scores chutent autour de 84-86 %. Ici, l'agent doit coordonner plusieurs outils (ex: ouvrir un PDF, extraire une donnée, faire un calcul et vérifier sur le web). C'est le cœur de métier des assistants actuels.
Niveau 3 (La "frontière") : C'est le véritable test de l'intelligence fluide. Les scores varient plus fortement (de 69 % à 87 %). Le modèle de NVIDIA (Nemotron-ToolOrchestra) se distingue particulièrement avec 87,76 %, surpassant même les leaders du classement général sur ce niveau précis. Cela indique une capacité de planification à long terme supérieure.
3. La domination des systèmes "Multi-Agents"
Une tendance majeure se dégage de la colonne "Model family" : les meilleurs résultats ne proviennent pas d'un seul modèle, mais de combinaisons hybrides.
Le leader, testManus_v0.0.1, utilise un mélange de GPT-5, o3, Gemini 2.5 Pro et Claude.
Pourquoi ? Parce qu'un modèle peut être excellent pour planifier (o3/GPT-5), tandis qu'un autre est plus fiable pour l'utilisation d'outils spécifiques ou l'analyse de documents (Claude/Gemini).
4. Observations stratégiques
NVIDIA en embuscade : Bien que 7ème au général, le modèle de NVIDIA est le plus performant sur les tâches de niveau 3. Pour des projets nécessitant une très haute autonomie sans supervision, leur approche "ToolOrchestra" semble être la plus robuste.
Convergence des géants : Microsoft (HALO) et JD Enterprise (Manus) occupent les deux premières places avec des scores identiques au centième près. La compétition au sommet est extrêmement serrée.
L'arrivée de GPT-5 et Gemini 3 : On remarque l'apparition de modèles comme Gemini-3-Pro et GPT-5.1 dans les soumissions de décembre 2025, confirmant que nous sommes sur une nouvelle génération de modèles "natifs pour les agents".
Synthèse des scores (Top 3)
| Agent | Organisation | Moyenne | Niveau |