Benchmarks d’Agents

Benchmark d’agents de SWE-bench Verified

OpenGPT conserve 10 lignes publiées, associées à la version SWE-bench Verified exacte du benchmark et à l’environnement indiqués ci-dessous.

Tâches: 500
Lignes publiées: 10
Date des données sources: 10 août 2026
Identité examinée: Historique

Périmètre des preuves

Verified · Top 10 published configurations · 500 tasks. human-validated GitHub issues. Reproducible repository environments evaluated par the upstream benchmark. Configuration-specific upstream limits.

How OpenGPT handles this evidence

OpenGPT conserve la métrique, le périmètre des tâches, l’environnement, la version, les champs de configuration et la date source de l’éditeur. Il ne crée aucun score Agent global couvrant plusieurs benchmarks.

Limites de la comparaison

Un meilleur résultat ne s’applique qu’à la version du benchmark et aux conditions affichées.
Les résultats des Agents reflètent le système complet, et non le seul modèle de base.
Les données manquantes sur les coûts, la fiabilité, la sécurité ou la latence restent non renseignées au lieu d’être déduites.
Conservez ces résultats publiés comme des preuves historiques, et non comme une mesure universelle actuelle des capacités de développement. Un audit OpenAI de 2026 a signalé des problèmes fondamentaux de conception et de contamination dans SWE-bench Verified.

Verified · Top 10 published configurations · 500 tâches

Affichage de 10 lignes publiées sur 10. Chaque résultat reste associé au benchmark et à la configuration de sa source.