Agent-benchmarks

SWE-bench Verified agent-benchmark

OpenGPT houdt 10 gepubliceerde rijen gekoppeld aan de exacte SWE-bench Verified-benchmarkversie en hieronder weergegeven omgeving.

Taken: 500
Gepubliceerde rijen: 10
Datum van brongegevens: 10 aug 2026
Identiteit beoordeeld: Historisch

Bewijsbereik

Verified · Top 10 published configurations · 500 tasks. human-validated GitHub issues. Reproducible repository environments evaluated door the upstream benchmark. Configuration-specific upstream limits.

How OpenGPT handles this evidence

OpenGPT behoudt de meetwaarde, het taakbereik, de omgeving, versie, configuratievelden en brondatum van de uitgever. Het maakt geen algehele Agent-score over benchmarks heen.

Vergelijkingsgrenzen

Een hoger resultaat geldt alleen voor de weergegeven benchmarkversie en de bijbehorende voorwaarden.
Agentresultaten weerspiegelen het volledige systeem, niet alleen het basismodel.
Ontbrekende gegevens over kosten, betrouwbaarheid, veiligheid of latentie worden niet afgeleid maar blijven niet-gerapporteerd.
Bewaar deze gepubliceerde resultaten als Historisch bewijs, niet als Actuele universele maatstaf voor programmeervaardigheid. Een OpenAI-audit uit 2026 meldde fundamentele zorgen over het ontwerp en contaminatie in SWE-bench Verified.

Verified · Top 10 published configurations · 500 taken

10 van 10 gepubliceerde rijen weergegeven. Elk resultaat blijft gekoppeld aan de bronbenchmark en configuratie.