Benchmarks de Agents

Benchmark de agentes de SWE-bench Verified

O OpenGPT mantém 10 linhas publicadas vinculadas à versão exata SWE-bench Verified do benchmark e ao ambiente exibido abaixo.

Tarefas: 500
Linhas publicadas: 10
Data dos dados da fonte: 10 de ago. de 2026
Identidade revisada: Histórico

Escopo das evidências

Verified · Top 10 published configurations · 500 tasks. human-validated GitHub issues. Reproducible repository environments evaluated por the upstream benchmark. Configuration-specific upstream limits.

How OpenGPT handles this evidence

O OpenGPT preserva a métrica, o escopo de tarefas, o ambiente, a versão, os campos de configuração e a data da fonte fornecidos pelo publicador. Ele não cria uma pontuação geral de Agentes que combine benchmarks.

Limites da comparação

Um resultado mais alto se aplica apenas à versão e às condições do benchmark exibidas.
Os resultados de Agents refletem o sistema completo, não apenas o modelo base.
Dados ausentes de custo, confiabilidade, segurança ou latência continuam sem ser informados, em vez de serem inferidos.
Mantenha esses resultados publicados como evidências históricas, não como uma medição universal atual da capacidade de programação. Uma auditoria da OpenAI de 2026 relatou problemas fundamentais de concepção e contaminação no SWE-bench Verified.

Verified · Top 10 published configurations · 500 tarefas

Mostrando 10 de 10 linhas publicadas. Cada resultado permanece vinculado ao benchmark e à configuração da fonte.