Benchmarks de Agents

Benchmark de agentes de SWE-bench Verified

OpenGPT mantiene 10 filas publicadas asociadas a la versión SWE-bench Verified exacta de la prueba de referencia y al entorno que se muestran a continuación.

Tareas: 500
Filas publicadas: 10
Fecha de los datos de la fuente: 10 ago 2026
Identidad revisada: Histórico

Alcance de la evidencia

Verified · Top 10 published configurations · 500 tasks. human-validated GitHub issues. Reproducible repository environments evaluated por the upstream benchmark. Configuration-specific upstream limits.

How OpenGPT handles this evidence

OpenGPT conserva la métrica, el alcance de tareas, el entorno, la versión, los campos de configuración y la fecha de la fuente del editor. No crea una puntuación general de agentes entre pruebas de referencia distintas.

Límites de la comparación

Un resultado superior solo se aplica a la versión y las condiciones del benchmark mostradas.
Los resultados de Agents reflejan el sistema completo, no solo el modelo base.
Los datos ausentes sobre coste, fiabilidad, seguridad o latencia se mantienen sin informar, en lugar de inferirse.
Conserva estos resultados publicados como evidencia histórica, no como una medida universal vigente de la capacidad de programación. Una auditoría de OpenAI de 2026 señaló problemas fundamentales de diseño y contaminación en SWE-bench Verified.

Verified · Top 10 published configurations · 500 tareas

Mostrando 10 de 10 filas publicadas. Cada resultado permanece vinculado al benchmark y a la configuración de origen.