OpenGPTDecisiones de modelos basadas en evidenciaConfiguración de Agent · SWE-bench Verified
live-SWE-agent + Claude 4.5 Opus medium (20251101)
El objeto clasificado: modelo, andamiaje, herramientas, permisos, presupuesto y entorno en conjunto.
01
Configuración
02
Resultado
03
Operación
04
Confianza
Nota sobre la evidencia
Conserva estos resultados como evidencia histórica. Una auditoría de OpenAI de 2026 señaló problemas de diseño y contaminación en SWE-bench Verified.
Abrir auditoría ↗Qué no demuestra este resultado
Este resultado se aplica al sistema exacto y a las condiciones de la fuente que se muestran aquí. No establece que exista un Agent universalmente superior ni demuestra fiabilidad en producción, gobernanza de datos o rendimiento con una versión diferente del benchmark.
Datos comunicados por la fuente; los valores ausentes siguen siendo desconocidos.
Validar antes de adoptar
Las clasificaciones públicas permiten elaborar una lista de finalistas. Una pequeña prueba privada determina si la configuración se adapta a tu trabajo.
- 1
Elige entre 10 y 20 tareas representativas y define una condición de aprobación clara.
- 2
Fija el agente, el modelo, las herramientas, los permisos y el presupuesto antes de realizar la prueba.
- 3
Ejecute cada tarea importante más de una vez; registre el éxito, el coste, el tiempo y las intervenciones humanas.
- 4
Revise los fallos y los riesgos del tratamiento de datos antes de tomar una decisión de producción.