Agent 评测

SWE-bench Verified Agent 评测

OpenGPT 将10条公开记录保留在下方所示的 SWE-bench Verified 评测版本与环境内。

任务: 500
公开记录: 10
来源数据日期: 2026年2月27日
身份核验日期: 历史记录

数据范围

Verified · Top 10 published configurations · 500 tasks. human-validated GitHub issues. Reproducible repository environments evaluated by the upstream benchmark. Configuration-specific upstream limits.

OpenGPT 如何处理这些数据

OpenGPT 保留发布方的指标、任务范围、环境、版本、配置字段与数据日期，不生成跨评测 Agent 总分。

可比边界

更高结果只适用于所展示的评测版本与条件。
Agent 结果反映完整系统，而不是基础模型单独能力。
成本、稳定性、安全性或速度没有公开时保持未报告，不进行推测。
Keep these published results as historical evidence, not a current universal measure of coding ability. A 2026 OpenAI audit reported fundamental design and contamination concerns in SWE-bench Verified.

Verified · Top 10 published configurations · 500 tasks

展示10条公开记录中的10条；每项结果都保留来源评测与配置。