Agent 評測

SWE-bench Verified Agent 評測

OpenGPT 將10筆公開記錄保留在下方所示的 SWE-bench Verified 評測版本與環境內。

工作: 500
公開記錄: 10
來源資料日期: 2026年2月27日
身分核驗日期: 歷史記錄

資料範圍

Verified · Top 10 published configurations · 500 tasks. human-validated GitHub issues. Reproducible repository environments evaluated by the upstream benchmark. Configuration-specific upstream limits.

OpenGPT 如何處理這些資料

OpenGPT 保留發布方的指標、工作範圍、環境、版本、設定欄位與資料日期，不產生跨評測 Agent 總分。

可比範圍

更高結果只適用於所展示的評測版本與條件。
Agent 結果反映完整系統，而不是基礎模型單獨能力。
成本、穩定性、安全性或速度沒有公開時保持未報告，不進行推測。
Keep these published results as historical evidence, not a current universal measure of coding ability. A 2026 OpenAI audit reported fundamental design and contamination concerns in SWE-bench Verified.

Verified · Top 10 published configurations · 500 tasks

展示10筆公開記錄中的10筆；每項結果都保留來源評測與設定。