OpenGPT以資料為基礎的模型選擇Agent 配置 · SWE-bench Verified
live-SWE-agent + Gemini 3 Pro Preview (2025-11-18)
榜單評估的完整對象，包括模型、框架、工具、權限、預算與執行環境。
問題解決率77.4%
每次成功成本未公布
來源公布的結果範圍未公布
01
配置
Agent 系統live-SWE-agent + Gemini 3 Pro Preview (2025-11-18)
基礎模型Gemini 3 Pro Preview (2025-11-18)
來源模型 ID 或名稱gemini-3-pro-preview
Agent 框架live-SWE-agent
Agent 框架版本未提供
工具未提供
執行環境由 SWE-bench 評估的可重現程式碼倉庫環境
預算上限取決於各提交配置
02
結果
問題解決率77.4%
部分完成分未公布
每次成功成本未公布
來源公布的評測總成本未提供
完成時間中位數未公布
人工介入率未公布
03
執行情況
重複執行證據未公布
來源公布的結果範圍未公布
安全提示未公布
可比較組swe-bench-verified-full-500
評測日期
資料取得日期
04
可信度
證據狀態已列入基準官方榜單
資料來源SWE-bench Verified
資料快照Verified · 完整 Agent 榜單 · 500 項工作
來源資料日
OpenGPT 取得時間
排名最後變化暫無可比歷史
最近核查
工作數500 經人工核驗的 GitHub 問題
證據等級存在外部審計提示
證據說明
這些結果作為歷史證據保留。OpenAI 在 2026 年的審計中指出 SWE-bench Verified 存在設計與資料污染風險。
稽核說明 ↗此結果不能說明什麼
結果只適用於此處顯示的完整系統與來源條件，不能證明萬用 Agent、正式環境可靠性、資料治理或其他版本的表現。
資料來自公開來源，缺少項目保持未知。
採用前做一次真實驗證
公開榜單用於縮小候選範圍，是否適合你的工作，需要透過小規模私有測試確認。
- 1
選擇 10–20 個代表性工作，並寫清通過條件。
- 2
測試前鎖定 Agent、模型、工具、權限與預算。
- 3
重要工作重複執行，記錄成功率、成本、時間與人工接管。
- 4
檢查失敗案例與資料風險後，再決定是否正式採用。