エージェント評価

SWE-bench Verifiedエージェント評価

SWE-bench Verifiedの表示版と環境に結び付いた公開行10件を保持します。

課題: 500
公開行: 10
情報源データ日: 2026年2月27日
ID確認日: 履歴

根拠の範囲

Verified · Top 10 published configurations · 500 tasks. human-validated GitHub issues. Reproducible repository environments evaluated by the upstream benchmark. Configuration-specific upstream limits.

OpenGPTでの根拠の扱い

公開元の指標、課題範囲、環境、版、構成、日付を保持し、評価を横断した総合点は作りません。

比較できる範囲

高い値は表示された評価版と条件にだけ適用されます。
結果は基盤モデル単体ではなくエージェント全体を反映します。
費用、信頼性、安全性、速度の欠損値は推測しません。
Keep these published results as historical evidence, not a current universal measure of coding ability. A 2026 OpenAI audit reported fundamental design and contamination concerns in SWE-bench Verified.

Verified · Top 10 published configurations · 500 tasks

公開10件のうち10件を表示します。結果は元の評価と構成に結び付いています。