共通のベンチマーク範囲 · SWE-bench Verified

同じベンチマークで比較

過去の根拠

同じベンチマーク範囲の構成です。スキャフォールド、モデル版、日付、公開元の値をそのまま表示します。

値が高いことは、このベンチマーク条件での結果のみを示します。実運用品質や異なるベンチマークの総合点ではありません。

同じ条件で比較

判断概要

同じベンチマーク版とタスク範囲の構成だけを比較できます。

公開元のデータです。欠損値は不明のまま表示します。

SWE-bench Verified · 解決率

違いをひと目で	live-SWE-agent + Claude 4.5 Opus medium (20251101)	live-SWE-agent + Gemini 3 Pro Preview (2025-11-18)
強み	公開結果が高い: 79.2%	—
制約・トレードオフ	—	公開結果が低い: 77.4%
機能と費用	基盤モデル: Claude 4.5 Opus medium (20251101)スキャフォールド: live-SWE-agent	基盤モデル: Gemini 3 Pro Preview (2025-11-18)スキャフォールド: live-SWE-agent
	詳細 →	詳細 →

全データと出典

同一または全て未報告の17項目を非表示

エージェントシステム	live-SWE-agent + Claude 4.5 Opus medium (20251101)	live-SWE-agent + Gemini 3 Pro Preview (2025-11-18)
構成
基盤モデル	Claude 4.5 Opus medium (20251101)	Gemini 3 Pro Preview (2025-11-18)
公開元のモデルIDまたは表記	claude-opus-4-5-20251101	gemini-3-pro-preview
結果
解決率	79.2%	77.4%
信頼性
評価日	2025年12月15日	2025年11月20日
情報源
情報源を開く	情報源を開く ↗	情報源を開く ↗

公開元のデータです。欠損値は不明のまま表示します。

公開順位は候補選びの出発点です。小規模な非公開試験で適合性を確認します。