エージェント評価

Terminal-Bench 2.1エージェント評価

Terminal-Bench 2.1の表示版と環境に結び付いた公開行17件を保持します。

課題
89
公開行
17
情報源データ日
ID確認日
現在

根拠の範囲

terminal-bench/terminal-bench-2-1 · publisher-verified leaderboard. terminal tasks. Harbor-managed terminal environments with fixed timeouts and resources. Fixed timeouts and resources · at least 5 trials per task.

OpenGPTでの根拠の扱い

公開元の指標、課題範囲、環境、版、構成、日付を保持し、評価を横断した総合点は作りません。

比較できる範囲

  • 高い値は表示された評価版と条件にだけ適用されます。
  • 結果は基盤モデル単体ではなくエージェント全体を反映します。
  • 費用、信頼性、安全性、速度の欠損値は推測しません。
  • The Terminal-Bench team states that it ran and verified leaderboard submissions. Its 2.1 release notes document a revised task set and evaluation environment.

terminal-bench/terminal-bench-2-1 · publisher-verified leaderboard

公開17件のうち17件を表示します。結果は元の評価と構成に結び付いています。

  1. Claude Code · Fable 5 · xhighAnthropic · Fable 5#1Accuracy: 83.8%Claude Code
  2. Codex · GPT-5.5 · xhighOpenAI · GPT-5.5#2Accuracy: 83.1%Codex
  3. Terminus 2 · Fable 5 · highTerminal-Bench · Fable 5#3Accuracy: 80.4%Terminus 2
  4. Cursor CLI · Grok 4.5 · highCursor · Grok 4.5#4Accuracy: 79.3%Cursor CLI
  5. Claude Code · Opus 4.8 · highAnthropic · Opus 4.8#5Accuracy: 78.9%Claude Code
  6. Codex · GPT-5.6 Terra · maxOpenAI · GPT-5.6 Terra#6Accuracy: 78.4%Codex
  7. Terminus 2 · GPT-5.5 · xhighTerminal-Bench · GPT-5.5#7Accuracy: 78.0%Terminus 2
  8. mini-SWE-agent · Muse Spark 1.1 · xhighPrinceton · Muse Spark 1.1#8Accuracy: 76.2%mini-SWE-agent
  9. Codex · GPT-5.6 Luna · maxOpenAI · GPT-5.6 Luna#9Accuracy: 75.7%Codex
  10. Claude Code · Sonnet 5 · highAnthropic · Sonnet 5#10Accuracy: 74.6%Claude Code
  11. Terminus 2 · Gemini 3 Pro · highTerminal-Bench · Gemini 3 Pro#11Accuracy: 73.9%Terminus 2
  12. Claude Code · Opus 4.7 · maxAnthropic · Opus 4.7#12Accuracy: 68.9%Claude Code
  13. Terminus 2 · Opus 4.7 · maxTerminal-Bench · Opus 4.7#13Accuracy: 66.1%Terminus 2
  14. Gemini CLI · Gemini 3 Pro · highGoogle · Gemini 3 Pro#14Accuracy: 65.8%Gemini CLI
  15. Gemini CLI · Gemini 3.1 Pro · highGoogle · Gemini 3.1 Pro#14Accuracy: 65.8%Gemini CLI
  16. Terminus 2 · Gemini 3.1 Pro · highTerminal-Bench · Gemini 3.1 Pro#16Accuracy: 65.6%Terminus 2
  17. Claude Code · GLM-5.1 · maxAnthropic · GLM-5.1#17Accuracy: 58.7%Claude Code