エージェント評価
AssistantBenchエージェント評価
AssistantBenchの表示版と環境に結び付いた公開行15件を保持します。
- 課題
- 33
- 公開行
- 15
- 情報源データ日
- ID確認日
- 履歴
根拠の範囲
the Holistic Agent LeaderboardによるHAL verified snapshot · 33 public tasks · 1 scaffold. public, automatically verifiable browsing tasks. Live-web research and browsing tasks reproduced。Source-specific; no normalized step or token limit published.
OpenGPTでの根拠の扱い
公開元の指標、課題範囲、環境、版、構成、日付を保持し、評価を横断した総合点は作りません。
比較できる範囲
- 高い値は表示された評価版と条件にだけ適用されます。
- 結果は基盤モデル単体ではなくエージェント全体を反映します。
- 費用、信頼性、安全性、速度の欠損値は推測しません。
- HALはこれらの行を再現し、トレース、費用、実行回数を公開しています。このリーダーボードは過去のスナップショットです。HALは新規モデルの追加を停止しており、報告費用にはキャッシュによる削減分が含まれていません。
HAL検証済みスナップショット · 公開33課題 · 1スキャフォールド
公開15件のうち15件を表示します。結果は元の評価と構成に結び付いています。
- Browser-Use · o3 Medium (April 2025)Browser Use · o3 Medium (April 2025)#1Accuracy: 38.81%Browser-Use
- Browser-Use · GPT-5 Medium (August 2025)Browser Use · GPT-5 Medium (August 2025)#2Accuracy: 35.23%Browser-Use
- Browser-Use · o4-mini Low (April 2025)Browser Use · o4-mini Low (April 2025)#3Accuracy: 28.05%Browser-Use
- Browser-Use · o4-mini High (April 2025)Browser Use · o4-mini High (April 2025)#4Accuracy: 23.84%Browser-Use
- Browser-Use · GPT-4.1 (April 2025)Browser Use · GPT-4.1 (April 2025)#5Accuracy: 17.39%Browser-Use
- Browser-Use · Claude-3.7 Sonnet (February 2025)Browser Use · Claude-3.7 Sonnet (February 2025)#6Accuracy: 16.69%Browser-Use
- Browser-Use · Claude Opus 4.1 High (August 2025)Browser Use · Claude Opus 4.1 High (August 2025)#7Accuracy: 13.75%Browser-Use
- Browser-Use · Claude-3.7 Sonnet High (February 2025)Browser Use · Claude-3.7 Sonnet High (February 2025)#8Accuracy: 13.08%Browser-Use
- Browser-Use · Claude Sonnet 4.5 High (September 2025)Browser Use · Claude Sonnet 4.5 High (September 2025)#9Accuracy: 11.80%Browser-Use
- Browser-Use · DeepSeek R1 (May 2025)Browser Use · DeepSeek R1 (May 2025)#10Accuracy: 8.75%Browser-Use
- Browser-Use · Claude Opus 4.1 (August 2025)Browser Use · Claude Opus 4.1 (August 2025)#11Accuracy: 7.26%Browser-Use
- Browser-Use · Claude Sonnet 4.5 (September 2025)Browser Use · Claude Sonnet 4.5 (September 2025)#12Accuracy: 7.09%Browser-Use
- Browser-Use · Gemini 2.0 Flash (February 2025)Browser Use · Gemini 2.0 Flash (February 2025)#13Accuracy: 2.62%Browser-Use
- Browser-Use · DeepSeek V3 (March 2025)Browser Use · DeepSeek V3 (March 2025)#14Accuracy: 2.03%Browser-Use
- Browser-Use · DeepSeek R1 (January 2025)Browser Use · DeepSeek R1 (January 2025)#15Accuracy: 0.00%Browser-Use