Agent评测
τ³-Banking Knowledge Agent评测
OpenGPT将21条公开记录保留在下方所示的 τ³-Banking Knowledge评测版本与环境内。
- 任务
- 97
- 公开记录
- 21
- 来源数据日期
- 身份核验日期
- 当前
数据范围
v1.0.1 · AllTools · GPT-5.2 low user simulator · seed 300 · 4 trials. banking knowledge tasks. Standard scaffold with BM25, embedding retrieval, and sandboxed command-line search. 4 trials per task · 388 trajectories per configuration.
OpenGPT如何处理这些数据
OpenGPT保留发布方的指标、任务范围、环境、版本、配置字段与数据日期,不生成跨评测Agent总分。
可比边界
- 更高结果只适用于所展示的评测版本与条件。
- Agent结果反映完整系统,而不是基础模型单独能力。
- 成本、稳定性、安全性或速度没有公开时保持未报告,不进行推测。
- 所含数据行使用相同的基准版本、97 项任务 Banking Knowledge 划分、AllTools 配置、用户模拟器、种子和四次试验协议。缺失的成本仍不作报告。此快照包含固定修订版本中可用的全部 21 项兼容发布方提交。
v1.0.1 · AllTools · GPT-5.2 low user simulator · seed 300 · 4 trials
展示21条公开记录中的21条;每项结果都保留来源评测与配置。
- τ³ Banking AllTools · Qwen 3.8 Max · xhighQwen · Qwen 3.8 Max#1Pass¹: 55.15%τ³ standard agent
- τ³ Banking AllTools · Claude Opus 5 · maxAnthropic · Claude Opus 5#2Pass¹: 48.71%τ³ standard agent
- τ³ Banking AllTools · Grok 4.5 · 高xAI · Grok 4.5#3Pass¹: 47.94%τ³ standard agent
- τ³ Banking AllTools · GPT-5.6-sol · xhighOpenAI · GPT-5.6-sol#4Pass¹: 46.91%τ³ standard agent
- τ³ Banking AllTools · GPT-5.5 · xhighOpenAI · GPT-5.5#5Pass¹: 44.59%τ³ standard agent
- τ³ Banking AllTools · Muse Spark 1.1 · xhighMeta · Muse Spark 1.1#6Pass¹: 40.46%τ³ standard agent
- τ³ Banking AllTools · Claude Opus 4.7 · maxAnthropic · Claude Opus 4.7#7Pass¹: 40.21%τ³ standard agent
- τ³ Banking AllTools · Claude Fable 5 · maxAnthropic · Claude Fable 5#8Pass¹: 39.69%τ³ standard agent
- τ³ Banking AllTools · Claude Opus 4.8 · maxAnthropic · Claude Opus 4.8#9Pass¹: 39.69%τ³ standard agent
- τ³ Banking AllTools · GPT-5.4 · xhighOpenAI · GPT-5.4#10Pass¹: 39.43%τ³ standard agent
- τ³ Banking AllTools · GLM-5.2 · xhighZ.ai · GLM-5.2#11Pass¹: 37.11%τ³ standard agent
- τ³ Banking AllTools · Kimi K3 · maxMoonshot AI · Kimi K3#12Pass¹: 37.11%τ³ standard agent
- τ³ Banking AllTools · GPT-5.2 · 高OpenAI · GPT-5.2#13Pass¹: 32.22%τ³ standard agent
- τ³ Banking AllTools · Claude Opus 4.6 · maxAnthropic · Claude Opus 4.6#14Pass¹: 27.32%τ³ standard agent
- τ³ Banking AllTools · Gemini 3.1 Pro Preview · 高Google · Gemini 3.1 Pro Preview#15Pass¹: 26.03%τ³ standard agent
- τ³ Banking AllTools · Inkling · maxThinking Machines Lab · Inkling#16Pass¹: 25.00%τ³ standard agent
- τ³ Banking AllTools · Claude Opus 4.5 · 高Anthropic · Claude Opus 4.5#17Pass¹: 24.74%τ³ standard agent
- τ³ Banking AllTools · Grok 4.2 · 高xAI · Grok 4.2#18Pass¹: 18.04%τ³ standard agent
- τ³ Banking AllTools · Grok 4 fast · 高xAI · Grok 4 fast#19Pass¹: 15.72%τ³ standard agent
- τ³ Banking AllTools · Gemini 2.5 Pro · 高Google · Gemini 2.5 Pro#20Pass¹: 13.66%τ³ standard agent
- τ³ Banking AllTools · Grok 4.1 fast · 高xAI · Grok 4.1 fast#21Pass¹: 13.14%τ³ standard agent