Benchmarks de Agents

Benchmark de agentes de τ³-Banking Knowledge

OpenGPT mantiene 21 filas publicadas asociadas a la versión τ³-Banking Knowledge exacta de la prueba de referencia y al entorno que se muestran a continuación.

Tareas
97
Filas publicadas
21
Fecha de los datos de la fuente
Identidad revisada
Actual

Alcance de la evidencia

v1.0.1 · AllTools · GPT-5.2 low user simulator · seed 300 · 4 trials. banking knowledge tasks. Standard scaffold with BM25, embedding retrieval, and sandboxed command-line search. 4 trials per task · 388 trajectories per configuration.

How OpenGPT handles this evidence

OpenGPT conserva la métrica, el alcance de tareas, el entorno, la versión, los campos de configuración y la fecha de la fuente del editor. No crea una puntuación general de agentes entre pruebas de referencia distintas.

Límites de la comparación

  • Un resultado superior solo se aplica a la versión y las condiciones del benchmark mostradas.
  • Los resultados de Agents reflejan el sistema completo, no solo el modelo base.
  • Los datos ausentes sobre coste, fiabilidad, seguridad o latencia se mantienen sin informar, en lugar de inferirse.
  • Las filas incluidas utilizan la misma versión de benchmark, la división Banking Knowledge de 97 tareas, la configuración AllTools, el simulador de usuario, la semilla y el protocolo de cuatro pruebas. Los costes ausentes siguen sin publicarse. Esta instantánea incluye los 21 envíos compatibles del editor disponibles en la revisión fijada.

v1.0.1 · AllTools · GPT-5.2 low user simulator · seed 300 · 4 trials

Mostrando 21 de 21 filas publicadas. Cada resultado permanece vinculado al benchmark y a la configuración de origen.

  1. τ³ Banking AllTools · Qwen 3.8 Max · xhighQwen · Qwen 3.8 Max#1Pass¹: 55.15%τ³ standard agent
  2. τ³ Banking AllTools · Claude Opus 5 · maxAnthropic · Claude Opus 5#2Pass¹: 48.71%τ³ standard agent
  3. τ³ Banking AllTools · Grok 4.5 · altoxAI · Grok 4.5#3Pass¹: 47.94%τ³ standard agent
  4. τ³ Banking AllTools · GPT-5.6-sol · xhighOpenAI · GPT-5.6-sol#4Pass¹: 46.91%τ³ standard agent
  5. τ³ Banking AllTools · GPT-5.5 · xhighOpenAI · GPT-5.5#5Pass¹: 44.59%τ³ standard agent
  6. τ³ Banking AllTools · Muse Spark 1.1 · xhighMeta · Muse Spark 1.1#6Pass¹: 40.46%τ³ standard agent
  7. τ³ Banking AllTools · Claude Opus 4.7 · maxAnthropic · Claude Opus 4.7#7Pass¹: 40.21%τ³ standard agent
  8. τ³ Banking AllTools · Claude Fable 5 · maxAnthropic · Claude Fable 5#8Pass¹: 39.69%τ³ standard agent
  9. τ³ Banking AllTools · Claude Opus 4.8 · maxAnthropic · Claude Opus 4.8#9Pass¹: 39.69%τ³ standard agent
  10. τ³ Banking AllTools · GPT-5.4 · xhighOpenAI · GPT-5.4#10Pass¹: 39.43%τ³ standard agent
  11. τ³ Banking AllTools · GLM-5.2 · xhighZ.ai · GLM-5.2#11Pass¹: 37.11%τ³ standard agent
  12. τ³ Banking AllTools · Kimi K3 · maxMoonshot AI · Kimi K3#12Pass¹: 37.11%τ³ standard agent
  13. τ³ Banking AllTools · GPT-5.2 · altoOpenAI · GPT-5.2#13Pass¹: 32.22%τ³ standard agent
  14. τ³ Banking AllTools · Claude Opus 4.6 · maxAnthropic · Claude Opus 4.6#14Pass¹: 27.32%τ³ standard agent
  15. τ³ Banking AllTools · Gemini 3.1 Pro Preview · altoGoogle · Gemini 3.1 Pro Preview#15Pass¹: 26.03%τ³ standard agent
  16. τ³ Banking AllTools · Inkling · maxThinking Machines Lab · Inkling#16Pass¹: 25.00%τ³ standard agent
  17. τ³ Banking AllTools · Claude Opus 4.5 · altoAnthropic · Claude Opus 4.5#17Pass¹: 24.74%τ³ standard agent
  18. τ³ Banking AllTools · Grok 4.2 · altoxAI · Grok 4.2#18Pass¹: 18.04%τ³ standard agent
  19. τ³ Banking AllTools · Grok 4 fast · altoxAI · Grok 4 fast#19Pass¹: 15.72%τ³ standard agent
  20. τ³ Banking AllTools · Gemini 2.5 Pro · altoGoogle · Gemini 2.5 Pro#20Pass¹: 13.66%τ³ standard agent
  21. τ³ Banking AllTools · Grok 4.1 fast · altoxAI · Grok 4.1 fast#21Pass¹: 13.14%τ³ standard agent