Configuração de Agent · τ³-Banking Knowledge

τ³ Banking AllTools · Grok 4.5 · high

O objeto classificado: modelo, estrutura, ferramentas, permissões, orçamento e ambiente em conjunto.

Aprovado¹47.94%
Custo por tarefa concluída com sucessoNão publicado
Faixa de resultados publicadaNão publicado

01

Configuração

Sistema Agentτ³ Banking AllTools · Grok 4.5 · high
Modelo baseGrok 4.5
ID ou rótulo do modelo na fonteGrok 4.5 · high
Estruturaτ³ standard agent
Versão da estruturav1.0.1
FerramentasAllTools: BM25, text-embedding-3-large retrieval, and sandboxed shell
AmbienteEstrutura padrão com BM25, recuperação por embeddings e busca em linha de comando isolada
Orçamento4 testes por tarefa · 388 trajetórias por configuração

02

Resultado

Aprovado¹47.94%
Pontuação parcialNão publicado
Custo por tarefa concluída com sucessoNão publicado
Custo informado do benchmarkNão informado
Tempo mediano de conclusãoNão publicado
Intervenção humanaNão publicado

03

Operação

Evidências de execuções repetidas4 execuções
Faixa de resultados publicadaNão publicado
Observação de segurançaNão publicado
Grupo de comparabilidadetau3-banking-v1-0-1-alltools-gpt-5-2-low-seed-300-4-trials
Data da avaliação
Dados registrados

04

Confiança

EvidênciaListado pelo publicador do benchmark
FonteSierra Research · τ³-Banking
Instantâneo da fontev1.0.1 · AllTools · GPT-5.2 low user simulator · seed 300 · 4 trials
Data dos dados da fonte
Recuperado pelo OpenGPT
Última mudança na classificação
Última verificação
Tarefas97 tarefas de conhecimento bancário
Nível de evidênciaMantido pelo publicador
Observação sobre as evidências

As linhas incluídas compartilham o benchmark v1.0.1, a divisão Banking Knowledge com 97 tarefas, a configuração AllTools, o simulador de usuário, a seed e o protocolo de quatro tentativas. Os custos ausentes permanecem desconhecidos.

Abrir auditoria

O que este resultado não comprova

Este resultado se aplica às condições exatas do sistema e da fonte exibidas aqui. Ele não estabelece qual é o melhor agente universal, nem comprova confiabilidade em produção, governança de dados ou desempenho em outra versão do benchmark.

Compare opções equivalentes

Somente configurações da mesma versão de benchmark e do mesmo escopo de tarefas podem ser incluídas em uma comparação.

Dados informados pela fonte; os valores ausentes permanecem desconhecidos.

Validar antes da adoção

As classificações públicas geram uma pré-seleção. Um pequeno teste privado determina se a configuração é adequada ao seu trabalho.

  1. 1

    Escolha de 10 a 20 tarefas representativas e defina uma condição de aprovação clara.

  2. 2

    Fixe o Agente, o modelo, as ferramentas, as permissões e o orçamento antes de testar.

  3. 3

    Execute cada tarefa importante mais de uma vez; registre sucesso, custo, tempo e intervenções.

  4. 4

    Revise as falhas e os riscos do tratamento de dados antes de tomar uma decisão de produção.

Diretório e avaliações de Agents