Configuração de Agent · GAIA

HF Open Deep Research · Claude Opus 4 (May 2025)

O objeto classificado: modelo, estrutura, ferramentas, permissões, orçamento e ambiente em conjunto.

Precisão57.58%
Custo por tarefa concluída com sucessoUS$ 17,75
Faixa de resultados publicadaNão publicado

01

Configuração

Sistema AgentHF Open Deep Research · Claude Opus 4 (May 2025)
Modelo baseClaude Opus 4 (May 2025)
ID ou rótulo do modelo na fonteClaude Opus 4 (May 2025)
EstruturaHF Open Deep Research
Versão da estruturaNão informado
FerramentasNão informado
AmbienteTarefas para assistentes gerais que exigem raciocínio, multimodalidade, navegação e ferramentas
OrçamentoEspecífico da fonte · nenhum limite normalizado de etapas ou tokens publicado

02

Resultado

Precisão57.58%
Pontuação parcialNão publicado
Custo por tarefa concluída com sucessoUS$ 17,75
Custo informado do benchmarkUS$ 1.686,07
Tempo mediano de conclusãoNão publicado
Intervenção humanaNão publicado

03

Operação

Evidências de execuções repetidas1 execuções
Faixa de resultados publicadaNão publicado
Observação de segurançaNão publicado
Grupo de comparabilidadehal-gaia-public-validation-165
Data da avaliaçãoNão publicado
Dados registrados

04

Confiança

EvidênciaRegistro público completo da execução
FonteHolistic Agent Leaderboard · GAIA
Instantâneo da fonteInstantâneo verificado do HAL · conjunto público de validação · 165 perguntas
Data dos dados da fonteNão publicado pela fonte
Recuperado pelo OpenGPT
Última mudança na classificaçãoAinda não há histórico comparável
Última verificação
Tarefas165 perguntas públicas de validação
Nível de evidênciaAlerta externo
Observação sobre as evidências

O HAL reproduziu essas linhas de validação pública e publica a estrutura, o modelo, a pontuação, o custo, a contagem de execuções e os rastros. Trate o instantâneo como histórico; não há publicação de um orçamento normalizado de ferramentas ou etapas.

Abrir auditoria

O que este resultado não comprova

Este resultado se aplica às condições exatas do sistema e da fonte exibidas aqui. Ele não estabelece qual é o melhor agente universal, nem comprova confiabilidade em produção, governança de dados ou desempenho em outra versão do benchmark.

Compare opções equivalentes

Somente configurações da mesma versão de benchmark e do mesmo escopo de tarefas podem ser incluídas em uma comparação.

Dados informados pela fonte; os valores ausentes permanecem desconhecidos.

Validar antes da adoção

As classificações públicas geram uma pré-seleção. Um pequeno teste privado determina se a configuração é adequada ao seu trabalho.

  1. 1

    Escolha de 10 a 20 tarefas representativas e defina uma condição de aprovação clara.

  2. 2

    Fixe o Agente, o modelo, as ferramentas, as permissões e o orçamento antes de testar.

  3. 3

    Execute cada tarefa importante mais de uma vez; registre sucesso, custo, tempo e intervenções.

  4. 4

    Revise as falhas e os riscos do tratamento de dados antes de tomar uma decisão de produção.

Diretório e avaliações de Agents