Escopo compartilhado do benchmark · OSWorld 2.0

Comparação de agentes no mesmo benchmark

Evidências históricas

As entradas abaixo compartilham o mesmo escopo de benchmark. As estruturas, versões de modelos, datas e valores originais exatos das fontes permanecem visíveis.

Um valor de origem mais alto significa apenas um desempenho melhor neste benchmark e nesta configuração. Não é uma pontuação comparável entre benchmarks nem de prontidão para produção.

Compare opções equivalentes

Visão geral da decisão

Somente configurações da mesma versão de benchmark e do mesmo escopo de tarefas podem ser incluídas em uma comparação.

Dados informados pela fonte; os valores ausentes permanecem desconhecidos.

Diferenças num relance

OSWorld 2.0 · Conclusão binária

Diferenças num relance	OSWorld Agent · Claude Sonnet 4.6 · Medium · Standard	OSWorld Agent · Claude Opus 4.8 · Max · Batched tool
Pontos fortes	—	Resultado publicado maior: 20.6%
Limitações e concessões	Resultado publicado menor: 9.3%	—
Recursos e custo	Modelo base: Claude Sonnet 4.6Estrutura: OSWorld 2.0 computer-use agent Custo informado do benchmark: US$ 1.550	Modelo base: Claude Opus 4.8Estrutura: OSWorld 2.0 computer-use agent
	Detalhes do Agent →	Detalhes do Agent →

Todos os dados e fontes

15 campos idênticos ou totalmente sem dados ocultos

Sistema Agent	OSWorld Agent · Claude Sonnet 4.6 · Medium · Standard	OSWorld Agent · Claude Opus 4.8 · Max · Batched tool
Configuração
Modelo base	Claude Sonnet 4.6	Claude Opus 4.8
ID ou rótulo do modelo na fonte	Claude Sonnet 4.6	Claude Opus 4.8
Ferramentas	Ferramenta padrão de uso do computador	Ferramenta de uso do computador com processamento em lotes
Resultado
Conclusão binária	9.3%	20.6%
Pontuação parcial	33.9%	54.8%
Custo informado do benchmark	US$ 1.550	Não publicado
Fonte
Abrir fonte	Abrir fonte ↗	Abrir fonte ↗

Configuração

OSWorld Agent · Claude Sonnet 4.6 · Medium · Standard

Modelo base: Claude Sonnet 4.6
ID ou rótulo do modelo na fonte: Claude Sonnet 4.6
Ferramentas: Ferramenta padrão de uso do computador

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

Modelo base: Claude Opus 4.8
ID ou rótulo do modelo na fonte: Claude Opus 4.8
Ferramentas: Ferramenta de uso do computador com processamento em lotes

Resultado

OSWorld Agent · Claude Sonnet 4.6 · Medium · Standard

Conclusão binária: 9.3%
Pontuação parcial: 33.9%
Custo informado do benchmark: US$ 1.550

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

Conclusão binária: 20.6%
Pontuação parcial: 54.8%
Custo informado do benchmark: Não publicado

Fonte

OSWorld Agent · Claude Sonnet 4.6 · Medium · Standard

Abrir fonte ↗

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

Abrir fonte ↗

Dados informados pela fonte; os valores ausentes permanecem desconhecidos.

Validar antes da adoção

As classificações públicas geram uma pré-seleção. Um pequeno teste privado determina se a configuração é adequada ao seu trabalho.

1
Escolha de 10 a 20 tarefas representativas e defina uma condição de aprovação clara.
2
Fixe o Agente, o modelo, as ferramentas, as permissões e o orçamento antes de testar.
3
Execute cada tarefa importante mais de uma vez; registre sucesso, custo, tempo e intervenções.
4
Revise as falhas e os riscos do tratamento de dados antes de tomar uma decisão de produção.

← Diretório e avaliações de Agents