Ambito condiviso del benchmark · OSWorld 2.0

Confronto tra agenti sullo stesso benchmark

Le voci seguenti condividono lo stesso ambito del benchmark. Rimangono visibili gli scaffold esatti, le versioni dei modelli, le date e i valori originali delle fonti.

Un valore di origine più elevato indica soltanto prestazioni migliori per questo benchmark e questa configurazione. Non è un punteggio confrontabile tra benchmark né un indicatore di idoneità alla produzione.

Confronta elementi omogenei

Panoramica della decisione

Soltanto configurazioni della stessa versione del benchmark e dello stesso ambito di attività possono essere inserite in un unico confronto.

Dati riportati dalla fonte; i valori mancanti rimangono sconosciuti.
AnthropicOSWorld Agent · Claude Opus 4.8 · Max · Standard
Completamento binario18.52%Costo per attività riuscitaNon pubblicatoIntervallo dei risultati pubblicatiNon pubblicato
Dettagli dell’Agent
AnthropicOSWorld Agent · Claude Opus 4.8 · Max · Batched tool
Completamento binario20.6%Costo per attività riuscitaNon pubblicatoIntervallo dei risultati pubblicatiNon pubblicato
Dettagli dell’Agent
18 campi identici o completamente privi di dati nascosti
Sistema AgentOSWorld Agent · Claude Opus 4.8 · Max · StandardOSWorld Agent · Claude Opus 4.8 · Max · Batched tool
Configurazione
StrumentiStrumento standard per l’uso del computerStrumento di uso del computer raggruppato in batch
Esito
Completamento binario18.52%20.6%
Punteggio parziale49.33%54.8%
Fonte
Apri la fonteApri la fonteApri la fonte

Configurazione

OSWorld Agent · Claude Opus 4.8 · Max · Standard

Strumenti
Strumento standard per l’uso del computer

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

Strumenti
Strumento di uso del computer raggruppato in batch

Esito

OSWorld Agent · Claude Opus 4.8 · Max · Standard

Completamento binario
18.52%
Punteggio parziale
49.33%

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

Completamento binario
20.6%
Punteggio parziale
54.8%

Fonte

Dati riportati dalla fonte; i valori mancanti rimangono sconosciuti.

Convalida prima dell’adozione

Le classifiche pubbliche creano una rosa di candidati. Una piccola prova privata determina se la configurazione è adatta al tuo lavoro.

  1. 1

    Scegli 10–20 attività rappresentative e definisci una chiara condizione di superamento.

  2. 2

    Fissa Agent, modello, strumenti, autorizzazioni e budget prima del test.

  3. 3

    Esegui più volte ogni attività importante; registra esito positivo, costo, tempo e interventi umani.

  4. 4

    Esamina gli errori e i rischi legati alla gestione dei dati prima di una decisione per la produzione.

Directory e valutazioni degli Agent