Gedeeld benchmarkbereik · OSWorld 2.0

Agentvergelijking binnen dezelfde benchmark

De onderstaande items delen hetzelfde benchmarkbereik. Hun exacte scaffolds, modelversies, datums en oorspronkelijke bronwaarden blijven zichtbaar.

Een hogere bronwaarde duidt uitsluitend op betere prestaties binnen deze benchmark en configuratie. Het is geen score die vergelijking tussen verschillende benchmarks mogelijk maakt van die iets zegt over de geschiktheid voor productiegebruik.

Vergelijk vergelijkbare zaken

Beslissingsoverzicht

Alleen configuraties uit dezelfde benchmarkversie en hetzelfde taakbereik kunnen in één vergelijking worden geplaatst.

Door bron gerapporteerde gegevens; ontbrekende waarden blijven onbekend.
OpenAIOSWorld Agent · GPT-5.5 · Xhigh · Batch tool
Binaire voltooiing13.0%Kosten per geslaagde taakNiet gepubliceerdBereik van gepubliceerde resultatenNiet gepubliceerd
Agentdetails
AnthropicOSWorld Agent · Claude Opus 4.8 · Max · Batched tool
Binaire voltooiing20.6%Kosten per geslaagde taakNiet gepubliceerdBereik van gepubliceerde resultatenNiet gepubliceerd
Agentdetails
15 identieke van volledig niet-gerapporteerde velden verborgen
AgentsysteemOSWorld Agent · GPT-5.5 · Xhigh · Batch toolOSWorld Agent · Claude Opus 4.8 · Max · Batched tool
Configuratie
BasismodelGPT-5.5Claude Opus 4.8
Model-ID van label uit bronGPT-5.5Claude Opus 4.8
HulpmiddelenBatchtool voor computergebruikGebatchte tool voor computergebruik
Resultaat
Binaire voltooiing13.0%20.6%
Gedeeltelijke score49.5%54.8%
Gerapporteerde benchmarkkostenUS$ 2.750Niet gepubliceerd
Bron
Bron openenBron openenBron openen

Configuratie

OSWorld Agent · GPT-5.5 · Xhigh · Batch tool

Basismodel
GPT-5.5
Model-ID van label uit bron
GPT-5.5
Hulpmiddelen
Batchtool voor computergebruik

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

Basismodel
Claude Opus 4.8
Model-ID van label uit bron
Claude Opus 4.8
Hulpmiddelen
Gebatchte tool voor computergebruik

Resultaat

OSWorld Agent · GPT-5.5 · Xhigh · Batch tool

Binaire voltooiing
13.0%
Gedeeltelijke score
49.5%
Gerapporteerde benchmarkkosten
US$ 2.750

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

Binaire voltooiing
20.6%
Gedeeltelijke score
54.8%
Gerapporteerde benchmarkkosten
Niet gepubliceerd

Bron

Door bron gerapporteerde gegevens; ontbrekende waarden blijven onbekend.

Valideren vóór ingebruikname

Openbare ranglijsten leveren een shortlist op. Een kleine privéproef bepaalt van de configuratie bij uw werk past.

  1. 1

    Kies 10–20 representatieve taken en definieer een duidelijke slaagvoorwaarde.

  2. 2

    Vergrendel de agent, het model, de hulpmiddelen, rechten en het budget voordat u test.

  3. 3

    Voer elke belangrijke taak meerdere keren uit; leg succes, kosten, tijd en overnames vast.

  4. 4

    Beoordeel fouten en risico's bij gegevensverwerking vóór een productiebeslissing.

Agentoverzicht en -evaluaties