Gedeeld benchmarkbereik · OSWorld 2.0

Agentvergelijking binnen dezelfde benchmark

Historisch bewijs

De onderstaande items delen hetzelfde benchmarkbereik. Hun exacte scaffolds, modelversies, datums en oorspronkelijke bronwaarden blijven zichtbaar.

Een hogere bronwaarde duidt uitsluitend op betere prestaties binnen deze benchmark en configuratie. Het is geen score die vergelijking tussen verschillende benchmarks mogelijk maakt of die iets zegt over de geschiktheid voor productiegebruik.

Vergelijk vergelijkbare zaken

Beslissingsoverzicht

Alleen configuraties uit dezelfde benchmarkversie en hetzelfde taakbereik kunnen in één vergelijking worden geplaatst.

Door bron gerapporteerde gegevens; ontbrekende waarden blijven onbekend.

Verschillen in één oogopslag

OSWorld 2.0 · Binaire voltooiing

Verschillen in één oogopslag	OSWorld Agent · Claude Opus 4.7 · Max · Standard	OSWorld Agent · Claude Opus 4.8 · Max · Batched tool
Sterke punten	—	Hoger gepubliceerd resultaat: 20.6%
Beperkingen en afwegingen	Lager gepubliceerd resultaat: 13.9%	—
Functies en kosten	Basismodel: Claude Opus 4.7Scaffold: OSWorld 2.0 computer-use agent Gerapporteerde benchmarkkosten: US$ 3.870	Basismodel: Claude Opus 4.8Scaffold: OSWorld 2.0 computer-use agent
	Agentdetails →	Agentdetails →

Alle gegevens en bronnen

15 identieke van volledig niet-gerapporteerde velden verborgen

Agentsysteem	OSWorld Agent · Claude Opus 4.7 · Max · Standard	OSWorld Agent · Claude Opus 4.8 · Max · Batched tool
Configuratie
Basismodel	Claude Opus 4.7	Claude Opus 4.8
Model-ID of label uit bron	Claude Opus 4.7	Claude Opus 4.8
Hulpmiddelen	Standaardhulpmiddel voor computergebruik	Gebatchte tool voor computergebruik
Resultaat
Binaire voltooiing	13.9%	20.6%
Gedeeltelijke score	49.1%	54.8%
Gerapporteerde benchmarkkosten	US$ 3.870	Niet gepubliceerd
Bron
Bron openen	Bron openen ↗	Bron openen ↗

Configuratie

OSWorld Agent · Claude Opus 4.7 · Max · Standard

Basismodel: Claude Opus 4.7
Model-ID of label uit bron: Claude Opus 4.7
Hulpmiddelen: Standaardhulpmiddel voor computergebruik

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

Basismodel: Claude Opus 4.8
Model-ID of label uit bron: Claude Opus 4.8
Hulpmiddelen: Gebatchte tool voor computergebruik

Resultaat

OSWorld Agent · Claude Opus 4.7 · Max · Standard

Binaire voltooiing: 13.9%
Gedeeltelijke score: 49.1%
Gerapporteerde benchmarkkosten: US$ 3.870

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

Binaire voltooiing: 20.6%
Gedeeltelijke score: 54.8%
Gerapporteerde benchmarkkosten: Niet gepubliceerd

Bron

OSWorld Agent · Claude Opus 4.7 · Max · Standard

Bron openen ↗

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

Bron openen ↗

Door bron gerapporteerde gegevens; ontbrekende waarden blijven onbekend.

Valideren vóór ingebruikname

Openbare ranglijsten leveren een shortlist op. Een kleine privéproef bepaalt of de configuratie bij uw werk past.

1
Kies 10–20 representatieve taken en definieer een duidelijke slaagvoorwaarde.
2
Vergrendel de agent, het model, de hulpmiddelen, rechten en het budget voordat u test.
3
Voer elke belangrijke taak meerdere keren uit; leg succes, kosten, tijd en overnames vast.
4
Beoordeel fouten en risico's bij gegevensverwerking vóór een productiebeslissing.

← Agentoverzicht en -evaluaties