OpenGPT
Suchen⌘K

Gemeinsamer Benchmark-Umfang · OSWorld 2.0

Agentenvergleich innerhalb desselben Benchmarks

Historische Nachweise

Die folgenden Einträge decken denselben Benchmark-Umfang ab. Ihre exakten Gerüste, Modellversionen, Daten und ursprünglichen Quellwerte bleiben sichtbar.

Ein höherer Ausgangswert bedeutet lediglich eine bessere Leistung bei diesem Benchmark und dieser Konfiguration. Es handelt sich nicht um einen Wert, der einen Vergleich über verschiedene Benchmarks hinweg ermöglicht oder Aufschluss über die Einsatzreife in der Produktion gibt.

Gleiches mit Gleichem vergleichen

Entscheidungsübersicht

Nur Konfigurationen derselben Benchmark-Version und desselben Aufgabenumfangs können in einem Vergleich gegenübergestellt werden.

Von der Quelle gemeldete Daten; fehlende Werte bleiben unbekannt.

Unterschiede auf einen Blick

OSWorld 2.0 · Binäre Aufgabenerfüllung

Unterschiede auf einen BlickOSWorld Agent · Claude Opus 4.7 · Max · Batched toolOSWorld Agent · Claude Opus 4.8 · Max · Batched tool
Stärken—
  • Höheres veröffentlichtes Ergebnis: 20.6%
Abwägungen & Grenzen
  • Niedrigeres veröffentlichtes Ergebnis: 18.2%
—
Funktionen & Kosten
  • Basismodell: Claude Opus 4.7Agentengerüst: OSWorld 2.0 computer-use agent
  • Basismodell: Claude Opus 4.8Agentengerüst: OSWorld 2.0 computer-use agent
Agentendetails →Agentendetails →
Alle Daten & Quellen
17 – Identische oder nicht gemeldete Felder ausgeblendet
AgentensystemOSWorld Agent · Claude Opus 4.7 · Max · Batched toolOSWorld Agent · Claude Opus 4.8 · Max · Batched tool
Konfiguration
BasismodellClaude Opus 4.7Claude Opus 4.8
Quellmodell-ID oder -bezeichnungClaude Opus 4.7Claude Opus 4.8
Ergebnis
Binäre Aufgabenerfüllung18.2%20.6%
Teilpunktzahl48.91%54.8%
Quelle
Quelle öffnenQuelle öffnen ↗Quelle öffnen ↗

Konfiguration

OSWorld Agent · Claude Opus 4.7 · Max · Batched tool

Basismodell
Claude Opus 4.7
Quellmodell-ID oder -bezeichnung
Claude Opus 4.7

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

Basismodell
Claude Opus 4.8
Quellmodell-ID oder -bezeichnung
Claude Opus 4.8

Ergebnis

OSWorld Agent · Claude Opus 4.7 · Max · Batched tool

Binäre Aufgabenerfüllung
18.2%
Teilpunktzahl
48.91%

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

Binäre Aufgabenerfüllung
20.6%
Teilpunktzahl
54.8%

Quelle

Von der Quelle gemeldete Daten; fehlende Werte bleiben unbekannt.

Vor der Einführung validieren

Öffentliche Rankings erstellen eine Vorauswahl. Ein kleiner privater Test zeigt, ob die Konfiguration zu Ihrer Arbeit passt.

  1. 1

    Wählen Sie 10–20 repräsentative Aufgaben und definieren Sie eine klare Bestehensbedingung.

  2. 2

    Legen Sie Agent, Modell, Tools, Berechtigungen und Budget vor dem Test fest.

  3. 3

    Führen Sie jede wichtige Aufgabe mehrmals aus; erfassen Sie Erfolg, Kosten, Zeit und menschliche Übernahmen.

  4. 4

    Fehler und Risiken bei der Datenverarbeitung vor einer Produktionsentscheidung prüfen.

← Agentenverzeichnis und -bewertungen