OpenGPTEvidenzbasierte ModellentscheidungenBinäre Aufgabenerfüllung13.9%Kosten pro erfolgreich erledigter AufgabeNicht veröffentlichtVeröffentlichte ErgebnisspanneNicht veröffentlicht
Agentendetails →Gemeinsamer Benchmark-Umfang · OSWorld 2.0
Agentenvergleich innerhalb desselben Benchmarks
Die folgenden Einträge decken denselben Benchmark-Umfang ab. Ihre exakten Gerüste, Modellversionen, Daten und ursprünglichen Quellwerte bleiben sichtbar.
Ein höherer Ausgangswert bedeutet lediglich eine bessere Leistung bei diesem Benchmark und dieser Konfiguration. Es handelt sich nicht um einen Wert, der einen Vergleich über verschiedene Benchmarks hinweg ermöglicht oder Aufschluss über die Einsatzreife in der Produktion gibt.
Gleiches mit Gleichem vergleichen
Entscheidungsübersicht
Nur Konfigurationen derselben Benchmark-Version und desselben Aufgabenumfangs können in einem Vergleich gegenübergestellt werden.
Binäre Aufgabenerfüllung20.6%Kosten pro erfolgreich erledigter AufgabeNicht veröffentlichtVeröffentlichte ErgebnisspanneNicht veröffentlicht
Agentendetails →15 – Identische oder nicht gemeldete Felder ausgeblendet
| Agentensystem | OSWorld Agent · Claude Opus 4.7 · Max · Standard | OSWorld Agent · Claude Opus 4.8 · Max · Batched tool |
|---|---|---|
| Konfiguration | ||
| Basismodell | Claude Opus 4.7 | Claude Opus 4.8 |
| Quellmodell-ID oder -bezeichnung | Claude Opus 4.7 | Claude Opus 4.8 |
| Werkzeuge | Standard-Tool zur Computerbedienung | Computer-Use-Tool mit Stapelverarbeitung |
| Ergebnis | ||
| Binäre Aufgabenerfüllung | 13.9% | 20.6% |
| Teilpunktzahl | 49.1% | 54.8% |
| Gemeldete Benchmark-Kosten | 3.870 $ | Nicht veröffentlicht |
| Quelle | ||
| Quelle öffnen | Quelle öffnen ↗ | Quelle öffnen ↗ |
Konfiguration
OSWorld Agent · Claude Opus 4.7 · Max · Standard
- Basismodell
- Claude Opus 4.7
- Quellmodell-ID oder -bezeichnung
- Claude Opus 4.7
- Werkzeuge
- Standard-Tool zur Computerbedienung
OSWorld Agent · Claude Opus 4.8 · Max · Batched tool
- Basismodell
- Claude Opus 4.8
- Quellmodell-ID oder -bezeichnung
- Claude Opus 4.8
- Werkzeuge
- Computer-Use-Tool mit Stapelverarbeitung
Ergebnis
OSWorld Agent · Claude Opus 4.7 · Max · Standard
- Binäre Aufgabenerfüllung
- 13.9%
- Teilpunktzahl
- 49.1%
- Gemeldete Benchmark-Kosten
- 3.870 $
OSWorld Agent · Claude Opus 4.8 · Max · Batched tool
- Binäre Aufgabenerfüllung
- 20.6%
- Teilpunktzahl
- 54.8%
- Gemeldete Benchmark-Kosten
- Nicht veröffentlicht
Quelle
OSWorld Agent · Claude Opus 4.7 · Max · Standard
OSWorld Agent · Claude Opus 4.8 · Max · Batched tool
Von der Quelle gemeldete Daten; fehlende Werte bleiben unbekannt.
Vor der Einführung validieren
Öffentliche Rankings erstellen eine Vorauswahl. Ein kleiner privater Test zeigt, ob die Konfiguration zu Ihrer Arbeit passt.
- 1
Wählen Sie 10–20 repräsentative Aufgaben und definieren Sie eine klare Bestehensbedingung.
- 2
Legen Sie Agent, Modell, Tools, Berechtigungen und Budget vor dem Test fest.
- 3
Führen Sie jede wichtige Aufgabe mehrmals aus; erfassen Sie Erfolg, Kosten, Zeit und menschliche Übernahmen.
- 4
Fehler und Risiken bei der Datenverarbeitung vor einer Produktionsentscheidung prüfen.