Périmètre de benchmark partagé · OSWorld 2.0

Comparaison d’agents au sein du même benchmark

Preuve historique

Les entrées ci-dessous relèvent du même périmètre de benchmark. Leurs échafaudages, versions de modèles, dates et valeurs sources d’origine exacts restent visibles.

Une valeur source plus élevée indique uniquement de meilleures performances pour ce benchmark et cette configuration. Il ne s’agit ni d’un score comparable entre benchmarks ni d’un indicateur d’aptitude à la production.

Comparer ce qui est comparable

Vue d’ensemble de la décision

Seules les configurations appartenant à la même version du benchmark et au même périmètre de tâches peuvent être réunies dans une comparaison.

Données déclarées par la source ; les valeurs manquantes restent inconnues.

Les différences en un regard

OSWorld 2.0 · Achèvement binaire

Les différences en un regardOSWorld Agent · Claude Opus 4.8 · Max · Batched toolOSWorld Agent · Claude Opus 4.8 · Max · Standard
Points forts
  • Résultat publié supérieur: 20.6%
—
Compromis et limites—
  • Résultat publié inférieur: 18.52%
Fonctions et coût
  • Modèle de base: Claude Opus 4.8Échafaudage: OSWorld 2.0 computer-use agent
  • Modèle de base: Claude Opus 4.8Échafaudage: OSWorld 2.0 computer-use agent
Détails de l’Agent →Détails de l’Agent →
Toutes les données et sources
18 champs identiques ou entièrement non renseignés masqués
Système AgentOSWorld Agent · Claude Opus 4.8 · Max · Batched toolOSWorld Agent · Claude Opus 4.8 · Max · Standard
Configuration
OutilsOutil d’utilisation d’ordinateur en lotsOutil standard d’utilisation d’ordinateur
Résultat obtenu
Achèvement binaire20.6%18.52%
Score partiel54.8%49.33%
Source
Ouvrir la sourceOuvrir la source ↗Ouvrir la source ↗

Configuration

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

Outils
Outil d’utilisation d’ordinateur en lots

OSWorld Agent · Claude Opus 4.8 · Max · Standard

Outils
Outil standard d’utilisation d’ordinateur

Résultat obtenu

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

Achèvement binaire
20.6%
Score partiel
54.8%

OSWorld Agent · Claude Opus 4.8 · Max · Standard

Achèvement binaire
18.52%
Score partiel
49.33%

Source

Données déclarées par la source ; les valeurs manquantes restent inconnues.

Valider avant l’adoption

Les classements publics permettent d’établir une présélection. Un petit essai privé détermine si la configuration convient à vos tâches.

  1. 1

    Choisissez 10 à 20 tâches représentatives et définissez une condition de réussite claire.

  2. 2

    Verrouillez l’agent, le modèle, les outils, les autorisations et le budget avant le test.

  3. 3

    Exécutez chaque tâche importante plusieurs fois ; consignez la réussite, le coût, la durée et les reprises en main.

  4. 4

    Examinez les échecs et les risques liés au traitement des données avant toute décision de production.

← Annuaire et évaluations des Agents