Alcance compartido del benchmark · OSWorld 2.0

Comparación de agentes en el mismo benchmark

Evidencia histórica

Las entradas que aparecen a continuación comparten el mismo alcance de benchmark. Sus andamiajes, versiones de modelos, fechas y valores originales de las fuentes permanecen visibles.

Un valor de origen superior solo significa un mejor rendimiento en este benchmark y esta configuración. No es una puntuación comparable entre benchmarks ni de preparación para producción.

Comparar elementos equivalentes

Resumen de la decisión

Solo pueden incluirse en una misma comparación configuraciones de la misma versión de la prueba de referencia y con el mismo alcance de tareas.

Datos comunicados por la fuente; los valores ausentes siguen siendo desconocidos.

Diferencias de un vistazo

OSWorld 2.0 · Finalización binaria

Diferencias de un vistazoOSWorld Agent · Claude Opus 4.8 · Max · Batched toolOSWorld Agent · Claude Opus 4.8 · Max · Standard
Ventajas
  • Resultado publicado mayor: 20.6%
—
Limitaciones y compromisos—
  • Resultado publicado menor: 18.52%
Funciones y coste
  • Modelo base: Claude Opus 4.8Andamiaje: OSWorld 2.0 computer-use agent
  • Modelo base: Claude Opus 4.8Andamiaje: OSWorld 2.0 computer-use agent
Detalles del Agent →Detalles del Agent →
Todos los datos y fuentes
18 campos idénticos o sin datos se ocultan
Sistema AgentOSWorld Agent · Claude Opus 4.8 · Max · Batched toolOSWorld Agent · Claude Opus 4.8 · Max · Standard
Configuración
HerramientasHerramienta por lotes de uso de ordenadoresHerramienta estándar de uso de computadoras
Resultado
Finalización binaria20.6%18.52%
Puntuación parcial54.8%49.33%
Fuente
Abrir fuenteAbrir fuente ↗Abrir fuente ↗

Configuración

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

Herramientas
Herramienta por lotes de uso de ordenadores

OSWorld Agent · Claude Opus 4.8 · Max · Standard

Herramientas
Herramienta estándar de uso de computadoras

Resultado

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

Finalización binaria
20.6%
Puntuación parcial
54.8%

OSWorld Agent · Claude Opus 4.8 · Max · Standard

Finalización binaria
18.52%
Puntuación parcial
49.33%

Fuente

Datos comunicados por la fuente; los valores ausentes siguen siendo desconocidos.

Validar antes de adoptar

Las clasificaciones públicas permiten elaborar una lista de finalistas. Una pequeña prueba privada determina si la configuración se adapta a tu trabajo.

  1. 1

    Elige entre 10 y 20 tareas representativas y define una condición de aprobación clara.

  2. 2

    Fija el agente, el modelo, las herramientas, los permisos y el presupuesto antes de realizar la prueba.

  3. 3

    Ejecute cada tarea importante más de una vez; registre el éxito, el coste, el tiempo y las intervenciones humanas.

  4. 4

    Revise los fallos y los riesgos del tratamiento de datos antes de tomar una decisión de producción.

← Directorio y evaluaciones de Agents