نطاق معياري مشترك · OSWorld 2.0

مقارنة الوكلاء ضمن المعيار نفسه

تشترك الإدخالات أدناه في نطاق المعيار المرجعي نفسه. وتظل بنياتها التوجيهية الدقيقة وإصدارات نماذجها وتواريخها وقيم المصدر الأصلية ظاهرة.

تعني قيمة المصدر الأعلى أداءً أفضل في هذا المعيار والتكوين فقط. وليست درجة عابرة للمعايير أو مؤشرًا للجاهزية للإنتاج.

قارن المتماثل بالمتماثل

نظرة عامة على القرار

لا يمكن وضع إعدادات في مقارنة واحدة إلا إذا كانت من إصدار المعيار ونطاق المهمة نفسيهما.

بيانات أبلغ عنها المصدر؛ تبقى القيم المفقودة مجهولة.
AnthropicOSWorld Agent · Claude Opus 4.7 · Max · Standard
إكمال ثنائي13.9%التكلفة لكل مهمة ناجحةغير منشورنطاق النتائج المنشورةغير منشور
تفاصيل Agent
AnthropicOSWorld Agent · Claude Opus 4.8 · Max · Batched tool
إكمال ثنائي20.6%التكلفة لكل مهمة ناجحةغير منشورنطاق النتائج المنشورةغير منشور
تفاصيل Agent
أُخفي 15 من الحقول المتطابقة أو غير المُبلّغ عنها بالكامل
نظام AgentOSWorld Agent · Claude Opus 4.7 · Max · StandardOSWorld Agent · Claude Opus 4.8 · Max · Batched tool
الإعداد
النموذج الأساسيClaude Opus 4.7Claude Opus 4.8
معرّف نموذج المصدر أو تسميتهClaude Opus 4.7Claude Opus 4.8
أدواتأداة قياسية لاستخدام الحاسوبأداة مجمّعة لاستخدام الحاسوب
النتيجة
إكمال ثنائي13.9%20.6%
درجة جزئية49.1%54.8%
تكلفة المعيار المبلغ عنها‏3,870 US$غير منشور
المصدر
فتح المصدرفتح المصدرفتح المصدر

الإعداد

OSWorld Agent · Claude Opus 4.7 · Max · Standard

النموذج الأساسي
Claude Opus 4.7
معرّف نموذج المصدر أو تسميته
Claude Opus 4.7
أدوات
أداة قياسية لاستخدام الحاسوب

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

النموذج الأساسي
Claude Opus 4.8
معرّف نموذج المصدر أو تسميته
Claude Opus 4.8
أدوات
أداة مجمّعة لاستخدام الحاسوب

النتيجة

OSWorld Agent · Claude Opus 4.7 · Max · Standard

إكمال ثنائي
13.9%
درجة جزئية
49.1%
تكلفة المعيار المبلغ عنها
‏3,870 US$

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

إكمال ثنائي
20.6%
درجة جزئية
54.8%
تكلفة المعيار المبلغ عنها
غير منشور

المصدر

بيانات أبلغ عنها المصدر؛ تبقى القيم المفقودة مجهولة.

تحقّق قبل الاعتماد

تنشئ التصنيفات العامة قائمة مختصرة. وتحدد تجربة خاصة صغيرة ما إذا كان الإعداد يلائم عملك.

  1. 1

    اختر من 10 إلى 20 مهمة تمثيلية وحدد شرط اجتياز واضحًا.

  2. 2

    ثبّت الوكيل والنموذج والأدوات والأذونات والميزانية قبل الاختبار.

  3. 3

    نفّذ كل مهمة مهمة أكثر من مرة؛ وسجّل النجاح والتكلفة والوقت وحالات تولي الإنسان للمهمة.

  4. 4

    راجع الإخفاقات ومخاطر معالجة البيانات قبل اتخاذ قرار بشأن بيئة الإنتاج.

دليل Agent والتقييمات