نطاق معياري مشترك · OSWorld 2.0

مقارنة الوكلاء ضمن المعيار نفسه

تشترك الإدخالات أدناه في نطاق المعيار المرجعي نفسه. وتظل بنياتها التوجيهية الدقيقة وإصدارات نماذجها وتواريخها وقيم المصدر الأصلية ظاهرة.

تعني قيمة المصدر الأعلى أداءً أفضل في هذا المعيار والتكوين فقط. وليست درجة عابرة للمعايير أو مؤشرًا للجاهزية للإنتاج.

قارن المتماثل بالمتماثل

نظرة عامة على القرار

لا يمكن وضع إعدادات في مقارنة واحدة إلا إذا كانت من إصدار المعيار ونطاق المهمة نفسيهما.

بيانات أبلغ عنها المصدر؛ تبقى القيم المفقودة مجهولة.
AnthropicOSWorld Agent · Claude Opus 4.8 · Max · Standard
إكمال ثنائي18.52%التكلفة لكل مهمة ناجحةغير منشورنطاق النتائج المنشورةغير منشور
تفاصيل Agent
AnthropicOSWorld Agent · Claude Opus 4.8 · Max · Batched tool
إكمال ثنائي20.6%التكلفة لكل مهمة ناجحةغير منشورنطاق النتائج المنشورةغير منشور
تفاصيل Agent
أُخفي 18 من الحقول المتطابقة أو غير المُبلّغ عنها بالكامل
نظام AgentOSWorld Agent · Claude Opus 4.8 · Max · StandardOSWorld Agent · Claude Opus 4.8 · Max · Batched tool
الإعداد
أدواتأداة قياسية لاستخدام الحاسوبأداة مجمّعة لاستخدام الحاسوب
النتيجة
إكمال ثنائي18.52%20.6%
درجة جزئية49.33%54.8%
المصدر
فتح المصدرفتح المصدرفتح المصدر

الإعداد

OSWorld Agent · Claude Opus 4.8 · Max · Standard

أدوات
أداة قياسية لاستخدام الحاسوب

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

أدوات
أداة مجمّعة لاستخدام الحاسوب

النتيجة

OSWorld Agent · Claude Opus 4.8 · Max · Standard

إكمال ثنائي
18.52%
درجة جزئية
49.33%

OSWorld Agent · Claude Opus 4.8 · Max · Batched tool

إكمال ثنائي
20.6%
درجة جزئية
54.8%

المصدر

بيانات أبلغ عنها المصدر؛ تبقى القيم المفقودة مجهولة.

تحقّق قبل الاعتماد

تنشئ التصنيفات العامة قائمة مختصرة. وتحدد تجربة خاصة صغيرة ما إذا كان الإعداد يلائم عملك.

  1. 1

    اختر من 10 إلى 20 مهمة تمثيلية وحدد شرط اجتياز واضحًا.

  2. 2

    ثبّت الوكيل والنموذج والأدوات والأذونات والميزانية قبل الاختبار.

  3. 3

    نفّذ كل مهمة مهمة أكثر من مرة؛ وسجّل النجاح والتكلفة والوقت وحالات تولي الإنسان للمهمة.

  4. 4

    راجع الإخفاقات ومخاطر معالجة البيانات قبل اتخاذ قرار بشأن بيئة الإنتاج.

دليل Agent والتقييمات