نطاق معياري مشترك · OSWorld 2.0

مقارنة الوكلاء ضمن المعيار نفسه

تشترك الإدخالات أدناه في نطاق المعيار المرجعي نفسه. وتظل بنياتها التوجيهية الدقيقة وإصدارات نماذجها وتواريخها وقيم المصدر الأصلية ظاهرة.

تعني قيمة المصدر الأعلى أداءً أفضل في هذا المعيار والتكوين فقط. وليست درجة عابرة للمعايير أو مؤشرًا للجاهزية للإنتاج.

قارن المتماثل بالمتماثل

نظرة عامة على القرار

لا يمكن وضع إعدادات في مقارنة واحدة إلا إذا كانت من إصدار المعيار ونطاق المهمة نفسيهما.

بيانات أبلغ عنها المصدر؛ تبقى القيم المفقودة مجهولة.

AnthropicOSWorld Agent · Claude Sonnet 4.6 · Max · Standard

إكمال ثنائي8.3%التكلفة لكل مهمة ناجحةغير منشورنطاق النتائج المنشورةغير منشور

AnthropicOSWorld Agent · Claude Opus 4.8 · Max · Batched tool

إكمال ثنائي20.6%التكلفة لكل مهمة ناجحةغير منشورنطاق النتائج المنشورةغير منشور

أُخفي 15 من الحقول المتطابقة أو غير المُبلّغ عنها بالكامل

نظام Agent	OSWorld Agent · Claude Sonnet 4.6 · Max · Standard	OSWorld Agent · Claude Opus 4.8 · Max · Batched tool
الإعداد
النموذج الأساسي	Claude Sonnet 4.6	Claude Opus 4.8
معرّف نموذج المصدر أو تسميته	Claude Sonnet 4.6	Claude Opus 4.8
أدوات	أداة قياسية لاستخدام الحاسوب	أداة مجمّعة لاستخدام الحاسوب
النتيجة
إكمال ثنائي	8.3%	20.6%
درجة جزئية	41.5%	54.8%
تكلفة المعيار المبلغ عنها	‏2,410 US$	غير منشور
المصدر
فتح المصدر	فتح المصدر ↗	فتح المصدر ↗

بيانات أبلغ عنها المصدر؛ تبقى القيم المفقودة مجهولة.

تنشئ التصنيفات العامة قائمة مختصرة. وتحدد تجربة خاصة صغيرة ما إذا كان الإعداد يلائم عملك.

1
اختر من 10 إلى 20 مهمة تمثيلية وحدد شرط اجتياز واضحًا.
2
ثبّت الوكيل والنموذج والأدوات والأذونات والميزانية قبل الاختبار.
3
نفّذ كل مهمة مهمة أكثر من مرة؛ وسجّل النجاح والتكلفة والوقت وحالات تولي الإنسان للمهمة.
4
راجع الإخفاقات ومخاطر معالجة البيانات قبل اتخاذ قرار بشأن بيئة الإنتاج.