قيد التشغيلدون استدعاء نموذج
Atlasبوابة منع الاختلاق
يدقّق كل تشغيل: يجب أن تظهر كل قيمة في الإجابة ضمن مخرجات أداة لم يكتبها الوكيل بنفسه. والعدّ والجمع على الملفات المحلية يجب أن يُحسبا بأمر تنفيذي.
فحص الأدلةداخل الحلقة
وكيل يتعلّم من أخطائه. يعمل على نموذج محلي في جهاز هذا الاستوديو، ويستخدم الإنترنت والملفات، ويدقّق كل تشغيل بالأدلة. ولا يُقبل أي تغيير، سواء كتبه إنسان أو الوكيل، ما لم يجتز بوابة القياس.
- إعداد الوكيل المحلي
- بوابة منع الاختلاق
- بوابة القياس المقترن
- مجموعة المهام والامتحان
- النموذج بحسب نوع المهمة
- كاشف التراجع
53/53في الامتحان؛ و5/5 في مجموعة الارتكاز المحجوزة أيضًا
10تحسينات مقبولة، كل منها مقيس قبل التطبيق وبعده
260+تشغيلات حقيقية، منها 207 موسومة بشريًا
−29%tokens في المهام الثقيلة، دون تغيّر في النتائج
سجلّ القبول · قبل وبعد○ قبل · ● بعد
قيد التشغيلالقياس المقترن
Atlasبوابة القبول
يجب أن يصحّح التغيير خطأً معروفًا أو أن يخفّض عدد tokens دون تغيير أي نتيجة. وتكشف مجموعة الارتكاز المحجوزة الإفراط في الملاءمة للامتحان.
امتحان من 53 مهمةارتكاز من 5 مهام
مقبول22 سبتمبر
Atlasالنموذج بحسب نوع المهمة
تُوجَّه مهام البيانات وسطر الأوامر إلى Qwen 27B dense، ومهام الويب والبرمجة إلى Qwen 35B MoE. وكانت أخطاء النموذجين منفصلة تمامًا؛ فارتفع الامتحان من 40/47 إلى 47/47، وانخفضت tokens بنسبة 10%.
Mac mini · 48 GBمحلي