चल रहा हैकोई मॉडल कॉल नहीं
Atlasफ़ेब्रिकेशन गेट
हर रन का ऑडिट करता है: उत्तर का हर मान किसी ऐसे टूल आउटपुट में दिखना चाहिए जिसे एजेंट ने खुद नहीं लिखा। लोकल फ़ाइलों पर गिनती और जोड़ की गणना कमांड से ही होनी चाहिए।
प्रमाण की जाँचलूप के भीतर
एक एजेंट जो अपनी ग़लतियों से सीखता है। वह इस स्टूडियो की मशीन पर लोकल मॉडल पर चलता है, इंटरनेट और फ़ाइलों का उपयोग करता है, और हर रन का प्रमाण के साथ ऑडिट करता है। कोई भी बदलाव, चाहे इंसान ने लिखा हो या एजेंट ने, माप के गेट को पास किए बिना स्वीकार नहीं होता।
- लोकल एजेंट सेटअप
- फ़ेब्रिकेशन गेट
- पेयर्ड माप गेट
- टास्क पूल और परीक्षा
- टास्क के प्रकार के अनुसार मॉडल
- रिग्रेशन डिटेक्टर
53/53परीक्षा; होल्ड-आउट एंकर सेट पर भी 5/5
10स्वीकृत सुधार, हर एक का पहले और बाद में माप
260+असली रन, 207 इंसानों द्वारा लेबल किए गए
−29%भारी टास्क पर टोकन, नतीजों में बिना बदलाव के
स्वीकृति बही · पहले और बाद में○ पहले · ● बाद में
चल रहा हैपेयर्ड माप
Atlasस्वीकृति गेट
किसी बदलाव को या तो किसी ज्ञात त्रुटि को ठीक करना होगा या किसी नतीजे को बदले बिना टोकन घटाने होंगे। एक होल्ड-आउट एंकर सेट परीक्षा पर ओवरफ़िटिंग को पकड़ लेता है।
53 टास्क की परीक्षा5 टास्क का एंकर
स्वीकृत22 सितंबर
Atlasटास्क के प्रकार के अनुसार मॉडल
डेटा और शेल टास्क Qwen 27B dense को, वेब और कोड टास्क Qwen 35B MoE को भेजे जाते हैं। दोनों मॉडलों की ग़लतियाँ पूरी तरह अलग-अलग थीं; परीक्षा 40/47 से बढ़कर 47/47 हो गई और टोकन 10% घट गए।
Mac mini · 48 GBलोकल