פועלללא קריאה למודל
Atlasשער נגד המצאות
בודק כל הרצה: כל ערך בתשובה חייב להופיע בפלט של כלי שהסוכן לא כתב בעצמו. ספירה וסיכום על קבצים מקומיים חייבים להיות מחושבים בפקודה.
בדיקת ראיותבתוך הלולאה
סוכן שלומד מהטעויות של עצמו. הוא רץ על מודל מקומי במכונה של הסטודיו, משתמש באינטרנט ובקבצים, ובודק כל הרצה בעזרת ראיות. שום שינוי, בין שאדם כתב אותו ובין שהסוכן, לא מתקבל בלי לעבור את שער המדידה.
- הקמת סוכן מקומי
- שער נגד המצאות
- שער מדידה זוגית
- מאגר משימות ומבחן
- מודל לפי סוג משימה
- גלאי נסיגות
53/53מבחן; 5/5 גם בקבוצת העוגן שהוחזקה בצד
10שיפורים שהתקבלו, כל אחד נמדד לפני ואחרי
260+הרצות אמיתיות, מהן 207 מסומנות ידנית
−29%טוקנים במשימות כבדות, בלי שינוי בתוצאות
יומן קבלה · לפני ואחרי○ לפני · ● אחרי
פועלמדידה זוגית
Atlasשער קבלה
שינוי חייב לתקן שגיאה ידועה או לקצץ בטוקנים בלי לשנות אף תוצאה. קבוצת עוגן שהוחזקה בצד לוכדת התאמת יתר למבחן.
מבחן של 53 משימותעוגן של 5 משימות
התקבל22 בספטמבר
Atlasמודל לפי סוג משימה
משימות נתונים ושורת פקודה מנותבות ל-Qwen 27B dense, ומשימות אינטרנט וקוד ל-Qwen 35B MoE. השגיאות של שני המודלים לא חפפו כלל; המבחן עלה מ-40/47 ל-47/47 והטוקנים ירדו ב-10%.
Mac mini · 48 GBמקומי