Ένας τοπικός πράκτορας που μαθαίνει από τα λάθη του· πέρασε εξέταση 53 εργασιών με 53/53.
Ένας πράκτορας που μαθαίνει από τα λάθη του. Τρέχει σε τοπικό μοντέλο στο μηχάνημα αυτού του στούντιο, χρησιμοποιεί το διαδίκτυο και αρχεία, και ελέγχει κάθε εκτέλεση με τεκμήρια. Καμία αλλαγή, είτε τη γράφει άνθρωπος είτε ο πράκτορας, δεν γίνεται δεκτή χωρίς να περάσει την πύλη μέτρησης.
Ελέγχει κάθε εκτέλεση: κάθε τιμή στην απάντηση πρέπει να εμφανίζεται στην έξοδο ενός εργαλείου που δεν έγραψε ο ίδιος ο πράκτορας. Η καταμέτρηση και το άθροισμα σε τοπικά αρχεία πρέπει να υπολογίζονται από μια εντολή.
Μια αλλαγή πρέπει είτε να διορθώνει ένα γνωστό σφάλμα είτε να μειώνει τα tokens χωρίς να αλλάζει κανένα αποτέλεσμα. Ένα σύνολο αγκύρωσης που κρατιέται εκτός πιάνει την υπερπροσαρμογή στην εξέταση.
Οι εργασίες δεδομένων και shell πηγαίνουν στο Qwen 27B dense, οι εργασίες web και κώδικα στο Qwen 35B MoE. Τα σφάλματα των δύο μοντέλων ήταν πλήρως ξένα μεταξύ τους· η εξέταση ανέβηκε από 40/47 σε 47/47 και τα tokens μειώθηκαν κατά 10%.