Un agent local care învață din propriile greșeli; a trecut examenul de 53 de sarcini cu 53/53.
Un agent care învață din propriile greșeli. Rulează pe un model local, pe calculatorul acestui studio, folosește internetul și fișierele și auditează fiecare rulare cu dovezi. Nicio modificare, fie că a scris-o un om sau agentul, nu este acceptată fără a trece de poarta de măsurare.
Auditează fiecare rulare: fiecare valoare din răspuns trebuie să apară într-un rezultat al unui instrument pe care agentul nu l-a scris el însuși. Numărarea și însumarea pe fișiere locale trebuie calculate de o comandă.
O modificare trebuie fie să corecteze o eroare cunoscută, fie să reducă tokenii fără a schimba niciun rezultat. Un set de ancorare rezervat prinde supraadaptarea la examen.
Sarcinile de date și de shell merg la Qwen 27B dense, cele web și de cod la Qwen 35B MoE. Erorile celor două modele au fost complet disjuncte; examenul a crescut de la 40/47 la 47/47, iar tokenii au scăzut cu 10%.