Un agente locale che impara dai propri errori; ha superato il suo esame di 53 compiti, 53 su 53.
Un agente che impara dai propri errori. Gira su un modello locale sulla macchina di questo studio, usa internet e i file, e verifica ogni esecuzione con prove. Nessuna modifica, scritta da una persona o dall'agente, viene accettata senza aver superato il gate di misurazione.
Verifica ogni esecuzione: ogni valore nella risposta deve comparire in un output di strumento che non sia stato scritto dall'agente stesso. Conteggi e somme su file locali devono essere calcolati da un comando.
Una modifica deve correggere un errore noto oppure ridurre i token senza cambiare alcun risultato. Un set di ancoraggio tenuto da parte intercetta l'overfitting all'esame.
Le attività su dati e shell vanno a Qwen 27B dense, quelle web e di codice a Qwen 35B MoE. Gli errori dei due modelli erano del tutto disgiunti; l'esame è salito da 40/47 a 47/47 e i token sono calati del 10%.