En lokal agent som lär sig av sina egna misstag; den klarade sitt prov på 53 uppgifter, 53 av 53.
En agent som lär sig av sina egna misstag. Den körs på en lokal modell på den här studions maskin, använder internet och filer, och granskar varje körning med bevis. Ingen ändring, vare sig en människa eller agenten har skrivit den, godtas utan att ha passerat mätgrinden.
Granskar varje körning: varje värde i svaret måste förekomma i utdata från ett verktyg som agenten inte själv har skrivit. Räkning och summering över lokala filer måste göras av ett kommando.
En ändring måste antingen rätta ett känt fel eller minska antalet tokens utan att något resultat ändras. En undanhållen ankarmängd fångar överanpassning till provet.
Data- och shelluppgifter går till Qwen 27B dense, webb- och kodjobb till Qwen 35B MoE. De två modellernas fel var helt åtskilda; provet steg från 40/47 till 47/47 och tokens minskade med 10%.