Poort tegen verzinsels
Controleert elke run: elke waarde in het antwoord moet voorkomen in een tooluitvoer die de agent niet zelf heeft geschreven. Tellen en optellen over lokale bestanden moet met een commando worden berekend.
Een lokale agent die van zijn eigen fouten leert; hij slaagde voor zijn examen van 53 taken, 53 van de 53.
Een agent die leert van zijn eigen fouten. Hij draait op een lokaal model op de machine van deze studio, gebruikt het internet en bestanden, en controleert elke run met bewijs. Geen enkele wijziging wordt geaccepteerd zonder de meetpoort te passeren, of die nu door een mens of door de agent is geschreven.
Controleert elke run: elke waarde in het antwoord moet voorkomen in een tooluitvoer die de agent niet zelf heeft geschreven. Tellen en optellen over lokale bestanden moet met een commando worden berekend.
Een wijziging moet ofwel een bekende fout herstellen, ofwel tokens besparen zonder enig resultaat te veranderen. Een achtergehouden ankerset vangt overfitting op het examen op.
Data- en shelltaken gaan naar Qwen 27B dense, web- en codetaken naar Qwen 35B MoE. De fouten van de twee modellen overlapten niet; het examen steeg van 40/47 naar 47/47 en het tokengebruik daalde met 10%.