Ein lokaler Agent, der aus eigenen Fehlern lernt; er bestand seine Prüfung mit 53 Aufgaben mit 53 von 53.
Ein Agent, der aus seinen eigenen Fehlern lernt. Er läuft mit einem lokalen Modell auf dem Rechner dieses Studios, nutzt das Internet und Dateien und prüft jeden Lauf anhand von Belegen. Keine Änderung, ob von einem Menschen oder vom Agenten geschrieben, wird ohne Passieren der Messschranke akzeptiert.
Prüft jeden Lauf: Jeder Wert in der Antwort muss in einer Tool-Ausgabe vorkommen, die der Agent nicht selbst geschrieben hat. Zählen und Summieren über lokale Dateien muss ein Befehl berechnen.
Eine Änderung muss entweder einen bekannten Fehler beheben oder Token einsparen, ohne ein Ergebnis zu verändern. Ein zurückgehaltener Ankersatz fängt die Überanpassung an die Prüfung ab.
Daten- und Shell-Aufgaben gehen an Qwen 27B dense, Web- und Code-Aufgaben an Qwen 35B MoE. Die Fehler der beiden Modelle überschnitten sich überhaupt nicht; die Prüfung stieg von 40/47 auf 47/47, der Tokenverbrauch sank um 10%.