Lokalny agent, który uczy się na własnych błędach. Zdał egzamin z 53 zadań wynikiem 53/53.
Agent, który uczy się na własnych błędach. Działa na lokalnym modelu na maszynie tego studia, korzysta z internetu i plików, a każde uruchomienie poddaje audytowi opartemu na dowodach. Żadna zmiana, napisana przez człowieka czy przez agenta, nie jest przyjmowana bez przejścia przez bramkę pomiarową.
Audytuje każde uruchomienie: każda wartość w odpowiedzi musi pojawić się w wyniku narzędzia, którego agent nie napisał sam. Liczenie i sumowanie na plikach lokalnych musi być wykonane przez polecenie.
Zmiana musi albo naprawiać znany błąd, albo ograniczać liczbę tokenów bez zmiany jakiegokolwiek wyniku. Zestaw kotwiczący wyłączony z treningu wychwytuje przeuczenie pod egzamin.
Zadania na danych i w powłoce trafiają do Qwen 27B dense, zadania webowe i programistyczne do Qwen 35B MoE. Błędy obu modeli były całkowicie rozłączne; wynik egzaminu wzrósł z 40/47 do 47/47, a liczba tokenów spadła o 10%.