Локальный агент, который учится на своих ошибках; экзамен из 53 заданий он сдал на 53/53.
Агент, который учится на собственных ошибках. Он работает на локальной модели на машине этой студии, пользуется интернетом и файлами и проверяет каждый запуск доказательствами. Ни одно изменение, написал ли его человек или агент, не принимается, пока не пройдёт порог измерения.
Проверяет каждый запуск: каждое значение в ответе должно присутствовать в выводе инструмента, который агент не писал сам. Подсчёт и суммирование по локальным файлам должны выполняться командой.
Изменение должно либо исправлять известную ошибку, либо сокращать токены без изменения каких-либо результатов. Отложенный якорный набор выявляет переобучение под экзамен.
Задачи с данными и командной оболочкой идут в Qwen 27B dense, веб-задачи и задачи с кодом в Qwen 35B MoE. Ошибки двух моделей полностью не пересекались; экзамен вырос с 40/47 до 47/47, а токенов стало на 10% меньше.