Một tác nhân cục bộ học từ chính lỗi của mình; nó vượt qua kỳ thi 53 nhiệm vụ với kết quả 53/53.
Một tác nhân học từ chính những sai sót của mình. Nó chạy trên một mô hình cục bộ trên máy của studio, sử dụng internet và tệp, và kiểm toán từng lượt chạy bằng bằng chứng. Không thay đổi nào, dù do con người hay do tác nhân viết, được chấp nhận nếu chưa vượt qua cổng đo lường.
Kiểm toán từng lượt chạy: mọi giá trị trong câu trả lời đều phải xuất hiện trong đầu ra của một công cụ mà chính tác nhân không tự viết. Việc đếm và cộng trên các tệp cục bộ phải do một lệnh tính.
Một thay đổi phải sửa được một lỗi đã biết hoặc giảm token mà không làm đổi bất kỳ kết quả nào. Một tập neo được giữ riêng sẽ phát hiện hiện tượng học quá khớp với bài kiểm tra.
Các nhiệm vụ dữ liệu và shell được giao cho Qwen 27B dense, nhiệm vụ web và mã cho Qwen 35B MoE. Lỗi của hai mô hình hoàn toàn không trùng nhau; bài kiểm tra tăng từ 40/47 lên 47/47 và token giảm 10%.