ÇalışıyorModel çağırmadan
AtlasUydurma kapısı
Her koşuyu denetliyor: cevaptaki her değer, ajanın kendi yazmadığı bir araç çıktısında geçmeli. Yerel dosyada sayma ve toplama bir komutla hesaplanmış olmalı.
kanıt kontrolüdöngü içinde
Kendi hatalarından öğrenen bir ajan. Bu stüdyonun makinesinde yerel modelle çalışıyor, internete ve dosyalara erişiyor, her koşusunu kanıtla denetliyor. Hiçbir değişiklik, insan da yazsa ajan da yazsa, ölçüm kapısını geçmeden kabul edilmiyor.
- Yerel ajan kurulumu
- Uydurma kapısı
- Eşli ölçüm kapısı
- Görev havuzu ve sınav
- Görev türüne göre model
- Gerileme dedektörü
53/53sınav; ayrı tutulan çapa setinde de 5/5
10kabul edilen iyileştirme, her biri öncesi ve sonrası ölçülü
260+gerçek koşu, 207'si insan etiketli
−%29token, ağır görevlerde, sonuç değişmeden
Kabul defteri · önce ve sonra○ önce · ● sonra
ÇalışıyorEşli ölçüm
AtlasKabul kapısı
Bir değişiklik ya bilinen bir hatayı düzeltmeli ya da hiçbir sonucu değiştirmeden token azaltmalı. Ayrı tutulan çapa seti, sınava uyum sağlanıp sağlanmadığını yakalıyor.
53 görevlik sınav5 görevlik çapa
Kabul22 Eylül
AtlasGörev türüne göre model
Veri ve shell görevleri Qwen 27B dense, web ve kod görevleri Qwen 35B MoE ile. İki modelin hataları tamamen ayrıktı; sınav 40/47'den 47/47'ye çıktı, token %10 düştü.
Mac mini · 48 GByerel