MIHCI AI STUDIOS EN Tentang Kontak
← Semua karya

Atlas

Agen lokal yang belajar dari kesalahannya sendiri; ia lulus ujian 53 tugas dengan skor 53/53.

Agen yang belajar dari kesalahannya sendiri. Ia berjalan pada model lokal di mesin studio ini, menggunakan internet dan berkas, dan mengaudit setiap proses dengan bukti. Tidak ada perubahan, baik ditulis manusia maupun agen, yang diterima tanpa lolos gerbang pengukuran.

  • Penyiapan agen lokal
  • Gerbang fabrikasi
  • Gerbang pengukuran berpasangan
  • Kumpulan tugas dan ujian
  • Model menurut jenis tugas
  • Pendeteksi regresi
53/53ujian; 5/5 juga pada set jangkar yang ditahan
10perbaikan yang diterima, masing-masing diukur sebelum dan sesudah
260+proses nyata, 207 berlabel manusia
−29%token pada tugas berat, tanpa perubahan hasil
Buku besar penerimaan · sebelum dan sesudah○ sebelum · ● sesudah
BerjalanTanpa panggilan model
Atlas

Gerbang fabrikasi

Mengaudit setiap proses: setiap nilai dalam jawaban harus muncul dalam keluaran alat yang tidak ditulis sendiri oleh agen. Penghitungan dan penjumlahan atas berkas lokal harus dihitung oleh sebuah perintah.

pemeriksaan buktidalam siklus
BerjalanPengukuran berpasangan
Atlas

Gerbang penerimaan

Sebuah perubahan harus memperbaiki kesalahan yang diketahui atau memangkas token tanpa mengubah hasil apa pun. Set jangkar yang ditahan menangkap overfitting terhadap ujian.

ujian 53 tugasjangkar 5 tugas
Diterima22 September
Atlas

Model menurut jenis tugas

Tugas data dan shell diarahkan ke Qwen 27B dense, tugas web dan kode ke Qwen 35B MoE. Kesalahan kedua model sepenuhnya tidak beririsan; skor ujian naik dari 40/47 menjadi 47/47 dan token turun 10%.

Mac mini · 48 GBlokal

Ingin sesuatu yang serupa?

Tulis kepada kamiSemua karya