กำลังทำงานไม่เรียกใช้โมเดล
Atlasด่านตรวจการสร้างข้อมูลเท็จ
ตรวจสอบทุกการทำงาน ทุกค่าในคำตอบต้องปรากฏในผลลัพธ์ของเครื่องมือที่เอเจนต์ไม่ได้เขียนเอง การนับและการรวมค่าจากไฟล์ในเครื่องต้องคำนวณด้วยคำสั่ง
การตรวจหลักฐานในวงจร
เอเจนต์ที่เรียนรู้จากความผิดพลาดของตัวเอง ทำงานบนโมเดลบนเครื่องของสตูดิโอนี้ ใช้อินเทอร์เน็ตและไฟล์ และตรวจสอบทุกการทำงานด้วยหลักฐาน การเปลี่ยนแปลงใด ๆ ไม่ว่ามนุษย์หรือเอเจนต์จะเป็นผู้เขียน จะไม่ได้รับการยอมรับหากไม่ผ่านด่านวัดผล
- การตั้งค่าเอเจนต์บนเครื่อง
- ด่านตรวจการสร้างข้อมูลเท็จ
- ด่านวัดผลแบบจับคู่
- คลังงานและข้อสอบ
- การเลือกโมเดลตามประเภทงาน
- ตัวตรวจจับการถดถอย
53/53ข้อสอบ และ 5/5 บนชุดอ้างอิงที่กันไว้ด้วย
10การปรับปรุงที่ได้รับการยอมรับ โดยแต่ละรายการวัดผลทั้งก่อนและหลัง
260+การรันจริง ซึ่ง 207 รายการมีมนุษย์ติดป้ายกำกับ
−29%โทเค็นในงานหนัก โดยผลลัพธ์ไม่เปลี่ยนแปลง
บัญชีการยอมรับ · ก่อนและหลัง○ ก่อน · ● หลัง
กำลังทำงานการวัดแบบจับคู่
Atlasด่านการยอมรับ
การเปลี่ยนแปลงต้องแก้ข้อผิดพลาดที่ทราบอยู่แล้ว หรือลดโทเค็นโดยไม่เปลี่ยนผลลัพธ์ใด ๆ ชุดอ้างอิงที่กันไว้ช่วยจับการโอเวอร์ฟิต (overfitting) กับข้อสอบ
ข้อสอบ 53 งานชุดอ้างอิง 5 งาน
ยอมรับแล้ว22 กันยายน
Atlasการเลือกโมเดลตามประเภทงาน
งานด้านข้อมูลและเชลล์ส่งไปที่ Qwen 27B dense ส่วนงานเว็บและโค้ดส่งไปที่ Qwen 35B MoE ข้อผิดพลาดของสองโมเดลไม่ซ้ำกันเลย ข้อสอบเพิ่มจาก 40/47 เป็น 47/47 และโทเค็นลดลง 10%
Mac mini · 48 GBในเครื่อง