BěžíBez volání modelu
AtlasBrána proti vymýšlení
Kontroluje každý běh: každá hodnota v odpovědi se musí objevit ve výstupu nástroje, který agent nenapsal sám. Počítání a sčítání nad lokálními soubory musí provést příkaz.
kontrola důkazůve smyčce
← Všechny práce
Atlas
Lokální agent, který se učí z vlastních chyb. Zkouškou o 53 úlohách prošel na 53/53.
Agent, který se učí z vlastních chyb. Běží na lokálním modelu na počítači tohoto studia, používá internet a soubory a každý běh kontroluje s důkazy. Žádná změna, ať ji napsal člověk, nebo agent, není přijata, dokud neprojde měřicí bránou.
- Nastavení lokálního agenta
- Brána proti vymýšlení
- Párová měřicí brána
- Fond úloh a zkouška
- Model podle typu úlohy
- Detektor regrese
53/53zkouška; 5/5 i na odložené kotevní sadě
10přijatých vylepšení, každé změřené před a po
260+skutečných běhů, z toho 207 označených lidmi
−29%tokenů u náročných úloh, bez změny výsledků
Kniha přijatých změn · před a po○ před · ● po
BěžíPárové měření
AtlasPřijímací brána
Změna musí buď opravit známou chybu, nebo snížit počet tokenů beze změny jakéhokoli výsledku. Odložená kotevní sada odhalí přeučení na zkoušku.
zkouška z 53 úlohkotva z 5 úloh
Přijato22. září
AtlasModel podle typu úlohy
Úlohy s daty a shellem jdou na Qwen 27B dense, webové a kódové úlohy na Qwen 35B MoE. Chyby obou modelů se vůbec nepřekrývaly; zkouška vzrostla ze 40/47 na 47/47 a tokenů ubylo o 10%.
Mac mini · 48 GBlokální