KørerIntet modelkald
AtlasPort mod opdigtning
Reviderer hver kørsel: Hver værdi i svaret skal findes i et værktøjsoutput, som agenten ikke selv har skrevet. Optælling og summering over lokale filer skal beregnes af en kommando.
evidenstjeki løkken
← Alt arbejde
Atlas
En lokal agent, der lærer af sine egne fejl; den bestod sin prøve på 53 opgaver, 53 ud af 53.
En agent, der lærer af sine egne fejl. Den kører på en lokal model på dette studies maskine, bruger internettet og filer og reviderer hver kørsel med evidens. Ingen ændring, hvad enten et menneske eller agenten har skrevet den, accepteres uden at have bestået måleporten.
- Opsætning af lokal agent
- Port mod opdigtning
- Port for parvis måling
- Opgavepulje og eksamen
- Model efter opgavetype
- Regressionsdetektor
53/53eksamen; 5/5 også på det tilbageholdte ankersæt
10godkendte forbedringer, hver målt før og efter
260+rigtige kørsler, heraf 207 menneskemærkede
−29%tokens på tunge opgaver, uden ændring i resultaterne
Godkendelsesjournal · før og efter○ før · ● efter
KørerParvis måling
AtlasGodkendelsesport
En ændring skal enten rette en kendt fejl eller skære tokens ned uden at ændre noget resultat. Et tilbageholdt ankersæt fanger overtilpasning til eksamen.
eksamen på 53 opgaveranker på 5 opgaver
Godkendt22. september
AtlasModel efter opgavetype
Data- og shell-opgaver går til Qwen 27B dense, web- og kodeopgaver til Qwen 35B MoE. De to modellers fejl var helt adskilte; eksamen steg fra 40/47 til 47/47, og tokens faldt 10%.
Mac mini · 48 GBlokal