KjørerIngen modellkall
AtlasFabrikasjonsport
Reviderer hver kjøring: hver verdi i svaret må finnes i utdata fra et verktøy som agenten ikke selv har skrevet. Telling og summering over lokale filer må beregnes av en kommando.
bevissjekki sløyfen
← Alt arbeid
Atlas
En lokal agent som lærer av sine egne feil; den besto prøven sin på 53 oppgaver, 53 av 53.
En agent som lærer av sine egne feil. Den kjører på en lokal modell på studioets maskin, bruker internett og filer, og reviderer hver kjøring med bevis. Ingen endring, enten et menneske eller agenten har skrevet den, godtas uten å passere måleporten.
- Oppsett av lokal agent
- Fabrikasjonsport
- Port for parvis måling
- Oppgavebase og eksamen
- Modell etter oppgavetype
- Regresjonsdetektor
53/53eksamen; 5/5 også på det tilbakeholdte ankersettet
10godkjente forbedringer, hver målt før og etter
260+ekte kjøringer, 207 merket av mennesker
−29%tokens på tunge oppgaver, uten endring i resultatene
Godkjenningsregister · før og etter○ før · ● etter
KjørerParvis måling
AtlasGodkjenningsport
En endring må enten rette en kjent feil eller kutte tokens uten å endre noe resultat. Et tilbakeholdt ankersett fanger overtilpasning til eksamen.
Eksamen med 53 oppgaverAnker med 5 oppgaver
Godkjent22. september
AtlasModell etter oppgavetype
Data- og shell-oppgaver går til Qwen 27B dense, web- og kodeoppgaver til Qwen 35B MoE. Feilene til de to modellene overlappet ikke i det hele tatt; eksamen steg fra 40/47 til 47/47 og tokens falt med 10%.
Mac mini · 48 GBlokal