MIHCI AI STUDIOS EN Over ons Contact
← Al ons werk

Atlas

Een lokale agent die van zijn eigen fouten leert; hij slaagde voor zijn examen van 53 taken, 53 van de 53.

Een agent die leert van zijn eigen fouten. Hij draait op een lokaal model op de machine van deze studio, gebruikt het internet en bestanden, en controleert elke run met bewijs. Geen enkele wijziging wordt geaccepteerd zonder de meetpoort te passeren, of die nu door een mens of door de agent is geschreven.

  • Opzet van de lokale agent
  • Poort tegen verzinsels
  • Gepaarde meetpoort
  • Takenpool en examen
  • Model per taaktype
  • Regressiedetector
53/53examen; ook 5/5 op de achtergehouden ankerset
10geaccepteerde verbeteringen, elk gemeten voor en na
260+echte runs, 207 gelabeld door mensen
−29%tokens bij zware taken, zonder verandering in de resultaten
Acceptatieregister · voor en na○ voor · ● na
ActiefGeen modelaanroep
Atlas

Poort tegen verzinsels

Controleert elke run: elke waarde in het antwoord moet voorkomen in een tooluitvoer die de agent niet zelf heeft geschreven. Tellen en optellen over lokale bestanden moet met een commando worden berekend.

bewijscontrolein de lus
ActiefGepaarde meting
Atlas

Acceptatiepoort

Een wijziging moet ofwel een bekende fout herstellen, ofwel tokens besparen zonder enig resultaat te veranderen. Een achtergehouden ankerset vangt overfitting op het examen op.

Examen met 53 takenAnker met 5 taken
Geaccepteerd22 september
Atlas

Model per taaktype

Data- en shelltaken gaan naar Qwen 27B dense, web- en codetaken naar Qwen 35B MoE. De fouten van de twee modellen overlapten niet; het examen steeg van 40/47 naar 47/47 en het tokengebruik daalde met 10%.

Mac mini · 48 GBlokaal

Wilt u iets vergelijkbaars?

Schrijf onsAl ons werk