가동 중모델 호출 없음
Atlas날조 방지 게이트
모든 실행을 감사합니다. 답변에 담긴 모든 값은 에이전트가 직접 쓰지 않은 도구 출력에 나타나야 합니다. 로컬 파일의 개수 세기와 합산은 반드시 명령으로 계산해야 합니다.
증거 검사루프 내 실행
자신의 실수에서 배우는 에이전트입니다. 이 스튜디오의 기기에서 로컬 모델로 실행되며, 인터넷과 파일을 사용하고, 모든 실행을 증거로 감사합니다. 사람이 썼든 에이전트가 썼든, 측정 게이트를 통과하지 못한 변경은 받아들여지지 않습니다.
- 로컬 에이전트 구축
- 날조 방지 게이트
- 쌍체 측정 게이트
- 과제 풀과 시험
- 과제 유형별 모델
- 회귀 탐지기
53/53시험, 따로 떼어 둔 앵커 세트에서도 5/5
10수용된 개선, 각각 적용 전후로 측정
260+실제 실행, 207건은 사람이 라벨링
−29%무거운 작업의 토큰, 결과는 그대로
수용 원장 · 전후○ 전 · ● 후
가동 중쌍체 측정
Atlas수용 게이트
변경은 알려진 오류를 고치거나, 어떤 결과도 바꾸지 않으면서 토큰을 줄여야 합니다. 따로 떼어 둔 앵커 세트가 시험에 대한 과적합을 잡아냅니다.
53개 과제 시험5개 과제 앵커
수용됨9월 22일
Atlas과제 유형별 모델
데이터와 셸 작업은 Qwen 27B 덴스 모델로, 웹과 코드 작업은 Qwen 35B MoE로 보냅니다. 두 모델의 오류는 완전히 서로 겹치지 않았고, 시험은 40/47에서 47/47로 올랐으며 토큰은 10% 줄었습니다.
Mac mini · 48 GB로컬