Harness²
핵심
모델 가중치를 고정하고 현재 과제의 실행 하네스를 고친다. 그 수정 과정에서 근거가 충분한 경험을 남겨 다음 과제의 개선에도 사용한다. 직접 실행한 4개 과제 파일럿에서는 평균 점수가 35.28%에서 29.51%로 내려갔고, 경험 라이브러리에 항목이 남지 않았다.
논문이 제안하는 구조
Harness²: Recursive Agent Harnessing for an Open World는 Ruiyao Xu 외의 2026년 논문이다. 정답 검증기를 쓰기 어려운 새로운 과제에서 실행 하네스를 개선하는 방법을 다룬다.
두 수준의 반복이 연결된다.
- 과제 안의 개선: 기준 실행을 바탕으로 범용 문제를 겨냥한 후보와 도메인별 후보를 제안한다. 같은 과제를 각 후보로 실행하고 행동 차이를 살핀 뒤, 근거가 있는 변경을 합성한다. 이것이 Propose–Probe–Compose(PPC)다.
- 과제 사이의 개선: 수정과 실행을 검토해 재사용할 하네스와 경험을 라이브러리에 남긴다. 다음 과제는 원래 기본 하네스로 시작하되, 개선할 때 이 라이브러리를 참고한다. 근거가 부족하면 새 항목을 만들지 않는다.
실행 결과의 차이는 정답 판정이 아니다. 모델의 공통 오류와 실행 변동성이 남는다. k=1은 한 번의 PPC이며, 더 큰 k에서는 병렬 후보 탐색 또는 순차 수정을 늘린다. 논문 §2
공식 구현은 시스템 프롬프트, 가드레일, 메모리, 도구 안내, 스킬, 스크립트, 하위 에이전트, 플러그인을 편집 대상으로 노출한다. 공개 데모는 모델 없이 동작하는 결정론적 소프트웨어 검사다. 공식 저장소
저자 보고와 직접 측정의 구분
저자는 WorkBuddy-Bench·JobBench·LAB에서 GLM-5와 Gemini 3.5 Flash를 OpenCode·Codex에 결합한 네 구성의 개선을 보고한다. 한 단계의 최대 개선은 각각 11.5점, 4.5점, 11.8퍼센트포인트이며, 표는 과제 순서를 바꾼 세 실행의 평균과 표준편차를 제시한다. 이 값들은 논문의 보고치다. 논문 §3, 표 1–2
직접 수행한 검증은 다음 두 가지다.
| 검증 | 관찰 | 말할 수 있는 범위 |
|---|---|---|
| 공식 결정론적 데모·회귀검사 | 병렬·순차 k=2 데모 완료, 공식 검사 5개 통과 | 공개 코어의 실행 흐름이 동작함 |
| 공개 JobBench 4개 과제, 내장 모델 실행 | 기본 35.28% → PPC 29.51%, 0승·3동점·1패 | 이 파일럿에서 루브릭 점수 개선이 없었음 |
파일럿은 원 논문의 모델·실행기·평가기를 그대로 사용하지 않았다. 총 연산량도 맞추지 않았다. 따라서 논문 성능의 재현 또는 반증으로 볼 수 없다. 자세한 과제별 결과와 한계는 실제 실행 보고서, 공개된 수치의 검산 방법은 조건·변경 기록과 재계산에 정리했다.
이 실험에서 얻은 설계 관점
다음은 파일럿 관찰을 바탕으로 한 해석이다.
- 개선안 생성과 개선 검증을 분리해서 봐야 한다. 회계 과제에서는 날짜 오류가 고쳐졌지만 비용 충돌의 처리 방식 때문에 총점은 내려갔다. 하나의 수정이 여러 품질 축에 서로 다른 영향을 줄 수 있다.
- 라이브러리가 있다는 것과 전이가 일어났다는 것은 별개의 측정이다. 네 번의 회고가 모두
NO_ENTRY였으므로 이 실행에서는 경험 축적과 후속 전이를 평가할 수 없었다. - 평가 기준 자체도 점검해야 한다. 출처 자료의 충돌과 복합 이진 항목 때문에 낮은 점수를 그대로 업무 정답률로 읽기 어렵다. 공식 점수와 기준의 한계는 함께 남기는 편이 낫다.
- 다음 비교에서는 반복과 연산량 대조가 필요하다. 고정 모델, 여러 과제 순서, 동일 예산의 다중 실행 기준선, 빈 라이브러리와 축적 라이브러리 비교가 있어야 개선 원인을 더 좁힐 수 있다. 아직 실행하지 않은 후속 설계다.
연결해서 읽기
- WikiSkill: 경험을 지속 지식으로 정리하고 스킬 진화에 활용하는 다른 구조
- Procedural Graphs: 실행 절차의 구조를 개선하는 접근
- 절차 그래프 × Grounded Memory 실험: 실제 측정과 구현·러너 조건의 구분
고정 출처
- 논문: arXiv:2610.14224v1, 2026-10-09
- 공식 코드: google-research/harness2, 1cfe254
- 데이터셋: JobBench/job-bench, d43a665
조사일과 파일럿 실행일은 2026-10-16이다. 원 논문·벤치마크·코드의 이후 변경은 반영하지 않았다.