Donggyun의 지식베이스

Harness² 실제 실행 결과 — JobBench 4개 과제

Properties1
tagsmemory-research, harness, evaluation, experiment

Harness² 실제 실행 결과

2026-10-16 · 공개 JobBench 4개 과제 · 내장 모델 파일 작업 파일럿

결론

이 소규모 실험에서는 점수 개선이 관찰되지 않았다. 원본 루브릭의 과제별 백분율을 단순 평균하면 기본 35.28% → PPC 최종 29.51%, 차이는 −5.77퍼센트포인트다. 3개 과제는 동점, 1개는 하락했다. 네 번의 회고가 모두 NO_ENTRY여서 경험 라이브러리는 비어 있었다.

이 점수는 원본 루브릭과의 일치도다. 독립적으로 인증한 실제 업무 정답률이 아니다. 논문과의 대응은 논문 노트, 세부 조건과 재계산 방법은 검증·재현 안내에서 확인할 수 있다.

1. 과제별 결과

과제기본 획득/총점PPC 획득/총점기본PPC 최종차이(pp)
회계·장부 task134/8834/8838.64%38.64%0.00
회계·장부 task218/526/5234.62%11.54%−23.08
IT 지원 task138/5638/5667.86%67.86%0.00
IT 지원 task20/820/820.00%0.00%0.00
과제별 단순 평균35.28%29.51%−5.77

원시 수치: results.csv. 모든 평가 항목이 채점됐으며 미채점 항목은 없다. 위 평균은 과제들의 획득 점수를 한 분모로 합친 micro-average가 아니다. 승패는 PPC와 기본의 과제별 점수 차이로 세면 0승·3동점·1패다.

2. 실행 설계와 범위

공식 코어의 한 단계 PPC(k=1)를 사용하되, 공식 외부 모델 실행기를 내장 모델용 어댑터로 바꿨다. 실행 전에 선택한 과제는 다음 네 개다.

  • bookkeeping_accounting_and_auditing_clerks/task1
  • bookkeeping_accounting_and_auditing_clerks/task2
  • computer_user_support_specialists/task1
  • computer_user_support_specialists/task2

각 과제에서 기본 하네스 실행을 기준으로 재사용하고, 범용(INV)·도메인(DOM) 후보 두 개를 독립적으로 제안·실행한 뒤 하네스를 합성해 최종 산출물을 만들었다. 과제당 솔버 실행은 기본·INV·DOM·합성의 4회다. 기본 대조 산출물은 이 중 첫 실행이므로 별도 다섯 번째 실행을 더한 것이 아니다.

구분완료 수
솔버 실행16
제안·합성12
회고4
위 실험 세션 합계32
별도 익명 평가 세션4
생성된 산출물 파일44

실험 세션마다 20분 상한을 두었고 모두 그 안에 끝났다. 직군별로 task1 → task2 순서를 유지했으며 직군 간 경험 라이브러리는 분리했다. task2의 무변경 기본 실행만 미리 병렬 처리했으며, 개선과 라이브러리 갱신 순서는 바꾸지 않았다.

모든 역할에 동일한 내장 모델 구성을 상속했다. 다만 정확한 모델 스냅샷·실제 추론 설정·토큰·사용 비용은 노출되지 않아 검증하지 못했다. 외부 유료 모델 API와 사용자 인증정보는 사용하지 않았다. 이 사실이 내장 플랫폼 연산 비용이 0이라는 뜻은 아니다.

3. 평가와 무결성 확인

  1. 기본·합성 산출물과 하네스의 SHA-256을 고정했다.
  2. 새로운 평가 문맥 네 개에 과제별 익명 A/B 쌍과 원본 가중 루브릭을 제공했다. 라벨 배정의 고정 난수 시드는 20261016이다.
  3. 평가 점수는 솔버·편집·회고 과정에 돌려주지 않았다. 모든 산출물이 완성된 뒤 평가했다.
  4. 파일 가독성·필수 산출물 등 결정론적 보조 검사는 58건 중 57건 통과했다.

보조 검사에서 남은 1건은 전체 장치 ID 문자열 개수였다. 원본 DOCX 표에는 공통 접두어와 축약형 001–075가 있었고, 직접 읽어 두 문서 모두 장치 75개를 포함함을 확인했다. 따라서 이를 파일 누락으로 처리하지 않았다. 원래의 자동 검사 결과 자체는 덮어쓰지 않았다.

평가는 새 문맥과 파일 범위 지시로 분리했지만 파일시스템은 공유됐다. 운영체제 수준의 강제 격리 또는 평가 누출 불가능성을 입증한 실험은 아니다.

4. 하락한 회계 task2

하락은 총 52점 중 각각 6점인 두 항목에서 발생했다. 기본은 18점, 합성 결과는 6점으로 12/52 × 100 = 23.08pp 차이다.

자료에 충돌하는 Google 광고비 $350가 있었다. 기본 산출물은 이를 오기장으로 보고 수정안을 제시했다. 합성 산출물은 그 금액을 미확정 별도 비용으로 남기는 동시에 은행·송장 측 비용도 포함했다. 원본 루브릭은 기본 산출물의 처리 방향을 요구했다.

반면 합성 산출물에서는 날짜가 전날로 밀리는 오류가 고쳐졌다. 따라서 총점의 하락을 모든 품질 항목의 일괄 악화로 해석할 수 없다. 또한 자료 충돌의 실제 원인이 독립적으로 확정된 것은 아니므로, 이 사례의 점수는 지정된 루브릭과의 일치 여부로 읽어야 한다. 결과를 본 뒤 루브릭이나 점수를 유리하게 바꾸지는 않았다.

5. 0점인 IT 지원 task2

파일이 없거나 열리지 않아 0점이 된 것이 아니다. 10개 복합 항목에 대해 핵심 조건들을 모두 충족해야 통과하는 이진 채점을 적용했고, 기본·합성 모두 전 항목이 미통과했다.

  • 실제 누락: PCI DSS 관련 설명, 직원별 주간 티켓 예측 등 요구된 세부사항이 부족했다.
  • 원본 자료와 루브릭의 긴장: CPU 호환성의 데이터셋 라벨을 실제 지원 여부·장애 원인처럼 취급하는 전제, 과제 마감일 이후 생성된 티켓까지 포함하는 전제가 있었다.
  • 합성 결과의 정합성 문제: 일부 부서 비용 설명과 장치별 합계 사이에도 불일치가 있었다.

이 문제들을 기록하면서 원본 루브릭의 조건과 가중치는 그대로 유지했다. 출력 결과를 보기 전에 지정한 CPU 관련 10점 항목 제외 분석은 이 과제의 분모를 82에서 72로 바꾼다. 두 조건 모두 분자가 0이므로 점수와 전체 평균, 결론은 변하지 않았다. 이 민감도 분석이 나머지 루브릭을 검증해 주는 것은 아니다.

6. 경험 축적과 전이

회고 네 번이 모두 NO_ENTRY를 반환했다. 두 직군의 라이브러리는 끝까지 비어 있었으므로 다음 과제가 재사용할 경험 항목이 없었다. 이 실행에서 경험 축적과 과제 간 경험 전이는 관찰되지 않았다.

별도의 결정론적 데모는 후속 과제에 라이브러리 항목을 전달했다. 이는 소프트웨어 경로의 동작 확인이며, 위 내장 모델 파일럿의 경험 전이 성공으로 합산하지 않는다.

7. 해석의 한계

  • 연산량 비대칭: 기본은 1회 실행, PPC 과정은 기본을 포함한 4회 실행에 편집·합성·회고를 추가했다. 같은 예산의 best-of-four 또는 재시도 대조군은 없다.
  • 작고 선택된 표본: 로컬 실행 가능성을 기준으로 고른 네 과제, 직군 두 개, 고정 순서 한 번이다. 무작위 표본·반복 실행·유의성 검정 결과가 아니다.
  • 원 논문과 다른 실행 환경: 모델 스냅샷과 평가기가 다르고, 외부 검색 자료는 미리 로컬 참조로 제공했다. 실행 가능한 새 플러그인·하위 에이전트 추가는 허용하지 않았다.
  • 추가 구현 교란: 기본은 원래 하네스 파일을 읽었고 후보는 공식 코어가 재직렬화했다. 매니페스트와 README 주석 차이도 원시 파일을 읽는 실행에 보일 수 있었다. IT 지원 task1의 실질 지침은 거의 같은 조건이었다.
  • 평가 한계: 익명 모델 평가이며 사람 전문가의 재채점은 하지 않았다. 복합 이진 항목은 일부 개선을 총점에 반영하지 못할 수 있다.
  • 비용 정보 부재: 토큰·달러 비용이 없어 연산 효율이나 비용 대비 성능을 추정할 수 없다.

따라서 일반적인 Harness² 성능, 하네스 변경의 인과효과, 라이브러리의 효용, 모델 가중치 학습 또는 원 논문의 성능 수치에 관한 결론으로 확대하지 않는다.

8. 공개 범위와 출처

이 저장소에는 해석 가능한 연구 기록, 과제별 집계 CSV, 조건·변경 기록과 재계산 안내를 올렸다. 원시 대화·실행 로그·데이터셋·모델 산출물 전체는 포함하지 않는다. 따라서 공개 파일만으로 가능한 것은 집계 수치 검산과 프로토콜 검토이며, 전체 산출물의 독립 재채점은 아니다.

그래프 뷰

백링크