연구 질문과 구조
환경에서 배운 의미 기억과 절차 그래프를 함께 쓰면 과제 해결이 나아지는가? 의미 기억은 완료된 trajectory를 Distiller가 정리하고 Curator가 환경 증거를 확인해 갱신한다. 다음 task agent는 읽기만 한다. PG는 현재 단계의 주변 부분 그래프를 Guidance LLM이 읽어 조언하고 Solver가 행동을 선택한다. 그래프가 Python 규칙으로 정답 행동을 강제하는 구조와 구분해야 한다.
두 기억의 결합 경계 · 논문과 구현의 대응 · 벤치마크 조건.
결과 문서가 다른 이유
초기 README에는 CLBench baseline 11/40, semantic 8/40, combined 11/40이 기록돼 있다. 종합 보고서는 러너·recall·ReAct 구현을 수정한 후속 결과를 기록한다. 같은 결과의 요약으로 취급하면 안 된다.
종합 보고서의 2×2 비교는 baseline 12/40, semantic 25/40, PG 10/40, combined 23/40이다. 그 조건에서 semantic 개선은 관찰됐으나 PG 추가 개선은 입증되지 않았다. 별도의 on-demand probing 러너는 15/40 → 24/40 → 35/40을 기록한다. 이 수치를 강제 recall factorial 결과와 섞지 않는다.
MultiChallenge 후속 보고는 test 56문항에서 세 실행 모두 PG 정확도 개선이 비유의했다고 기록한다. 형식 파싱 안정화와 정확도 기여도 구분한다. validation 68%와 test 62.5%의 차이만으로 과적합 원인이 확정되는 것은 아니므로, 원문의 과적합 표현은 보고서의 해석으로 읽는다. 단일 run·대체 모델·비공개 원 논문 요소의 한계도 남는다.
다음에 확인할 것
기존 보고서 이후의 미커밋 실행 폴더들도 로컬에 있다. 이번에는 그 원시 로그를 다시 분석해 최종 성능으로 승격하지 않았다. 큰 guide 출력의 잘림, 단계 활성화, 비용·정확도 동시 비교가 추가 검증 대상이다. 원문 전체는 종합 보고서, 초기 오류와 폐기 이유는 재현 후기에서 확인한다.