서로 다른 두 실험 축
기존 연구의 결론과 phase별 원장은 경험을 에이전트에 제공하는 방법을 검토한다. 유사도 선택, familiarity, residual 주입과 행동 평가를 구분하며 중심 질문인 ‘과거 작업 기억이 에이전트를 더 낫게 하는가’는 미해결로 남는다. 이 결론을 모든 retrieval 설정으로 일반화하지 않는다.
모델·실험 안내에는 후속 연속 토큰/순환 상태 연구도 있다. fast weights가 합성 토큰 전이를 기억한 결과는 사람 대화에서 개인별 장기 기억이 유용하다는 증거가 아니다. 작업 초고 역시 특정 시점의 원고이며 최종 결론은 후속 정정과 함께 읽는다.
사람별 기억을 검증하는 대조
빈 상태보다 좋아졌다는 것만으로는 개인별 내용을 기억했다고 말할 수 없다. 자기 과거·빈 과거·타인의 과거·평균 상태를 바꿔 넣고 차이를 확인해야 한다.
고정 LM 실험은 test 96개에서 CE+대조 모델의 빈−자기 NLL +0.037, 타인−자기 약 +0.003을 기록했다. 사전 최소 유용 효과 +0.02에 미달해 채택하지 않았다. 읽기 경로 변경도 개인별 기준을 통과하지 못했다.
상태·읽기 진단에서는 평균 상태가 빈 상태 대비 자기 상태 이득의 약 97%를 재현했다. 큰 공통 상태 효과와 작은 개인별 효과를 구분하게 하는 관찰이다. 이 비율은 그 체크포인트·평가 집합에 한정된다.
사람 대화 E2E 기록의 요약문 지도학습 파일럿은 연구 목표와 달라 제외됐다는 정정을 포함한다. 기록된 테스트 개수는 당시 코드 회귀 확인이지 메모리의 유용성 점수가 아니다. 기억 텍스트, NO_MEMORY와 자동 반환 시점까지의 E2E 성공은 입증되지 않았다.
합성 과제는 무엇을 알려주나
양성 대조는 같은 읽기 구조로 단일 사실 회상이 가능함을 보였다. 모든 토큰 입력과 16토큰 간격 입력의 차이도 컸다. 실제 MSC 실패의 원인을 하나로 확정한 실험은 아니다.
후속 보고서는 저장·갱신·정정·장기 유지·어휘·전이와 회귀 복구를 분리해 기록한다. 아래 탐색기에서 STREAM_MEMORY_*_REPORT 문서를 읽으면 된다. 성능 수치뿐 아니라 ‘어떤 조건에서 실패했고 어떤 후보를 채택하지 않았는가’를 함께 보존했다.