/research-experiment
/research-experiment — 설계된 연구를 실행하고 완전한 출처를 갖춘 원시 데이터를 캡처하며, 재현성 매니페스트(환경, 시드, 프로토콜, 버전 고정)를 함께 생성합니다.
역할: 책임 연구원(실행) 파이프라인 위치: 체인 중간
설계된 연구 또는 실험을 실행하고 완전한 출처를 갖춘 원시 데이터를 캡처합니다. 재현성을 보장합니다. 독립적인 제3자가 다시 실행할 수 있도록 환경, 시드, 프로토콜 로그, 버전 고정을 기록합니다.
표준 호출
/research-experiment인수와 함께:
/research-experiment [--suite-name NAME]입력
_inputs/study-design.md(설계)와 _inputs/preregistration.md(고정된 분석 계획).
출력
_outputs/experiment-log.md(타임스탬프가 찍힌 프로토콜 추적과 자율 캠페인의 종료 기록), 호스트에 자연스러운 위치의 원시 데이터, 그리고 _outputs/reproducibility-manifest.md(환경, 시드, 프로토콜, 버전 고정).
다운스트림
/research-analysis(다운스트림 소비자)
워크플로 단계
이 명령은 표준 /research 파이프라인 워크플로를 따릅니다.
- 컨텍스트 로드 — 연구 설계와 사전 등록을 읽습니다.
- 순서 게이트 검증 —
_inputs/study-design.md가 존재하는지 확인합니다. 그렇지 않으면Blocked: run /research-design first로 중단합니다. - 실행 및 기록 — 프로토콜을 실행하고, 출처와 함께 원시 데이터를 캡처하며, 타임스탬프가 찍힌 프로토콜 추적을 기록합니다.
- 재현성 캡처 — 환경, 시드, 프로토콜, 버전 고정을 기록합니다.
- 핸드오프 매니페스트 업데이트 — 데이터 위치와 재현성 매니페스트를 기록합니다.
- 로그 발행 —
_outputs/experiment-log.md+ 원시 데이터 +_outputs/reproducibility-manifest.md.
최저 엄밀성 기준
실행은 예산과 범위를 보정하기 위한 예비 패스를 먼저 수행한 다음, 선언된 컴퓨트 활용 계획(코어 할당, 메모리 상한, 독립 반복의 안전한 병렬화) 아래에서 전체 비교를 수행합니다. 각 확률적 방법은 시드를 기록하고 하드웨어를 로깅한 채로 사전 등록된 반복 체제를 실행합니다. 옵트인, 기본 꺼짐의 자율 실험 루프를 사용할 수 있습니다. 동결된 하니스에 대해 단일 가변 대상에 대한 변경을 제안하고, 각 실행 전에 반증 가능한 예측을 진술하며, 고정된 예산에서 실행합니다. 주 지표는 실행 로그에서 두 가지 신호로 읽습니다: 루프를 조종하는 탐색 신호, 그리고 분리된 집합에서 나오는 채택 신호로, 후자는 변경이 유지되기 전에 이를 확인하거나 기각합니다. 변경은 탐색 단계를 통과한 다음, 채택에서 현직(incumbent)을 명시된 잡음 여유보다 크게 능가해야 합니다(또는 복잡성을 줄이면서 동률이어야 합니다). 모든 시도는 저널링되며 모든 채택 질의는 계수되고 공개됩니다.
손대지 않은 최종 집합은 종료 시점에 한 번 평가됩니다. 그러한 집합이 없는 캠페인은 그 결과를 선택 오염된 탐색적 결과로 표시하며, 캠페인이 보고하는 모든 수치는 위의 반복 체제 아래에서 다시 측정됩니다. 운영자는 대상, 하니스, 지표, 평가 집합, 채택 규칙, 예산, 작업 공간을 한 번 확인하며 중지 기준을 정할 수 있습니다. 중지 시 종료 기록(시도, 유지, 폐기, 충돌, 채택 질의 수, 기준선 대비 향상, 손대지 않은 집합의 결과)이 실험 로그에 들어가므로 분석 단계가 루프가 선택한 결과를 분류할 수 있습니다.
실패 모드
| 증상 | 원인 | 복구 |
|---|---|---|
| Blocked: run /research-design first | 연구 설계 없음 | /research-design을 실행하여 _inputs/study-design.md를 생성합니다 |
| 실행을 재현할 수 없음 | 시드 / 환경 기록 누락 | 진행하기 전에 완전한 재현성 매니페스트를 기록합니다 |
| 프로토콜 편차가 문서화되지 않음 | 실행 중간의 변경이 기록되지 않음 | 실험 로그에 편차를 기록하고 분석 시 공개합니다 |
| 루프 결과가 확증적인 것으로 제시됨 | 루프가 채택 집합으로 조종했거나, 종료 시 손대지 않은 집합을 읽지 않음 | 결과를 선택 오염된 탐색적 결과로 표시합니다. 탐색 신호는 조종하고, 채택 신호는 결정하며, 손대지 않은 집합은 한 번 읽습니다 |
예시
# 설계된 연구를 실행하고 재현 가능한 원시 데이터를 캡처합니다
/research-experiment --suite-name <name>