/research-analysis
/research-analysis — 사전 등록된 계획에 따라 원시 데이터를 분석합니다: 계획된 검정, 신뢰 구간이 포함된 효과 크기, 견고성 검사, 공개된 이탈.
역할: 책임 연구자(분석) 파이프라인 위치: 체인 중간
사전 등록된 계획에 따라 원시 데이터를 분석합니다 — 독립적인 분석 단위에 대해 계획된 통계 검정을 실행하고, 신뢰 구간이 포함된 효과 크기를 보고하며(베이지안 계획에서는 신용 구간, p 값만이 아니라), 해당하는 경우 다중 비교 보정을 적용하고, 결측 데이터를 어떻게 처리했는지 명시하며, 견고성 / 민감도 검사를 실행하며, 사전 등록으로부터의 모든 이탈을 공개합니다.
표준 호출
/research-analysis인수와 함께:
/research-analysis [--suite-name NAME] [--override] [--correction METHOD] [--alpha LEVEL]입력
실험 단계가 기록한, 호스트에 자연스러운 위치의 원시 데이터, 그리고 _inputs/preregistration.md(고정된 분석 계획).
출력
_outputs/analysis.md(각 주요 결과에 대한 효과 크기, 신뢰 구간, 분석 단위, 영역별 비뚤림 판정이 포함된 사전 등록 검정, 다중 비교 보정, 결측 데이터 처리, 견고성 검사, 공개된 이탈) + 호스트에 자연스러운 위치의 그림 / 표.
하류
/research-paper(하류 소비자)
워크플로 단계
이 명령은 표준 /research 파이프라인 워크플로를 따릅니다:
- 컨텍스트 로드 — 원시 데이터와 사전 등록을 읽습니다.
- 시퀀스 게이트 검증 — 실험 출력이 존재하는지 확인합니다. 그렇지 않으면
Blocked: run /research-experiment first로 중단합니다. - 분석 — 독립적인 분석 단위에 대해 사전 등록된 검정을 실행합니다. 가정을 진단하되 진단이 검정을 선택하게 하지 않습니다. 효과 크기 + 신뢰 구간을 보고합니다. 다중 비교를 보정합니다. 결측 데이터 처리를 명시합니다. 견고성 / 민감도 검사를 실행합니다.
- 이탈 공개 — 사전 등록된 계획으로부터의 모든 이탈을 기록합니다. 사전 등록이 명시한 대체 방법으로의 전환은 계획된 조정으로 기록되며, 그 밖의 모든 대체는 이탈입니다.
- 핸드오프 매니페스트 업데이트 — 분석 경로와 그림 / 표를 기록합니다.
- 분석 발행 —
_outputs/analysis.md+ 그림 / 표.
통계적 규율
- 검정은 설계를 따릅니다. 사전 등록된 주 검정은 사전 등록 자체의 대체 트리거가 작동하지 않는 한 유지됩니다. 기각에 실패한 선별 검정이 가정이 성립함을 보여 주지는 않습니다.
- n은 독립 단위를 셉니다. 반복 측정, 하위 표본, 군집, 시드는 단위로 집계되거나 종속성으로 모형화되며, 결코 독립적인 반복으로 세지 않습니다.
- 귀무 결과는 세 가지 방식으로 읽습니다. 효과 크기 구간, 최소 관심 효과에 대한 동등성 결과, 그리고 민감도 진술(달성된 분석 n에서 탐지 가능한 최소 효과)을 함께 보고합니다. 관찰된 효과로부터 계산한 검정력은 결코 보고하지 않습니다.
- 베이지안 계획은 그 자체의 기준으로. 사전 등록된 베이지안 계획은 신용 구간과 함께 사후 요약을 보고하고, 어떤 사후 분포를 보고하기 전에 사전 분포 민감도, 계산 진단, 사후 예측 점검을 실행하며, 귀무 결과에는 미리 고정된 실질적 동등성 영역을 사용합니다.
- 결과 수준의 비뚤림과 그림. 각 주요 결과는 영역마다 낮음 / 일부 우려 / 높음 판정을 지니며, 이는 설계의 타당도 위협 원장에서 출발하고 결코 하나의 점수로 합산되지 않습니다. 모든 그림은 인코딩, 불확실성 공개, 접근성 하한을 충족합니다.
최저 엄밀성 기준
확률적 방법은 인스턴스 또는 조건마다 최소 30회 독립적으로 반복 실행하며, 반복 간 분산이 검정 대상 차이에 비해 클 때에는 요약 통계가 안정될 때까지 더 많이 실행합니다. 결과는 반복 전체에 걸친 최선, 평균, 중앙값, 표준 편차, 최악으로 보고하며, 수렴 곡선과 분포 플롯을 함께 제시합니다. 비교에는 비모수 검정을 사용합니다 — 쌍별로는 짝지은 부호 순위 검정을, 여러 방법에 걸쳐서는 사후 보정을 동반한 옴니버스 순위 검정을 사용하며, 확률적 우월성 효과 크기와 임계 차이(critical-difference) 도표와 함께 보고합니다. 결과는 진출 게이트를 통과할 때에만 논문으로 넘어갑니다. 즉, 비교 대상들을 설득력 있게, 그리고 유의하게 능가해야 하며, 그 통과 사실이 감사 가능한 런북에 기록되어야 합니다.
실패 모드
| 증상 | 원인 | 복구 |
|---|---|---|
| Blocked: run /research-experiment first | 원시 데이터 없음 | /research-experiment를 실행하여 데이터 + 로그를 생성합니다 |
| 효과 크기 없이 p 값이 보고됨 | 통계 보고가 불완전함 | 효과 크기 + 신뢰 구간을 보고합니다 |
| 종속 관측치가 반복으로 계산됨 | 반복 측정, 하위 표본, 군집 또는 시드가 독립적인 것으로 취급됨 | 독립 단위로 집계하거나 종속성을 모형화합니다. n은 단위를 셉니다 |
| 귀무 결과에 대해 관찰 검정력이 보고됨 | 관찰된 효과로부터 검정력을 계산함 | 이를 삭제하고, 구간, 동등성 결과, 민감도 진술을 보고합니다 |
| 공개되지 않은 분석 이탈 | 계획이 조용히 이탈함 | 사전 등록에 대한 이탈을 공개합니다 |
예제
# 사전 등록된 계획에 따라 원시 데이터를 분석합니다
/research-analysis --suite-name my-study