流水线命令
/research-analysis
/research-analysis——按照预注册计划分析原始数据:计划内的检验、带置信区间的效应量、稳健性检查,以及已披露的偏离。
角色: 首席研究者(分析) 流水线位置: 链路中段
按照预注册计划分析原始数据——在独立分析单位上运行计划内的统计检验,报告带置信区间的效应量(贝叶斯计划下为可信区间;而非仅有 p 值),在适用之处应用多重比较校正,说明缺失数据的处理方式,运行稳健性/敏感性检查,并披露与预注册的每一处偏离。
规范调用
/research-analysis带参数:
/research-analysis [--suite-name NAME] [--override] [--correction METHOD] [--alpha LEVEL]输入
实验阶段在宿主自然位置记录的原始数据,外加 _inputs/preregistration.md(冻结的分析计划)。
输出
_outputs/analysis.md(带效应量、置信区间、分析单位以及每项主要结果逐领域偏倚判断的预注册检验;多重比较校正;缺失数据的处理;稳健性检查;以及已披露的偏离)+宿主自然位置的图表/表格。
下游
/research-paper(下游消费者)
工作流阶段
该命令遵循标准的 /research 流水线工作流:
- 加载上下文——读取原始数据和预注册。
- 验证序列门——确认实验输出已存在;否则以
Blocked: run /research-experiment first停止。 - 分析——在独立分析单位上运行预注册的检验;诊断假设,但不让诊断结果来选择检验;报告效应量+置信区间;对多重比较进行校正;说明缺失数据的处理;运行稳健性/敏感性检查。
- 披露偏离——记录与预注册计划的每一处偏差。转向预注册所指明的备选方案记为计划内的调整;任何其他替换均属偏离。
- 更新交接清单——记录分析路径和图表/表格。
- 发出分析——
_outputs/analysis.md+图表/表格。
统计规范
- 检验服从设计。 除非预注册自身的备选触发条件被触发,否则预注册的主要检验保持不变;未能拒绝原假设的筛查检验并不能表明某项假设成立。
- n 统计的是独立单位。 重复测量、子样本、簇和种子会聚合到单位层面,或建模为相依性,绝不计为独立重复。
- 零结果从三个方面解读。 效应量区间、相对于最小关注效应的等效性结果,以及一项敏感性陈述(在实际分析的 n 下可检测到的最小效应)会一并报告。绝不报告由观测效应计算出的检验力。
- 贝叶斯计划按其自身规则执行。 预注册的贝叶斯计划报告后验摘要及其可信区间,在报告任何后验之前运行先验敏感性、计算诊断和后验预测检查,并对零结果使用预先固定的实际等效区域。
- 结果层面的偏倚与图表。 每项主要结果都带有逐领域的低/存在一定担忧/高判断,以设计的效度威胁台账为起点,且绝不加总为单一分数;每张图表都满足编码、不确定性披露和可访问性底线。
严谨性强制底线
随机方法在每个实例或每种条件下至少独立重复运行三十次;当各次重复之间的离散程度相对于待检验的差异较大时,则运行更多次,直至汇总统计量趋于稳定。其结果以跨重复的最佳值、平均值、中位数、标准差和最差值报告,并附收敛曲线与分布图。比较使用非参数检验——两两之间用配对符号秩检验,跨方法则用带事后校正的总体秩检验——并报告随机优越性效应量与临界差异图。只有当一个结果通过晋级闸门(即它令人信服且显著地优于其对照方法,且这一通过情况记入了一份可审计的执行手册)时,才会进入论文。
失败模式
| 症状 | 原因 | 恢复 |
|---|---|---|
| Blocked: run /research-experiment first | 没有原始数据 | 运行 /research-experiment 以产出数据+日志 |
| 报告了 p 值但没有效应量 | 统计报告不完整 | 报告效应量+置信区间 |
| 相依观测被计为重复 | 重复测量、子样本、簇或种子被视为独立 | 聚合到独立单位或对相依性建模;n 统计的是单位 |
| 为零结果报告了观测检验力 | 检验力由观测效应计算得出 | 删除该检验力;报告区间、等效性结果和敏感性陈述 |
| 未披露的分析偏离 | 计划被悄然偏离 | 披露相对于预注册的偏离 |
示例
# 依据预注册计划分析原始数据
/research-analysis --suite-name my-study