Skip to content
Apothem
流水线命令

/research-design

/research-design —— 将假设操作化为可检验的预测并设计研究(变量、对照、样本、检验力),然后将分析计划冻结为一份预注册。

角色: 首席研究员(研究设计) 流水线位置: 链路中段

将假设操作化为可检验的预测,并设计研究或实验——变量、对照条件、实验单位、分配与盲法、样本、仪器、检验力分析、效度威胁——然后生成一份预注册,在数据收集之前冻结分析计划。

规范调用

/research-design

带参数:

/research-design [--suite-name NAME]

输入

_inputs/proposal.md(来自前序阶段 /research-proposal 的记录方案)、_inputs/synthesis.md(SOTA 图谱 + 缺口陈述)与 _spec/research-spec.md(假设)。

输出

_inputs/study-design.md(操作化的预测、变量规范、对照条件、实验单位、分配与盲法计划、样本、仪器、检验力分析、效度威胁)+ _inputs/preregistration.md(冻结的分析计划,包括对照条件及其通过标准、分配与盲法计划、缺失结局的处理,以及任何期中查看)。

下游

/research-experiment(下游消费方)

工作流阶段

该命令遵循标准的 /research 流水线工作流:

  1. 加载上下文 —— 读取综合结果与规范中的假设。
  2. 校验顺序门 —— 确认 _inputs/proposal.md(以及上游的 _inputs/synthesis.md 与 _spec/research-spec.md)存在;否则以 Blocked: run /research-proposal first 停止。
  3. 设计研究 —— 操作化预测;规定变量、对照条件与仪器;固定实验单位、带种子的分配、盲法计划与运行顺序;按计划的分析确定样本量;枚举效度威胁。
  4. 预注册 —— 在任何数据收集之前冻结分析计划、对照条件、分配与盲法。
  5. 更新交接清单 —— 记录研究设计与预注册的路径。
  6. 发出设计 —— _inputs/study-design.md + _inputs/preregistration.md。

结构与样本量

  • 结构在设计中固定,而非在分析中。 设计会指明实验单位与分析单位、分配程序及其带种子的分配表(以及当单位依次入组时的分配隐藏)、谁被施盲(或盲法为何不可行)、各干扰因素及其各自如何被区组化、随机化或保持恒定,以及运行顺序。它规划实验将执行的比较对象以及阳性和阴性对照。冻结之后才加入的对照属于一项需披露的偏离。
  • 单因素扫查无法显示交互作用。 若怀疑组件或参数之间存在交互作用,设计会在可疑集合上增加联合布局,并预注册其所声称的交互作用。
  • 最小关注效应来自规范。 它可追溯到规范的成功指标,或综合结果所支撑的实际显著性阈值。先前研究报告的效应只界定合理范围,绝不充当最小关注效应。
  • 按将要运行的分析确定样本量。 每项主要论断的目标(优效、非劣效或等效)及单双侧在设计中固定,且每项都按其自身的最小关注效应、在所声明的校正留下的每检验阈值下计算检验力。所需 N 以跨合理效应的范围报告;当可行性限制了 N 时,报告该 N 下的最小可检测效应,并声明最小关注效应未获足够检验力。
  • 余量与模拟。 N 统计的是独立单位,并按簇内相关进行放大;收集目标由分析 N 通过所记录的流失率得出。若没有与计划分析相匹配的闭式解,则通过模拟估计检验力,并记录工具、版本、种子和蒙特卡洛误差;序贯规则须在预注册中固定其查看次数和边界。

严谨性强制底线

对于承载对照的研究,设计会固定并预注册经验底线:所有受比较方法共用一份统一预算(等同的挂钟时间,并在有意义之处等同的评估次数),随机方法每个实例至少三十次重复,一个每次禁用一个组件的消融因子,对每个参数的敏感性扫查,以及在训练划分上自动配置、在互不相交的测试划分上评估。底线深度随目标发表场所的抱负而伸缩。

失败模式

症状原因恢复
Blocked: run /research-proposal first没有记录方案运行 /research-proposal 以生成 _inputs/proposal.md
检验力不足的设计样本量对效应而言太小针对计划的分析重新运行检验力分析;调整样本量,或报告最小可检测效应并声明最小关注效应未获足够检验力
结构被留给分析单位、分配、盲法或运行顺序未在设计中固定在设计与预注册中固定它们;事后施加的任何检验都无法分离布局本身造成的混杂
将先前估计用作目标效应单项研究报告的效应充当了最小关注效应将目标建立在规范的成功指标之上;仅用先前研究来界定范围
分析计划未冻结预注册被跳过在数据收集之前撰写 _inputs/preregistration.md

示例

# 设计研究并预注册分析计划
/research-design --suite-name <name>

交叉引用

On this page