Skip to content
Apothem
パイプラインコマンド

/research-design

/research-design —— 仮説を検証可能な予測へと操作化し、研究を設計(変数、対照、サンプル、検出力)したうえで、分析計画を事前登録として凍結する。

役割: 主任研究者(研究設計) パイプライン上の位置: 中段

仮説を検証可能な予測へと操作化し、研究または実験を設計します——変数、対照条件、実験単位、割り付けとマスキング、サンプル、計測器具、検出力分析、妥当性への脅威——そのうえで、データ収集の前に分析計画を凍結する事前登録を生成します。

標準的な呼び出し

/research-design

引数付き:

/research-design [--suite-name NAME]

入力

_inputs/proposal.md(前段階である /research-proposal からの記録計画)、_inputs/synthesis.md(SOTA マップ + ギャップ記述)、および _spec/research-spec.md(仮説)。

出力

_inputs/study-design.md(操作化された予測、変数の仕様、対照条件、実験単位、割り付けとマスキングの計画、サンプル、計測器具、検出力分析、妥当性への脅威)+ _inputs/preregistration.md(凍結された分析計画。合格基準を伴う対照条件、割り付けとマスキングの計画、欠測アウトカムの扱い、および中間解析を含む)。

下流

/research-experiment(下流の消費者)

ワークフローの各段階

このコマンドは標準的な /research パイプラインのワークフローに従います。

  1. コンテキストの読み込み —— 統合結果と仕様の仮説を読み取る。
  2. シーケンスゲートの検証 —— _inputs/proposal.md(および上流の _inputs/synthesis.md と _spec/research-spec.md)が存在することを確認する。さもなくば Blocked: run /research-proposal first で停止する。
  3. 研究の設計 —— 予測を操作化する。変数、対照条件、計測器具を規定する。実験単位、シード付きの割り付け、マスキング計画、実行順序を固定する。計画した分析に合わせてサンプルサイズを決める。妥当性への脅威を列挙する。
  4. 事前登録 —— いかなるデータ収集の前にも、分析計画、対照条件、割り付け、マスキングを凍結する。
  5. 引き継ぎマニフェストの更新 —— 研究設計と事前登録のパスを記録する。
  6. 設計の発出 —— _inputs/study-design.md + _inputs/preregistration.md。

構造とサンプルサイズ

  • 構造は分析ではなく設計で固定する。 設計では、実験単位と分析単位、シード付きのスケジュールを伴う割り付け手順と、単位が順次登録される場合はその隠蔽、誰がマスクされるか(またはマスキングが実行不可能な理由)、局外因子とそれぞれをどのようにブロック化・無作為化・固定するか、そして実行順序を明示します。実験が実行する比較対象と、陽性および陰性の対照を計画します。凍結後に追加された対照は、開示された逸脱となります。
  • 一因子ずつのスイープでは交互作用を示せない。 コンポーネントやパラメータの交互作用が疑われる場合、設計は疑わしい集合にわたる同時レイアウトを追加し、主張する交互作用を事前登録します。
  • 関心のある最小効果は仕様から得る。 それは、仕様の成功指標、または統合結果が根拠付ける実用的有意性の閾値にまで遡ります。先行研究で報告された効果は妥当な範囲の境界を定めるものであり、関心のある最小効果の代わりになることは決してありません。
  • 実行される分析に合わせてサンプルサイズを決める。 各主要主張の目標(優越性、非劣性、または同等性)と片側・両側の別は設計で固定され、それぞれが、宣言された補正のもとで残る検定ごとの閾値において、それ自身の関心のある最小効果に対して検出力を確保します。必要な N は妥当な効果にわたる範囲として報告されます。実現可能性によって N に上限がある場合は、その N で検出可能な最小効果を報告し、関心のある最小効果については検出力が確保されていないと明記します。
  • 余裕分とシミュレーション。 N は独立した単位を数え、クラスター内相関に応じて増やされます。収集目標は、記録された脱落率を通じて、分析対象の N から導かれます。計画した分析に一致する閉形式がない場合、検出力はシミュレーションによって推定し、ツール、バージョン、シード、モンテカルロ誤差を記録します。逐次的な規則は、その中間解析の回数と境界を事前登録で固定します。

厳密性の下限

比較を伴う研究では、設計は経験的下限を固定し、事前登録します。すなわち、比較されるすべての手法にわたる単一の統一予算(同等のウォールクロック時間、および意味がある場合は同等の評価回数)、確率的手法についてはインスタンスあたり少なくとも 30 回の反復、一度に 1 つのコンポーネントを無効化するアブレーション因子、各パラメータにわたる感度スイープ、そして訓練用分割での自動構成を互いに素なテスト用分割で評価すること。下限の深さは、対象とする発表先の野心に応じてスケールします。

失敗モード

症状原因回復
Blocked: run /research-proposal first記録計画がない/research-proposal を実行して _inputs/proposal.md を生成する
検出力不足の設計効果に対してサンプルが小さすぎる計画した分析について検出力分析を再実行する。サンプルサイズを調整するか、検出可能な最小効果を報告し、関心のある最小効果については検出力が確保されていないと明記する
構造が分析に委ねられている単位、割り付け、マスキング、または実行順序が設計で固定されていない設計と事前登録でそれらを固定する。レイアウトに組み込まれた交絡は、事後に適用するいかなる検定でも分離できない
先行研究の推定値が目標効果として使われている単一研究で報告された効果が、関心のある最小効果の代わりになっている目標を仕様の成功指標に根拠付ける。先行研究は範囲の境界を定めるためだけに使う
分析計画が凍結されていない事前登録がスキップされたデータ収集の前に _inputs/preregistration.md を作成する

例

# 研究を設計し、分析計画を事前登録する
/research-design --suite-name <name>

相互参照

On this page