/research-experiment
/research-experiment — 設計された研究を実行し、完全な来歴を備えた生データに加えて、再現性マニフェスト(環境・シード・プロトコル・バージョン固定)を取得します。
役割: 主任研究者(実行) パイプライン上の位置: 中段
設計された研究または実験を実行し、完全な来歴を備えた生データを取得します。再現性を保証します。独立した第三者が再実行できるよう、環境、シード、プロトコルログ、バージョン固定を記録します。
標準的な呼び出し
/research-experiment引数付き:
/research-experiment [--suite-name NAME]入力
_inputs/study-design.md(設計)と _inputs/preregistration.md(凍結された分析計画)。
出力
_outputs/experiment-log.md(タイムスタンプ付きのプロトコルトレースに加えて、自律キャンペーンの締めくくりの記録)、ホストにとって自然な場所に置かれた生データ、そして _outputs/reproducibility-manifest.md(環境、シード、プロトコル、バージョン固定)。
下流
/research-analysis(下流の消費者)
ワークフローのフェーズ
このコマンドは標準的な /research パイプラインのワークフローに従います。
- コンテキストの読み込み —— 研究設計と事前登録を読み込みます。
- シーケンスゲートの検証 ——
_inputs/study-design.mdが存在することを確認します。存在しない場合はBlocked: run /research-design firstで停止します。 - 実行と記録 —— プロトコルを実行し、来歴付きで生データを取得し、タイムスタンプ付きのプロトコルトレースを記録します。
- 再現性の取得 —— 環境、シード、プロトコル、バージョン固定を記録します。
- 引き継ぎマニフェストの更新 —— データの場所と再現性マニフェストを記録します。
- ログの発行 ——
_outputs/experiment-log.md+ 生データ +_outputs/reproducibility-manifest.md。
厳密性の下限
実行はまず、予算と範囲を較正するためのパイロットパスを走らせ、次に、宣言された計算利用計画(コア割り当て、メモリ上限、独立した反復の安全な並列化)のもとで完全な比較を実行します。各確率的手法は、記録されたシードとログ化されたハードウェアのもとで、事前登録された反復レジームを実行します。オプトイン・デフォルトオフの自律実験ループも利用できます。凍結されたハーネスに対して、単一の可変対象への変更を提案し、各実行の前に反証可能な予測を述べ、それを固定予算で実行します。主要指標は実行ログから 2 つのシグナルとして読み取られます。ループを導く探索シグナルと、互いに素なセットから得られる採択シグナルであり、後者は変更が保持される前にそれを確認または却下します。変更はまず探索段階を通過し、そのうえで採択において、明示されたノイズマージンを超えて現行のものを上回る(または複雑さを減らしつつ同等である)必要があります。すべての試行が記録され、すべての採択クエリが数えられて開示されます。
手を付けていない最終セットは、締めくくりの時点で一度だけ評価されます。そのようなセットを持たないキャンペーンは、その結果を選択汚染された探索的なものとして表示し、キャンペーンが報告するあらゆる数値は上記の反復レジームのもとで再測定されます。オペレーターは対象、ハーネス、指標、評価セット、受け入れ規則、予算、ワークスペースを一度確認し、停止基準を固定することもできます。停止時には、締めくくりの記録(試行、保持、破棄、クラッシュ、採択クエリの件数、ベースラインに対する改善、および手を付けていないセットでの結果)が実験ログに入り、分析ステージがループによって選択された結果を分類できるようにします。
失敗モード
| 症状 | 原因 | 回復 |
|---|---|---|
| Blocked: run /research-design first | 研究設計がない | /research-design を実行して _inputs/study-design.md を生成する |
| 実行が再現不可能 | シード/環境の記録が欠落 | 続行する前に完全な再現性マニフェストを記録する |
| プロトコルの逸脱が未記録 | 実行途中の変更が記録されていない | 実験ログに逸脱を記録し、分析時に開示する |
| ループの結果が検証的なものとして提示されている | ループが採択セットに基づいて導かれた、または締めくくりの時点で手を付けていないセットが読まれなかった | 結果を選択汚染された探索的なものとして表示する。探索シグナルが導き、採択シグナルが決定し、手を付けていないセットは一度だけ読む |
例
# 設計された研究を実行し、再現可能な生データを取得する
/research-experiment --suite-name <name>