/research-experiment
/research-experiment — Выполняет спроектированное исследование и фиксирует сырые данные с полным происхождением, а также манифест воспроизводимости (окружение, семя, протокол, закреплённые версии).
Роль: Главный исследователь (выполнение) Позиция в конвейере: середина цепочки
Выполняет спроектированное исследование или эксперимент и фиксирует сырые данные с полным происхождением. Гарантирует воспроизводимость: записывает окружение, семя, журнал протокола и закреплённые версии, чтобы независимая сторона могла повторить запуск.
Каноническая команда
/research-experimentС аргументами:
/research-experiment [--suite-name NAME]Входные данные
_inputs/study-design.md (проект) и _inputs/preregistration.md (зафиксированный план анализа).
Выходные данные
_outputs/experiment-log.md (трасса протокола с временными метками плюс итоговая запись автономной кампании), сырые данные в естественном для хоста месте и _outputs/reproducibility-manifest.md (окружение, семя, протокол, закреплённые версии).
Ниже по потоку
/research-analysis (потребитель ниже по потоку)
Фазы рабочего процесса
Команда следует стандартному рабочему процессу конвейера /research:
- Загрузить контекст — Прочитать проект исследования и предварительную регистрацию.
- Проверить шлюз последовательности — Подтвердить, что
_inputs/study-design.mdсуществует; иначе остановиться сBlocked: run /research-design first. - Выполнить и записать — Выполнить протокол; зафиксировать сырые данные с происхождением; записать трассу протокола с временными метками.
- Зафиксировать воспроизводимость — Записать окружение, семя, протокол и закреплённые версии.
- Обновить манифест передачи — Записать расположение данных и манифест воспроизводимости.
- Выпустить журнал —
_outputs/experiment-log.md+ сырые данные +_outputs/reproducibility-manifest.md.
Нижняя граница строгости
Выполнение запускает пилотный проход для калибровки бюджетов и диапазонов, затем полное сравнение по заявленному плану использования вычислений (распределение ядер, потолки памяти, безопасное распараллеливание независимых повторений). Каждый стохастический метод выполняет свой предрегистрированный режим повторений с записанными семенами и залогированным оборудованием. Доступен подключаемый, по умолчанию выключенный автономный цикл эксперимента. Против замороженной оснастки он предлагает изменение единственной изменяемой цели, формулирует фальсифицируемое предсказание перед каждым запуском и запускает его при фиксированном бюджете. Основная метрика считывается из журнала запуска как два сигнала: поисковый сигнал, который направляет цикл, и сигнал допуска с непересекающегося набора, который подтверждает или отвергает изменение до того, как оно будет сохранено: изменение должно пройти поисковый этап, а затем превзойти действующего лидера по допуску более чем на заявленный запас шума (или сравняться с ним, снижая сложность). Каждая попытка журналируется, а каждый запрос допуска подсчитывается и раскрывается.
Финальный нетронутый набор оценивается один раз, при завершении. Кампания без такого набора помечает свой результат как загрязнённый отбором и разведочный, а любая цифра, которую сообщает кампания, повторно измеряется в режиме повторений, описанном выше. Оператор один раз подтверждает цель, оснастку, метрику, наборы оценки, правило принятия, бюджет и рабочее пространство и может зафиксировать критерии остановки; при остановке итоговая запись (счётчики попыток, сохранений, отбрасываний, сбоев и запросов допуска, прирост относительно базовой линии и результат на нетронутом наборе) попадает в журнал эксперимента, чтобы этап анализа мог классифицировать результат, отобранный циклом.
Режимы сбоев
| Симптом | Причина | Восстановление |
|---|---|---|
| Blocked: run /research-design first | Нет проекта исследования | Выполните /research-design, чтобы создать _inputs/study-design.md |
| Запуск не воспроизводим | Отсутствует запись семени / окружения | Запишите полный манифест воспроизводимости перед продолжением |
| Отклонение от протокола не задокументировано | Изменение в ходе запуска не записано | Запишите отклонение в журнале эксперимента; раскройте его при анализе |
| Результат цикла представлен как подтверждающий | Цикл направлялся по своему набору допуска, или нетронутый набор не был прочитан при завершении | Пометьте результат как загрязнённый отбором и разведочный; поисковый сигнал направляет, сигнал допуска решает, а нетронутый набор читается один раз |
Примеры
# Выполните спроектированное исследование и зафиксируйте воспроизводимые сырые данные
/research-experiment --suite-name <name>Перекрёстные ссылки
/research-design
/research-design — Операционализирует гипотезы в проверяемые предсказания и проектирует исследование (переменные, контроли, выборка, мощность), затем замораживает план анализа в виде предрегистрации.
/research-analysis
/research-analysis — Анализирует исходные данные согласно предзарегистрированному плану: запланированные тесты, размеры эффекта с доверительными интервалами, проверки устойчивости и раскрытые отклонения.