/research-analysis

Роль: Главный исследователь (анализ) Позиция в конвейере: середина цепочки

Анализирует исходные данные согласно предзарегистрированному плану — выполняет запланированные статистические тесты на независимой единице анализа, сообщает размеры эффекта с доверительными интервалами (достоверными интервалами при байесовском плане; не только p-значения), применяет поправку на множественные сравнения там, где это уместно, указывает, как обрабатывались пропущенные данные, выполняет проверки устойчивости / чувствительности и раскрывает каждое отклонение от предрегистрации.

Каноническое обращениеCopy Anchor Link

/research-analysis

С аргументами:

/research-analysis [--suite-name NAME] [--override] [--correction METHOD] [--alpha LEVEL]

Входные данныеCopy Anchor Link

Исходные данные в естественном для хоста месте, записанном этапом эксперимента, плюс _inputs/preregistration.md (замороженный план анализа).

Выходные данныеCopy Anchor Link

_outputs/analysis.md (предзарегистрированные тесты с размерами эффекта, ДИ, единицей анализа и суждением о систематической ошибке по каждому домену для каждого ключевого результата; поправка на множественные сравнения; обработка пропущенных данных; проверки устойчивости; и раскрытые отклонения) + рисунки / таблицы в естественном для хоста месте.

Ниже по потокуCopy Anchor Link

/research-paper (потребитель ниже по потоку)

Фазы рабочего процессаCopy Anchor Link

Команда следует стандартному рабочему процессу конвейера /research:

1. Загрузить контекст — Прочитать исходные данные и предрегистрацию.
2. Проверить Шлюз последовательности — Подтвердить, что выходные данные эксперимента существуют; иначе остановиться с Blocked: run /research-experiment first.
3. Проанализировать — Выполнить предзарегистрированные тесты на независимой единице анализа; диагностировать допущения, не позволяя диагностике выбирать тест; сообщить размеры эффекта + ДИ; внести поправку на множественные сравнения; указать обработку пропущенных данных; выполнить проверки устойчивости / чувствительности.
4. Раскрыть отклонения — Зафиксировать каждое отступление от предзарегистрированного плана. Переход к запасному варианту, который называет предрегистрация, записывается как запланированная адаптация; любая другая замена — это отклонение.
5. Обновить манифест передачи — Зафиксировать путь анализа и рисунки / таблицы.
6. Выпустить анализ — _outputs/analysis.md + рисунки / таблицы.

Статистическая дисциплинаCopy Anchor Link

• Тест следует за проектом. Предзарегистрированный основной тест остаётся в силе, если только не срабатывает собственный триггер запасного варианта предрегистрации; скрининговый тест, не отвергший гипотезу, не показывает, что допущение выполняется.
• n считает независимые единицы. Повторные измерения, подвыборки, кластеры и сиды агрегируются до единицы или моделируются как зависимость и никогда не считаются независимыми повторениями.
• Нулевой результат читается тремя способами. Интервал размера эффекта, результат проверки эквивалентности относительно наименьшего интересующего эффекта и утверждение о чувствительности (наименьший эффект, обнаружимый при достигнутом анализируемом n) сообщаются вместе. Мощность, вычисленная по наблюдаемому эффекту, никогда не сообщается.
• Байесовские планы на их собственных условиях. Предзарегистрированный байесовский план сообщает апостериорную сводку с её достоверным интервалом, выполняет проверки чувствительности к априорному распределению, вычислительной диагностики и апостериорно-предсказательные проверки до того, как будет сообщено какое-либо апостериорное распределение, и использует заранее зафиксированную область практической эквивалентности для нулевых результатов.
• Систематическая ошибка на уровне результата и рисунки. Каждый ключевой результат несёт суждение low / some-concerns / high по каждому домену, исходно заполненное из реестра угроз валидности проекта и никогда не суммируемое в одну оценку, и каждый рисунок соответствует нижней границе кодирования, раскрытия неопределённости и доступности.

Нижняя граница строгостиCopy Anchor Link

Стохастический метод запускается не менее чем на тридцати независимых повторениях для каждого экземпляра или условия, а при широком разбросе между повторениями относительно тестируемых различий — на большем их числе, пока сводные статистики не стабилизируются. Его результаты сообщаются как лучшее, среднее, медиана, стандартное отклонение и худшее значение по повторениям, с кривыми сходимости и графиками распределения. Сравнения используют непараметрические тесты — парный тест знаковых рангов попарно, омнибусный ранговый тест с апостериорной поправкой между методами — сообщаемые с размером эффекта стохастического превосходства и диаграммой критической разности. Результат попадает в статью только тогда, когда проходит шлюз продвижения: он убедительно и значимо превосходит свои компараторы, а прохождение фиксируется в проверяемом руководстве (runbook).

Режимы отказаCopy Anchor Link

ПримерыCopy Anchor Link

# Проанализировать исходные данные согласно предзарегистрированному плану
/research-analysis --suite-name my-study

Перекрёстные ссылкиCopy Anchor Link

• Обзор конвейера
• Справочник команд