Skip to content
Apothem
Pipeline-Befehle

/research-analysis

/research-analysis — Analysiert die Rohdaten gemäß dem präregistrierten Plan: geplante Tests, Effektstärken mit Konfidenzintervallen, Robustheitsprüfungen und offengelegte Abweichungen.

Rolle: Leitender Forscher (Analyse) Pipeline-Position: Kettenmitte

Analysiert die Rohdaten gemäß dem präregistrierten Plan — führt die geplanten statistischen Tests auf der unabhängigen Analyseeinheit aus, berichtet Effektstärken mit Konfidenzintervallen (Glaubwürdigkeitsintervallen bei einem bayesianischen Plan; nicht nur p-Werte), wendet die Korrektur für multiple Vergleiche an, wo zutreffend, gibt an, wie mit fehlenden Daten umgegangen wurde, führt Robustheits- / Sensitivitätsprüfungen durch und legt jede Abweichung von der Präregistrierung offen.

Kanonischer Aufruf

/research-analysis

Mit Argumenten:

/research-analysis [--suite-name NAME] [--override] [--correction METHOD] [--alpha LEVEL]

Eingaben

Die Rohdaten am host-natürlichen Ort, den die Experiment-Stufe aufgezeichnet hat, plus _inputs/preregistration.md (der eingefrorene Analyseplan).

Ausgaben

_outputs/analysis.md (die präregistrierten Tests mit Effektstärken, KIs, Analyseeinheit und einem Verzerrungsurteil pro Domäne für jedes Hauptergebnis; die Korrektur für multiple Vergleiche; der Umgang mit fehlenden Daten; die Robustheitsprüfungen; und die offengelegten Abweichungen) + Abbildungen / Tabellen an einem host-natürlichen Ort.

Nachgelagert

/research-paper (nachgelagerter Konsument)

Workflow-Phasen

Der Befehl folgt dem standardmäßigen /research-Pipeline-Workflow:

  1. Kontext laden — Die Rohdaten und die Präregistrierung lesen.
  2. Das Sequenz-Gate prüfen — Bestätigen, dass die Experiment-Ausgaben vorhanden sind; andernfalls mit Blocked: run /research-experiment first anhalten.
  3. Analysieren — Die präregistrierten Tests auf der unabhängigen Analyseeinheit ausführen; Annahmen diagnostizieren, ohne die Diagnostik den Test wählen zu lassen; Effektstärken + KIs berichten; für multiple Vergleiche korrigieren; den Umgang mit fehlenden Daten angeben; Robustheits- / Sensitivitätsprüfungen durchführen.
  4. Abweichungen offenlegen — Jede Abweichung vom präregistrierten Plan festhalten. Ein Wechsel zu einer Ausweichlösung, die die Präregistrierung benennt, wird als geplante Anpassung protokolliert; jede andere Ersetzung ist eine Abweichung.
  5. Das Übergabe-Manifest aktualisieren — Den Analysepfad und die Abbildungen / Tabellen festhalten.
  6. Die Analyse ausgeben — _outputs/analysis.md + Abbildungen / Tabellen.

Statistische Disziplin

  • Der Test folgt dem Design. Der präregistrierte primäre Test bleibt bestehen, sofern nicht der eigene Ausweich-Auslöser der Präregistrierung greift; ein Screening-Test, der nicht verwirft, zeigt nicht, dass eine Annahme zutrifft.
  • n zählt unabhängige Einheiten. Wiederholte Messungen, Teilstichproben, Cluster und Seeds werden auf die Einheit aggregiert oder als Abhängigkeit modelliert, nie als unabhängige Replikate gezählt.
  • Ein Nullergebnis wird auf drei Arten gelesen. Das Effektstärkeintervall, das Äquivalenzergebnis gegenüber dem kleinsten interessierenden Effekt und eine Sensitivitätsaussage (der kleinste Effekt, der beim erreichten analysierten n nachweisbar ist) werden gemeinsam berichtet. Eine aus dem beobachteten Effekt berechnete Teststärke wird nie berichtet.
  • Bayesianische Pläne nach ihren eigenen Maßstäben. Ein präregistrierter bayesianischer Plan berichtet die Posterior-Zusammenfassung mit ihrem Glaubwürdigkeitsintervall, führt Prior-Sensitivitäts-, Berechnungsdiagnose- und Posterior-Predictive-Prüfungen durch, bevor irgendein Posterior berichtet wird, und verwendet für Nullergebnisse eine vorab festgelegte Region praktischer Äquivalenz.
  • Verzerrung auf Ergebnisebene und Abbildungen. Jedes Hauptergebnis trägt ein Urteil niedrig / einige Bedenken / hoch pro Domäne, ausgehend vom Register der Validitätsbedrohungen des Designs und nie zu einer einzigen Punktzahl summiert, und jede Abbildung erfüllt die Untergrenze für Codierung, Offenlegung der Unsicherheit und Barrierefreiheit.

Rigorositätsuntergrenze

Ein stochastisches Verfahren wird für mindestens dreißig unabhängige Wiederholungen pro Instanz oder Bedingung ausgeführt, bei großer Streuung über die Wiederholungen im Verhältnis zu den geprüften Unterschieden auch häufiger, bis die zusammenfassenden Statistiken stabil sind. Seine Ergebnisse werden als bestes, mittleres, medianes, Standardabweichungs- und schlechtestes Ergebnis über die Wiederholungen hinweg berichtet, mit Konvergenzkurven und Verteilungsdiagrammen. Vergleiche verwenden nichtparametrische Tests — einen gepaarten Vorzeichen-Rang-Test paarweise, einen Omnibus-Rangtest mit Post-hoc-Korrektur über Methoden hinweg — berichtet mit einer Effektstärke der stochastischen Überlegenheit und einem Diagramm der kritischen Differenz. Ein Ergebnis rückt nur dann ins Paper vor, wenn es das Vorrückungs-Gate durchläuft: Es schlägt seine Vergleichsverfahren überzeugend und signifikant, und die Freigabe wird in einem auditierbaren Runbook protokolliert.

Fehlermodi

SymptomUrsacheBehebung
Blocked: run /research-experiment firstKeine Rohdaten/research-experiment ausführen, um die Daten + das Protokoll zu erzeugen
p-Wert ohne Effektstärke berichtetUnvollständige statistische BerichterstattungEffektstärken + Konfidenzintervalle berichten
Abhängige Beobachtungen als Replikate gezähltWiederholte Messungen, Teilstichproben, Cluster oder Seeds als unabhängig behandeltAuf die unabhängige Einheit aggregieren oder die Abhängigkeit modellieren; n zählt Einheiten
Beobachtete Teststärke für ein Nullergebnis berichtetTeststärke aus dem beobachteten Effekt berechnetSie streichen; das Intervall, das Äquivalenzergebnis und die Sensitivitätsaussage berichten
Nicht offengelegte AnalyseabweichungDer Plan wich stillschweigend abDie Abweichung von der Präregistrierung offenlegen

Beispiele

# Die Rohdaten gemäß dem präregistrierten Plan analysieren
/research-analysis --suite-name my-study

Querverweise

On this page