/research-experiment
/research-experiment — डिज़ाइन किए गए अध्ययन को निष्पादित करता है और पूर्ण उद्गम के साथ कच्चा डेटा कैप्चर करता है, साथ ही एक पुनरुत्पादनीयता मैनिफ़ेस्ट (एनवायरनमेंट, सीड, प्रोटोकॉल, वर्शन पिन)।
भूमिका: प्रधान अन्वेषक (निष्पादन) पाइपलाइन स्थिति: शृंखला-मध्य
डिज़ाइन किए गए अध्ययन या प्रयोग को निष्पादित करता है और पूर्ण उद्गम के साथ कच्चा डेटा कैप्चर करता है। पुनरुत्पादनीयता की गारंटी देता है: एनवायरनमेंट, सीड, प्रोटोकॉल लॉग और वर्शन पिन रिकॉर्ड करता है ताकि कोई स्वतंत्र पक्ष इसे फिर से चला सके।
विहित आह्वान
/research-experimentतर्कों के साथ:
/research-experiment [--suite-name NAME]इनपुट
_inputs/study-design.md (डिज़ाइन) और _inputs/preregistration.md (फ़्रोज़न विश्लेषण योजना)।
आउटपुट
_outputs/experiment-log.md (टाइमस्टैम्प वाला प्रोटोकॉल ट्रेस, साथ ही किसी स्वायत्त अभियान का समापन रिकॉर्ड), होस्ट-स्वाभाविक स्थान पर कच्चा डेटा, और _outputs/reproducibility-manifest.md (एनवायरनमेंट, सीड, प्रोटोकॉल, वर्शन पिन)।
डाउनस्ट्रीम
/research-analysis (डाउनस्ट्रीम उपभोक्ता)
वर्कफ़्लो चरण
यह कमांड मानक /research पाइपलाइन वर्कफ़्लो का अनुसरण करता है:
- संदर्भ लोड करें — अध्ययन डिज़ाइन और प्री-रजिस्ट्रेशन पढ़ें।
- अनुक्रम गेट सत्यापित करें — पुष्टि करें कि
_inputs/study-design.mdमौजूद है; अन्यथाBlocked: run /research-design firstके साथ रुक जाएँ। - चलाएँ और रिकॉर्ड करें — प्रोटोकॉल निष्पादित करें; उद्गम के साथ कच्चा डेटा कैप्चर करें; टाइमस्टैम्प वाला प्रोटोकॉल ट्रेस लॉग करें।
- पुनरुत्पादनीयता कैप्चर करें — एनवायरनमेंट, सीड, प्रोटोकॉल और वर्शन पिन रिकॉर्ड करें।
- हैंडऑफ़ मैनिफ़ेस्ट अपडेट करें — डेटा स्थान और पुनरुत्पादनीयता मैनिफ़ेस्ट रिकॉर्ड करें।
- लॉग उत्सर्जित करें —
_outputs/experiment-log.md+ कच्चा डेटा +_outputs/reproducibility-manifest.md।
कठोरता की निचली सीमा
निष्पादन बजट और परासों को अंशांकित करने के लिए एक पायलट पास चलाता है, फिर एक घोषित संगणना-उपयोग योजना (कोर आवंटन, स्मृति सीमाएँ, स्वतंत्र पुनरावृत्तियों का सुरक्षित समांतरीकरण) के तहत पूर्ण तुलना। प्रत्येक स्टोकैस्टिक विधि अपने पूर्व-पंजीकृत पुनरावृत्ति क्रम को रिकॉर्ड किए गए सीड और लॉग किए गए हार्डवेयर के साथ चलाती है। एक ऑप्ट-इन, डिफ़ॉल्ट-रूप-से-बंद स्वायत्त प्रयोग लूप उपलब्ध है। एक फ़्रोज़न हार्नेस के विरुद्ध यह एक एकल परिवर्तनीय लक्ष्य में परिवर्तन का प्रस्ताव करता है, प्रत्येक रन से पहले एक खंडनीय भविष्यवाणी बताता है, और उसे निश्चित बजट पर चलाता है। प्राथमिक मीट्रिक रन लॉग से दो संकेतों के रूप में पढ़ा जाता है: एक खोज संकेत जो लूप को दिशा देता है, और एक असंयुक्त समुच्चय से प्रवेश संकेत, जो किसी परिवर्तन को बनाए रखे जाने से पहले उसकी पुष्टि या अस्वीकृति करता है: परिवर्तन को खोज चरण पार करना होगा, फिर प्रवेश पर मौजूदा को बताए गए शोर मार्जिन से अधिक से पछाड़ना होगा (या जटिलता घटाते हुए उसके बराबर रहना होगा)। प्रत्येक परीक्षण दैनिकी में दर्ज किया जाता है और प्रत्येक प्रवेश क्वेरी गिनी और प्रकट की जाती है।
एक अंतिम अछूता समुच्चय समापन पर एक बार मूल्यांकित किया जाता है। जिस अभियान में ऐसा कोई समुच्चय नहीं है, वह अपने परिणाम को चयन-दूषित और अन्वेषणात्मक चिह्नित करता है, और अभियान द्वारा रिपोर्ट की गई कोई भी संख्या ऊपर के पुनरावृत्ति क्रम के तहत पुनः मापी जाती है। ऑपरेटर लक्ष्य, हार्नेस, मीट्रिक, मूल्यांकन समुच्चय, स्वीकृति नियम, बजट, और कार्यक्षेत्र की एक बार पुष्टि करता है, और रुकने के मानदंड तय कर सकता है; रुकने पर, समापन रिकॉर्ड (परीक्षण, रखे गए, छोड़े गए, क्रैश, और प्रवेश-क्वेरी गणनाएँ, आधाररेखा पर लाभ, और अछूते-समुच्चय का परिणाम) प्रयोग लॉग में जाता है ताकि विश्लेषण चरण लूप-चयनित परिणाम को वर्गीकृत कर सके।
विफलता मोड
| लक्षण | कारण | पुनर्प्राप्ति |
|---|---|---|
| Blocked: run /research-design first | कोई अध्ययन डिज़ाइन नहीं | _inputs/study-design.md बनाने के लिए /research-design चलाएँ |
| रन पुनरुत्पादनीय नहीं | सीड / एनवायरनमेंट रिकॉर्ड अनुपस्थित | आगे बढ़ने से पहले पूर्ण पुनरुत्पादनीयता मैनिफ़ेस्ट रिकॉर्ड करें |
| प्रोटोकॉल विचलन अप्रलेखित | रन के बीच का परिवर्तन लॉग नहीं किया गया | प्रयोग लॉग में विचलन लॉग करें; विश्लेषण के समय प्रकट करें |
| लूप परिणाम को पुष्टिकारक के रूप में प्रस्तुत किया गया | लूप ने अपने प्रवेश समुच्चय पर दिशा ली, या समापन पर कोई अछूता समुच्चय नहीं पढ़ा गया | परिणाम को चयन-दूषित और अन्वेषणात्मक चिह्नित करें; खोज संकेत दिशा देता है, प्रवेश संकेत निर्णय करता है, और अछूता समुच्चय एक बार पढ़ा जाता है |
उदाहरण
# डिज़ाइन किए गए अध्ययन को चलाएँ और पुनरुत्पादनीय कच्चा डेटा कैप्चर करें
/research-experiment --suite-name <name>क्रॉस-संदर्भ
/research-design
/research-design — परिकल्पनाओं को परीक्षण-योग्य पूर्वानुमानों में परिचालित करता है और अध्ययन डिज़ाइन करता है (चर, नियंत्रण, नमूना, सामर्थ्य), फिर विश्लेषण योजना को एक पूर्व-पंजीकरण के रूप में जमा देता है।
/research-analysis
/research-analysis — पूर्व-पंजीकृत योजना के अनुसार कच्चे डेटा का विश्लेषण करता है: नियोजित परीक्षण, विश्वास अंतराल सहित प्रभाव आकार, सुदृढ़ता जाँच, और उद्घाटित विचलन।