मुझे लगता है कि यदि आप दो प्रायोगिक अध्ययन या वास्तविक मेटा-विश्लेषण की जांच कर रहे हैं, तो जिरोमी का उत्तर पर्याप्त है। लेकिन अक्सर हम दो गैर-प्रायोगिक अध्ययनों का सामना करने के साथ सामना करते हैं, और उन दो असमान निष्कर्षों की वैधता का आकलन करने का काम करते हैं।
जैसा कि साइरस की सवालों की किराने की सूची से पता चलता है, विषय ही छोटी प्रतिक्रिया के लिए उत्तरदायी नहीं है, और इस तरह के प्रश्न को संबोधित करने के लिए पूरी किताबें संक्षेप में हैं। गैर-प्रायोगिक डेटा पर अनुसंधान करने में रुचि रखने वाले किसी भी व्यक्ति के लिए, मैं आपको पढ़ने का सुझाव दूंगा
विलियम आर। शदीश, थॉमस डी। कुक, डोनाल्ड थॉमस कैंपबेल (सामान्य तौर पर मैंने यह भी सुना है कि इस पाठ के पुराने संस्करण उतने ही अच्छे हैं) सामान्यीकृत कारण के लिए प्रायोगिक और अर्ध-प्रायोगिक डिजाइन ।
कई वस्तुओं को जिरोमी (बड़े नमूना आकार, और अधिक कार्यप्रणाली कठोरता) के लिए संदर्भित किया गया था, और साइरस का उल्लेख है कि कैम्पबेल और कुक को "आंतरिक वैधता" के रूप में संदर्भित किया जाता है। इनमें एक्स और वाई के बीच संबंधों का आकलन करने के लिए उपयोग किए जाने वाले अनुसंधान डिजाइन और सांख्यिकीय तरीके शामिल हैं। विशेष रूप से आलोचकों के रूप में हम या तो उन पहलुओं के बारे में चिंतित हैं जो परिणामों को पूर्वाग्रहित कर सकते हैं, और निष्कर्षों की विश्वसनीयता को कम कर सकते हैं। चूंकि यह एक मंच है जो सांख्यिकीय विश्लेषण के लिए समर्पित है, अधिकांश उत्तर सांख्यिकीय तरीकों के आसपास केंद्रित होते हैं ताकि आप जिस भी रिश्ते का आकलन कर रहे हैं उसका निष्पक्ष अनुमान लगा सकें। लेकिन उनके सांख्यिकीय विश्लेषण के लिए असंबंधित अनुसंधान डिजाइन के अन्य पहलू हैं जो निष्कर्षों की वैधता को कम करते हैं, कोई फर्क नहीं पड़ता कि उनके सांख्यिकीय विश्लेषण में क्या कठोर लंबाई आती है (जैसे कि साइरस ने प्रयोग की निष्ठा के कई पहलुओं का उल्लेख किया है लेकिन साथ हल नहीं किया जा सकता है सांख्यिकीय विधियाँ, और यदि वे होती हैं तो हमेशा अध्ययन परिणामों की वैधता कम हो जाएगी)। आंतरिक वैधता के कई अन्य पहलू हैं जो गैर-प्रायोगिक अध्ययनों के परिणामों की तुलना में मूल्यांकन करने के लिए महत्वपूर्ण हो जाते हैं जो यहां उल्लिखित नहीं हैं, और अनुसंधान डिजाइनों के पहलू जो निष्कर्षों की विश्वसनीयता को भेद सकते हैं। मुझे नहीं लगता कि यहां बहुत अधिक विस्तार में जाना काफी उपयुक्त है,
कैंपबेल और कुक भी अध्ययन की "बाहरी वैधता" का उल्लेख करते हैं। अनुसंधान डिजाइन का यह पहलू अक्सर दायरे में बहुत छोटा होता है, और आंतरिक वैधता पर उतना ध्यान देने योग्य नहीं होता है। बाहरी वैधता अनिवार्य रूप से निष्कर्षों की सामान्यता से संबंधित है, और मैं कहूंगा कि आम तौर पर बाहरी वैधता का यथोचित मूल्यांकन कर सकते हैं जब तक कि वे विषय से परिचित हों। लॉन्ग स्टोरी शॉर्ट ने शदीश की, कुक की और कैंपबेल की किताब पढ़ी।