मुझे ऐसा लगता है कि आपका प्रश्न अधिक आम तौर पर एक भविष्य कहनेवाला मॉडल के लिए मान्यता के विभिन्न स्वादों को संबोधित करता है: क्रॉस-मान्यता का कुछ हद तक आंतरिक वैधता , या कम से कम प्रारंभिक मॉडलिंग चरण के साथ क्या करना है , जबकि एक व्यापक आबादी पर कार्य कारण लिंक अधिक संबंधित है करने के लिए बाहरी वैधता। उसके द्वारा (और @ ब्रेट की अच्छी टिप्पणी के बाद एक अद्यतन के रूप में), मेरा मतलब है कि हम आम तौर पर एक काम कर रहे नमूने पर एक मॉडल का निर्माण करते हैं, एक काल्पनिक वैचारिक मॉडल (यानी हम भविष्यवक्ताओं और ब्याज के परिणाम) के बीच संबंधों को निर्दिष्ट करते हैं। और हम न्यूनतम वर्गीकरण त्रुटि दर या न्यूनतम भविष्यवाणी त्रुटि के साथ विश्वसनीय अनुमान प्राप्त करने का प्रयास करते हैं। उम्मीद है, बेहतर मॉडल प्रदर्शन करता है, बेहतर यह हमें अनदेखी डेटा पर परिणाम (नों) की भविष्यवाणी करने की अनुमति देगा; अभी भी, सीवी "वैधता" या हाइपोथिसाइज्ड कारण लिंक की पर्याप्तता के बारे में कुछ नहीं बताता है। हम निश्चित रूप से एक मॉडल के साथ अच्छे परिणाम प्राप्त कर सकते हैं जहां कुछ मॉडरेशन और / या मध्यस्थता प्रभाव उपेक्षित हैं या बस पहले से ज्ञात नहीं हैं।
मेरा कहना है कि जो भी विधि आप अपने मॉडल को मान्य करने के लिए उपयोग करते हैं (और होल्डआउट विधि निश्चित रूप से सबसे अच्छी नहीं है, लेकिन फिर भी यह महामारी विज्ञान के अध्ययन में व्यापक रूप से स्टेपवाइज मॉडल बिल्डिंग से उत्पन्न समस्याओं को कम करने के लिए उपयोग किया जाता है), आप उसी नमूने के साथ काम करते हैं। (जो हम मानते हैं कि एक बड़ी आबादी का प्रतिनिधि है)। इसके विपरीत, परिणामों को सामान्य बनाने और कारण लिंक नए नमूनों के लिए इस तरह से अनुमान लगाते हैं या एक बहुतायत से संबंधित आबादी आमतौर पर प्रतिकृति अध्ययन द्वारा की जाती है । यह सुनिश्चित करता है कि हम "सुपरपॉपुलेशन" में अपने मॉडल की भविष्य कहनेवाला क्षमता का सुरक्षित रूप से परीक्षण कर सकते हैं जो व्यक्तिगत विविधताओं की एक बड़ी रेंज पेश करता है और ब्याज के अन्य संभावित कारकों को प्रदर्शित कर सकता है।
आपका मॉडल आपके काम करने के नमूने के लिए मान्य भविष्यवाणियां प्रदान कर सकता है, और इसमें वे सभी संभावित कन्फ़्यूडर शामिल हैं जिनके बारे में आप सोच सकते हैं; हालांकि, यह संभव है कि यह नए डेटा के साथ भी प्रदर्शन नहीं करेगा, सिर्फ इसलिए कि अन्य कारक हस्तक्षेप करने वाले कारण पथ में दिखाई देते हैं जिन्हें प्रारंभिक मॉडल का निर्माण करते समय पहचाना नहीं गया था। ऐसा तब हो सकता है जब कुछ भविष्यवक्ता और कारण लिंक से संबंधित अनुमान उस विशेष परीक्षण केंद्र पर निर्भर करते हैं जहां रोगियों को भर्ती किया गया था, उदाहरण के लिए।
आनुवांशिक महामारी विज्ञान में, कई जीनोम-वाइड एसोसिएशन अध्ययन केवल इसलिए दोहराने में विफल होते हैं क्योंकि हम डीएनए मार्करों और देखे गए फ़ेनोटाइप के बीच कारण संबंधों पर एक ओवरसाइम्प्लिफ़ाइड दृष्टिकोण के साथ जटिल रोगों को मॉडल करने की कोशिश कर रहे हैं, जबकि यह बहुत संभावना है कि जीन-जीन (एपिस्टासिस), जीन-रोग (प्लियोट्रॉपी), जीन-पर्यावरण, और जनसंख्या सबस्ट्रक्चर सभी खेल में आते हैं, लेकिन उदाहरण के लिए देखें जीनोम-वाइड एसोसिएशन संकेतों को मान्य, संवर्धित और परिष्कृत करना(आयोनिडिस एट अल।, प्रकृति समीक्षा आनुवंशिकी, 2009 10)। तो, हम आनुवंशिक मार्करों के एक सेट (बहुत कम और विरल प्रभाव के आकार) और मनाया phenotypes के एक बहुभिन्नरूपी पैटर्न (उदाहरण के लिए, सफेद या ग्रे पदार्थ की मात्रा) के बीच एक अंतर-पार करने वाले मॉडल का निर्माण कर सकते हैं। मस्तिष्क में स्थानीयकृत गतिविधियाँ जैसा कि fMRI के माध्यम से मनाया जाता है, न्यूरोसाइकोलॉजिकल मूल्यांकन या व्यक्तित्व सूची के लिए प्रतिक्रियाएं), फिर भी यह एक स्वतंत्र नमूने पर अपेक्षित प्रदर्शन नहीं करेगा।
इस विषय पर एक सामान्य संदर्भ के रूप में , ईडब्ल्यू स्टीयरबर्ग (स्प्रिंगर, 2009) से अध्याय 17 और नैदानिक भविष्यवाणी मॉडल के भाग III की सिफारिश कर सकते हैं । मुझे Ioannidis के निम्नलिखित लेख भी पसंद हैं:
Ioannidis, JPA, सर्वाधिक प्रकाशित शोध निष्कर्ष क्यों गलत हैं? PLoS मेड। 2005 2 (8): e124
