कंप्यूटर आधारित प्रयोग / अनुकरण में अवशिष्टों की स्वतंत्रता?

17

मैंने एक विशेष प्रकार के मॉडल की फिटिंग के विभिन्न तरीकों का कंप्यूटर-आधारित मूल्यांकन किया, जिसका उपयोग पैलेओ विज्ञान में किया गया है। मेरे पास एक बड़ा-ईश प्रशिक्षण सेट था और इसलिए मैंने यादृच्छिक रूप से (स्तरीकृत यादृच्छिक नमूना) एक परीक्षण सेट अलग रखा। मैं फिट प्रशिक्षण सेट नमूनों को विभिन्न तरीकों और का उपयोग कर मॉडल जिसके परिणामस्वरूप मैं परीक्षण सेट नमूनों के लिए प्रतिक्रिया की भविष्यवाणी की और परीक्षण सेट में नमूने के ऊपर एक RMSEP गणना की। यह एक सिंगल रन है । $m$ $m$

फिर मैंने इस प्रक्रिया को बड़ी संख्या में दोहराया, हर बार जब मैंने एक नया परीक्षण सेट रैंडमली नमूना करके एक अलग प्रशिक्षण सेट चुना।

ऐसा करने के बाद मैं जांच करना चाहता हूं कि किसी भी तरीके में बेहतर या खराब आरएमएसईपी प्रदर्शन है या नहीं। मैं जोड़ी-वार तरीकों की कई तुलना करना चाहूंगा। $m$

मेरा दृष्टिकोण रन के लिए एक यादृच्छिक प्रभाव के साथ एक रैखिक मिश्रित प्रभाव (एलएमई) मॉडल को फिट करने के लिए किया गया है । मैं प्रयोग किया जाता lmer()से lme4 से अपने मॉडल और कार्यों फिट करने के लिए पैकेज multcomp पैकेज अनेक तुलनाओं प्रदर्शन करने के लिए। मेरा मॉडल अनिवार्य रूप से था

lmer(RMSEP ~ method + (1 | Run), data = FOO)

जहाँ methodएक कारक यह दर्शाता है कि परीक्षण सेट के लिए मॉडल भविष्यवाणियों को उत्पन्न करने के लिए किस पद्धति का उपयोग किया गया था और Runप्रत्येक विशेष रन ऑफ़ माई "प्रयोग" के लिए एक संकेतक है ।

मेरा सवाल एलएमई के अवशेषों के संबंध में है। रन के लिए एकल यादृच्छिक प्रभाव को देखते हुए मैं यह मान रहा हूं कि उस रन के लिए RMSEP मान कुछ हद तक सहसंबद्ध हैं लेकिन रन के बीच असंबंधित हैं, प्रेरित सहसंबंध के आधार पर यादृच्छिक प्रभाव के आधार पर।

क्या रन के बीच स्वतंत्रता की यह धारणा वैध है? यदि एलएमई मॉडल में इसके लिए कोई तरीका नहीं है या क्या मुझे अपने प्रश्न का उत्तर देने के लिए किसी अन्य प्रकार के सांख्यिकीय विश्लेषण को नियोजित करना चाहिए?

— मोनिका को बहाल करें - जी। सिम्पसन
स्रोत

अवशिष्ट यादृच्छिक प्रभाव या बिना शर्त पर अवशिष्ट होते हैं और सिमुलेशन में पूर्वानुमानित यादृच्छिक प्रभाव स्थिर या भिन्न होते हैं। याद रखें कि एलएमई 4 में डिफ़ॉल्ट सिमुलेशन विधियों के लिए इसके बारे में जानने की कोशिश करें और सक्षम नहीं होने पर (लेकिन इससे पहले कि मैं इसे हल करता, परियोजना रद्द कर दी गई)।

— फैरनॉन

सुनिश्चित नहीं है कि मैं पूरी तरह से अनुसरण करता हूं, लेकिन ड्रॉ ट्रेनिंग सेट के विभिन्न रन -> फिट मॉडल -> कंप्यूट आरएमएसईपी सभी एलएमई से पहले किए जाते हैं। यादृच्छिक प्रभाव रन के लिए है क्योंकि प्रत्येक रन में एक अलग अवरोधन (RMSEP) होगा क्योंकि परीक्षण सेट के नमूनों के विभिन्न संयोजनों को चुना जाता है, लेकिन यह रन के भीतर स्थिर है। सशर्त / बिना शर्त बिट के लिए, मुझे यकीन नहीं है / स्पष्ट है कि आपका क्या मतलब है। टिप्पणी के लिए धन्यवाद।

— मोनिका को बहाल करें - जी। सिम्पसन

4

आप अनिवार्य रूप से अपने प्रत्येक एम तरीकों के लिए यहां क्रॉस-वैरिफिकेशन का कुछ रूप कर रहे हैं और फिर यह देखना चाहेंगे कि किस विधि ने बेहतर प्रदर्शन किया। रनों के बीच के परिणाम निश्चित रूप से निर्भर होंगे, क्योंकि वे एक ही डेटा पर आधारित होते हैं और आपके ट्रेन / टेस्ट सेट के बीच ओवरलैप होता है। सवाल यह है कि क्या यह तब होना चाहिए जब आप तरीकों की तुलना करने आते हैं।

मान लीजिए कि आप केवल एक ही रन बनाएंगे, और पाएंगे कि एक विधि दूसरों की तुलना में बेहतर है। आप तब खुद से पूछेंगे - क्या यह केवल टेस्ट सेट की विशिष्ट पसंद के कारण है? यही कारण है कि आप कई अलग-अलग ट्रेन / परीक्षण सेटों के लिए अपना परीक्षण दोहराते हैं। इसलिए, यह निर्धारित करने के लिए कि एक विधि अन्य विधियों से बेहतर है, आप कई बार चलाते हैं और प्रत्येक रन में इसकी तुलना अन्य तरीकों से की जाती है (आपके पास त्रुटि / रैंक / आदि को देखने के विभिन्न विकल्प हैं)। अब, यदि आप पाते हैं कि एक विधि अधिकांश रन पर बेहतर करती है, तो परिणाम वही है। मुझे यकीन नहीं है कि यह एक पी-वैल्यू देने में मददगार है। या, यदि आप एक पी-मूल्य देना चाहते हैं, तो अपने आप से पूछें कि यहां पृष्ठभूमि मॉडल क्या है?

— बिटवाइज़
स्रोत

आपके विचारों के लिए धन्यवाद। मुझे लगता है कि आपकी अंतिम पंक्तियां बहुत ज्यादा हैं जहाँ मैं अब हूँ। इस की प्रत्याशा में कुछ हद तक मैं एक है अनुवर्ती जहाँ मैं डेटा के इस प्रकार का विश्लेषण करने की उचित तरीके के बारे में पूछते हैं। मुझे आपकी बात भी पसंद है "यह वही है जो यह है"; वह हाल ही में मेरी विचार प्रक्रिया के किनारों पर घूमता रहा था।

— मोनिका को बहाल करें - जी। सिम्पसन

एक मुद्दा मेरे पास "परिणाम यह है कि यह क्या है" भाग है कि आरएमएसईपी रन से रन करने के लिए काफी परिवर्तनशील हैं। इसलिए औसतन एक या दो तरीके बेहतर हैं, लेकिन क्या वास्तव में आरएमएसईपी में परिवर्तनशीलता को बेहतर बताया गया है? इसलिए मेरा रन के लिए यादृच्छिक प्रभाव के साथ एक एलएमई की कोशिश कर रहा है। उस दृष्टिकोण को संशोधित करने के लिए मुझे यह जानना होगा कि प्रत्येक डेटा सेट किससे संबंधित है। ऐसा लगता है कि मेरे द्वारा किए जाने वाले किसी भी सांख्यिकीय परीक्षण को इतना संशोधित करने की आवश्यकता होगी। इसलिए मैं अभी भी संघर्ष करता हूं कि प्रत्येक विधि के लिए 50 रन से साधनों की व्याख्या कैसे करें और क्या मैं कोई निष्कर्ष निकाल सकता हूं ...?

— मोनिका को बहाल करें - जी। सिम्पसन

1

जिस तरह से मैं इसे देखता हूं, आपके डेटा के सभी संभावित ट्रेन / परीक्षण सेट विभाजन पर आपके तरीकों का मूल्यांकन करना सबसे व्यापक मूल्यांकन होता। चूंकि यह असंभव है, आप यादृच्छिक रनों के साथ इसका अनुमान लगा रहे हैं। मान लें कि आप सभी ट्रेन / परीक्षण विभाजनों का मूल्यांकन कर सकते हैं - आपको अभी भी इस सवाल के साथ छोड़ दिया जाएगा कि किस तरीके को तय करना बेहतर है। तो यह अधिक बात है कि आप कैसे परिभाषित करते हैं कि "अच्छा" क्या है। क्या इसका मतलब उच्च औसत स्कोर है? या इसका मतलब यह है कि कई रनों में एक विधि को दूसरों की तुलना में अधिक अंक मिलता है (व्यक्तिगत रूप से मुझे लगता है कि यह एक बेहतर संस्करण होगा)?

— बिटवाइस

1

वास्तव में समझ नहीं सकता कि आपने क्या किया है लेकिन

रन के लिए मैं मान रहा हूं कि उस रन के लिए RMSEP मान कुछ हद तक सहसंबद्ध हैं

हां, यह दर्शाता है कि उस सेट में टेस्ट सेट कितना चुनौतीपूर्ण था

लेकिन रन के बीच असंबंधित हैं

नहीं, जिस तरह से आपने परीक्षण सेट का नमूना दिया है, उसे दूसरों की तुलना में अधिक ओवरलैप किया जाएगा (निश्चित रूप से स्वतंत्र प्रतिकृति नहीं)

आपको किसी तरह ओवरलैप के आधार पर निर्भरता को मॉडल करना होगा या मूल्यांकन को डिज़ाइन करना होगा ताकि रन स्वतंत्र हों। मैं क्रॉस-मान्यता पर सांख्यिकी साहित्य पढ़ूंगा ;-)

— phaneron
स्रोत

+1 जवाब के लिए धन्यवाद। हम्म, मैं देख रहा हूं कि आपका क्या मतलब है। परीक्षण सेट जितने अधिक होंगे उनके RMSEP मूल्य उतने ही अधिक होंगे। ठीक है, इस तरह से रखें जैसे कि डेटा स्थानिक या अस्थायी रूप से सहसंबद्ध हो। जिस तरह से मैं प्रशिक्षण सेट / परीक्षण सेट उत्पन्न करता हूं, इसका मतलब यह होना चाहिए कि वे औसतन एक दूसरे से भिन्न हैं। मुझे यकीन नहीं है कि सीवी मुझे यहां मिलेगा - और एक मायने में मैं ऐसा कर रहा हूं, वैसे भी बस एक रेज़ोमिंग दृष्टिकोण के माध्यम से। शायद एक और क्यू पूछेंगे फिर वास्तविक समस्या को कैसे हल करेंगे।

— मोनिका को बहाल करें - जी। सिम्पसन

मैं यह खुला छोड़ दूंगा कि इनाम की अवधि के अंत तक यह देखने के लिए कि क्या कोई और काटता है, लेकिन मैं यहां आपके विचारों की सराहना करता हूं और यदि कोई अन्य उत्तर आगामी नहीं है, तो मैं इनाम स्वीकार करूंगा।

— मोनिका को बहाल करें - जी। सिम्पसन