प्रतिगमन मॉडल से किसी शब्द को कब छोड़ना है?


20

किसी को सलाह दे सकता है अगर निम्नलिखित समझ में आता है:

मैं 4 भविष्यवक्ताओं के साथ एक साधारण रैखिक मॉडल के साथ काम कर रहा हूं। मैं दो दिमागों में हूं कि क्या कम से कम महत्वपूर्ण शब्द छोड़ना है। यह -value 0.05 से थोड़ा अधिक है। मैंने इसे इन पंक्तियों के साथ छोड़ने के पक्ष में तर्क दिया है: इस शब्द के अनुमान का गुणन (उदाहरण के लिए) इस चर के लिए नमूना डेटा की अंतरवर्ती सीमा को गुणा करके, इस शब्द के नैदानिक ​​प्रभाव को कुछ अर्थ देता है जो इस शब्द को समग्र मॉडल पर रखता है। । चूंकि यह संख्या बहुत कम है, लगभग समान रूप से विशिष्ट इंट्रा-डे रेंज के मान के बराबर है जो कि चर को एक नैदानिक ​​सेटिंग में मापते समय ले सकते हैं, मैं इसे नैदानिक ​​रूप से महत्वपूर्ण नहीं मानता हूं और इसलिए इसे अधिक आदर्शवादी मॉडल देने के लिए गिराया जा सकता है, यहां तक ​​कि हालांकि इसे छोड़ने से समायोजित थोड़ा कम हो जाता है।आर 2pR2


1
आप एक अधिक पारसीमोनियस मॉडल की तलाश क्यों करते हैं?
माइकल बिशप

3
क्या अपने आप में एक अच्छी बात नहीं है? जिस तरह से मैं इसे देखता हूं, वैरिएबल वाला एक मॉडल जो नैदानिक ​​अर्थों में बहुत कम या कोई व्याख्यात्मक शक्ति जोड़ता है, उन चरों के बिना एक छोटे मॉडल से भी बदतर है, भले ही वे चर एक सांख्यिकीय अर्थ में महत्वपूर्ण हों
पी सेलाज़

मैंने एक उत्तर लिखने का फैसला किया: आँकड़ें ।stackexchange.com / questions / 17624/… । लेकिन संक्षेप में, नहीं, मुझे नहीं लगता कि पार्सिमनी अपने आप में एक अच्छी बात है। यह कभी-कभी विशिष्ट कारणों से उपयोगी होता है।
माइकल बिशप

1
मैं माइकल से सहमत हूं। यदि कोई स्पष्ट व्याख्यात्मक क्षमता उन्हें "महत्वपूर्ण" होने का मौका दिया जाता है, तो चर को शामिल करना सबसे अच्छा है; आप पहले से ही स्वतंत्रता की उन डिग्री खर्च कर चुके हैं।
फ्रैंक हार्डेल

ध्यान रखें कि वे भविष्यवाणियां जो महत्वपूर्ण रजिस्ट्रार नहीं हैं, फिर भी सहसंबद्ध रजिस्ट्रारों के मामले में व्याख्या किए गए विचरण के लिए गैर-शून्य मात्रा में योगदान कर सकती हैं - अन्य महत्वपूर्ण रजिस्टरों को प्रभावित करके। विशेष रूप से केवल चार भविष्यवाणियों के साथ, यदि रजिस्टरों को सहसंबद्ध किया जाता है, तो मैं मॉडल में गैर-महत्वपूर्ण एक को रखने के पक्ष में तर्क दूंगा।
तोरवॉन

जवाबों:


18

मैंने पारसमणि की इच्छा को कभी नहीं समझा। पारसमनी की तलाश सांख्यिकीय अनुमान (प्रतिगमन गुणांक के पूर्वाग्रह, मानक त्रुटियों, आत्मविश्वास अंतराल, पी-मूल्यों) के सभी पहलुओं को नष्ट कर देती है। चर रखने का एक अच्छा कारण यह है कि यह आत्मविश्वास अंतराल और अन्य मात्रा की सटीकता को बरकरार रखता है। इसे इस तरह से सोचें: साधारण बहु प्रतिगमन में केवल अवशिष्ट विचरण के दो निष्पक्ष अनुमानक विकसित किए गए हैं: (1) पूर्व-निर्दिष्ट (बड़े) मॉडल से अनुमान, और (2) सामान्यीकृत डिग्री से घटे हुए मॉडल से अनुमान। स्वतंत्रता (GDF) स्वतंत्रता के लिए स्पष्ट (कम) प्रतिगमन डिग्री के लिए। अंतिम "महत्वपूर्ण" मापदंडों की संख्या की तुलना में जीडीएफ उम्मीदवार मापदंडों की संख्या के बहुत करीब होगा।

यह सोचने का एक और तरीका यहाँ है। मान लीजिए कि आप 5 उपचारों की तुलना करने के लिए एनोवा कर रहे थे, 4 डीएफ एफ-टेस्ट प्राप्त कर रहे थे। फिर किसी कारण से आप टी-परीक्षणों का उपयोग कर उपचार के बीच जोड़ीदार अंतरों को देखते हैं और कुछ उपचारों को संयोजित करने या हटाने का फैसला किया (यह 4 डमी वैरिएबल्स पर पी, एआईसी, बीआईसी, सीपी का उपयोग करके स्टेपवाइज चयन करने के समान है)। 1, 2, या 3 df वाले परिणामी F- टेस्ट में फुलाया हुआ टाइप I त्रुटि होगा। 4 एफएफ के साथ मूल एफ-परीक्षण में एक परिपूर्ण गुणन समायोजन था।


3
+1 पारसीमोनी एक ऐसी चीज है जो अक्सर केवल बहुत विशिष्ट संदर्भों में समझ में आता है। यदि आप दोनों करने के लिए पर्याप्त परिशुद्धता रखते हैं तो पूर्वाग्रह बनाम सटीक खेल खेलने का कोई कारण नहीं है।
फोमाइट

2
एक महान जवाब के लिए +1। लेकिन क्या होगा अगर आपके पास मल्टीकोलिनरिटी है और एक चर को हटाने से यह कम हो जाता है? (मूल प्रश्न में ऐसा नहीं है, लेकिन अक्सर अन्य डेटा में होता है)। क्या परिणामस्वरूप मॉडल अक्सर सभी प्रकार से बेहतर नहीं होता है (अनुमानकर्ताओं के विचरण को कम करने, गुणांक के संकेत अंतर्निहित सिद्धांत, आदि को प्रतिबिंबित करने की अधिक संभावना है)? यदि आप अभी भी स्वतंत्रता के सही (मूल मॉडल) डिग्री का उपयोग करते हैं।
पीटर एलिस

4
दोनों चर को शामिल करना अभी भी बेहतर है। आपके द्वारा भुगतान की जाने वाली एकमात्र कीमत अन्य के लिए समायोजित चर के प्रभावों का आकलन करने में बढ़ी हुई मानक त्रुटि है। दो कोलीनियर वैरिएबल के संयुक्त परीक्षण बहुत शक्तिशाली हैं क्योंकि वे एक दूसरे के खिलाफ प्रतिस्पर्धा करने के बजाय बलों को जोड़ते हैं। इसके अलावा अगर आप किसी वैरिएबल को हटाना चाहते हैं, तो डेटा आपको यह बताने में असमर्थ है कि आपको कौन सा हटाना है।
फ्रैंक हरेल

17

चर के चयन के बारे में ये जवाब सभी मानते हैं कि चर के अवलोकन की लागत 0 है।

और यह सच नहीं है।

हालांकि किसी दिए गए मॉडल के लिए चर के चयन का मुद्दा चयन को शामिल कर सकता है या नहीं कर सकता है, भविष्य के व्यवहार के निहितार्थों में चयन शामिल है।

भविष्यवाणी करने की समस्या पर विचार करें कि कौन सा कॉलेज लाइनमैन एनएफएल में सबसे अच्छा करेगा। आप एक स्काउट हैं। आपको विचार करना चाहिए कि एनएफएल में वर्तमान लाइनमैन के कौन से गुण उनकी सफलता के सबसे अधिक पूर्वानुमान हैं। आप 500 मात्राओं को मापते हैं, और भविष्य में जिन मात्राओं की आवश्यकता होगी, उनके चयन का कार्य शुरू करते हैं।

आपको क्या करना चाहिये? क्या आपको सभी 500 को बनाए रखना चाहिए? क्या कुछ (ज्योतिषीय संकेत, सप्ताह के दिन का जन्म) को समाप्त कर दिया जाना चाहिए?

यह एक महत्वपूर्ण प्रश्न है, और अकादमिक नहीं है। डेटा के अवलोकन के लिए एक लागत है, और लागत-प्रभावशीलता की रूपरेखा बताती है कि भविष्य में कुछ चर नहीं देखे जा सकते हैं, क्योंकि उनका मूल्य कम है।


4
+1: एक महत्वपूर्ण और दिलचस्प बिंदु। यह भी पता चलता है कि सवाल अधूरा है, क्योंकि यह मॉडल के उद्देश्य को इंगित नहीं करता है। (मूल्य एक वैज्ञानिक मॉडल एक व्याख्यात्मक सिद्धांत के निर्माण के लिए, लेकिन बार-बार इस्तेमाल के इरादे से एक भविष्य कहनेवाला मॉडल में सामने आते हैं चाहता है के लिए कम प्रासंगिक होंगे।)
whuber

6

एक चर रखने के कम से कम दो अन्य संभावित कारण हैं: 1) यह अन्य चर के मापदंडों को प्रभावित करता है। 2) यह तथ्य कि यह छोटा है, अपने आप में चिकित्सकीय रूप से दिलचस्प है

1 के बारे में देखने के लिए, आप मॉडल के चर के साथ और बिना मॉडल के प्रत्येक व्यक्ति के लिए अनुमानित मूल्यों को देख सकते हैं। मेरा सुझाव है कि मूल्यों के इन दो सेटों के बारे में बताएं। यदि कोई बड़ा अंतर नहीं हैं, तो इस कारण से एक तर्क है

2 के लिए, इस बारे में सोचें कि संभावित चर की सूची में आपके पास यह चर क्यों था। क्या यह सिद्धांत पर आधारित है? क्या अन्य शोधों ने एक बड़ा प्रभाव आकार पाया?


बोलने की बहुत कम मिलीभगत है, इसलिए इस चर को हटाने से दूसरों को बहुत कम फर्क पड़ता है। अगर यह छोटा था तो इसके बारे में एक दिलचस्प बात यह है कि यह चिकित्सकीय रूप से दिलचस्प है। डेटा एक खोजपूर्ण सर्वेक्षण से आया है, जहां इस स्तर पर, कम से कम किसी भी एक चर के किसी भी अन्य से अधिक महत्वपूर्ण होने की उम्मीद करने का कोई कारण नहीं है। हालांकि, इस चर में इंट्रा-डे उतार-चढ़ाव है, इसलिए इसके चेहरे पर, यदि इस उतार-चढ़ाव के आकार में एक प्रभाव समान था, तो यह मेरे लिए बहुत नैदानिक ​​रूप से महत्वपूर्ण नहीं लगता है।
पी सेलाज़

ठीक है, तो यह हटाने के लिए एक अच्छे उम्मीदवार की तरह लगता है।
पीटर Flom - को पुनः स्थापित मोनिका

@P सेलाज़ - अगर "डेटा एक खोजपूर्ण सर्वेक्षण से आया है," तो क्या इसका मतलब प्रतिभागियों ने खुद को चुना है? मुझे लगता है कि @ फ्रेंक हैरेल की टिप्पणियों से कुछ ग्रहण किया जा सकता है, लेकिन पी-मान, आत्मविश्वास अंतराल आदि की सख्त सटीकता के लिए चिंता का विषय है कि अगर नमूना स्व-चयनित था, तो मूट हो जाता है।
रोलैंडो 2

मुझे लगता है कि यह केवल मूट हो जाता है यदि आप उनका उपयोग नहीं कर रहे हैं।
फ्रैंक हरेल

@FrankHarrel - कृपया स्पष्ट करें: "उन्हें" =?
rolando2

6

इन दिनों सबसे आम सलाह दो मॉडलों के एआईसी को प्राप्त करने और निम्न एआईसी के साथ एक लेने की है। इसलिए, यदि आपके पूर्ण मॉडल में ए -20 का मॉडल है और सबसे कमजोर भविष्यवक्ता के बिना मॉडल में एआईसी> -20 है तो आप पूर्ण मॉडल रखते हैं। कुछ लोग तर्क दे सकते हैं कि यदि अंतर <3 आप सरल रखते हैं। मैं उस सलाह को पसंद करता हूं जो आप AIC के 3 के भीतर होने पर "संबंध" तोड़ने के लिए BIC का उपयोग कर सकते हैं।

आप आर तो प्राप्त करने के लिए आदेश का उपयोग कर रहे हैं तो AIC ... है AIC

मेरे पास 90 के दशक की शुरुआत से मॉडलिंग पर एक पाठ्यपुस्तक है, जिसमें सुझाव दिया गया है कि आप अपने सभी पूर्वानुमानों को छोड़ देते हैं जो महत्वपूर्ण नहीं हैं। हालांकि, इसका वास्तव में मतलब है कि आप जिस जटिलता को मॉडल से जोड़ते या घटाते हैं, जटिलता से स्वतंत्र छोड़ देंगे। यह केवल एनोवा के लिए ही है जहां महत्व परिवर्तनशीलता के बारे में है जो अन्य बातों के बारे में बताया गया है कि प्रकाश की ढलान के परिमाण के बजाय समझाया गया है। एआईसी का उपयोग करने की अधिक आधुनिक सलाह इन कारकों को ध्यान में रखती है। गैर-महत्वपूर्ण भविष्यवक्ता के सभी प्रकार के कारण शामिल होने चाहिए, भले ही यह महत्वपूर्ण न हो। उदाहरण के लिए, अन्य भविष्यवक्ताओं के साथ सहसंबंध के मुद्दे हो सकते हैं, यह अपेक्षाकृत सरल भविष्यवक्ता हो सकता है। यदि आप चाहते हैं कि सरलतम सलाह एआईसी के पास जाए और बीआईसी का उपयोग संबंधों को तोड़ने के लिए करें और समानता के अपने विंडो के रूप में 3 के अंतर का उपयोग करें।


आर प्रतिनिधित्व में छोटा बेहतर है, हाँ?
आरोन -

आपके जवाब के लिए धन्यवाद। मैंने पाया कि दोनों मॉडलों के बीच AIC में अंतर केवल 2. है
P सेलेज़

छोटे मॉडल में थोड़ा बड़ा AIC और BIC AIC होता है: बड़े-छोटे AIC = -2 BIC: बड़े-छोटे BIC- 7.8
P सेलाज़

हारून .. उफ़ ... लोअर, फिक्स्ड ...
जॉन

1
बस कुछ स्पष्ट करने के लिए, यह अतिरिक्त शब्द सिर्फ एक और सहसंयोजक है, और बहुत कम समरूपता है।
पी सेलाज़

4

आप इस मॉडल का उपयोग किस लिए कर रहे हैं? क्या पारसीमोनी एक महत्वपूर्ण लक्ष्य है?

कुछ स्थितियों में अधिक पारमार्थिक मॉडल पसंद किए जाते हैं, लेकिन मैं यह नहीं कहूंगा कि पार्सिमनी अपने आप में एक अच्छी बात है। पर्सिमोनियस मॉडल को अधिक आसानी से समझा और संप्रेषित किया जा सकता है, और पार्सिमनी ओवर-फिटिंग के खिलाफ गार्ड की मदद कर सकती है, लेकिन अक्सर ये मुद्दे प्रमुख चिंताएं नहीं होती हैं या किसी अन्य तरीके से संबोधित की जा सकती हैं।

एक प्रतिगमन समीकरण में एक अतिरिक्त शब्द सहित विपरीत दिशा से अनुमोदन करने से स्थितियों में कुछ लाभ भी होते हैं, जिसमें अतिरिक्त शब्द स्वयं रुचि नहीं रखता है और यह मॉडल में बहुत सुधार नहीं करता है ... आप यह नहीं सोच सकते हैं कि यह नियंत्रण करने के लिए एक महत्वपूर्ण चर है, लेकिन अन्य हो सकता है। बेशक, एक चर को बाहर करने के लिए अन्य बहुत महत्वपूर्ण कारण हैं, उदाहरण के लिए यह परिणाम के कारण हो सकता है।


3

आपके शब्दांकन से ऐसा लगता है जैसे आप अंतिम भविष्यवक्ता को छोड़ने के लिए इच्छुक हैं क्योंकि इसका पूर्वानुमानात्मक मूल्य कम है; उस पूर्वानुमानक पर एक पर्याप्त परिवर्तन प्रतिक्रिया चर पर एक महत्वपूर्ण परिवर्तन नहीं होगा। अगर ऐसा है, तो मुझे भविष्यवक्ता को शामिल करने / छोड़ने के लिए यह मानदंड पसंद है। यह एआईसी या बीआईसी की तुलना में व्यावहारिक वास्तविकता में अधिक ग्राउंडेड है, और इस शोध के लिए आपके दर्शकों के लिए अधिक स्पष्ट है।


हां, ठीक यही मेरा मतलब है।
पी सेलाज़
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.