प्रतिगमन मॉडल के क्रॉस-सत्यापन में मॉडल स्थिरता


10

एक लॉजिस्टिक रिग्रेशन के कई क्रॉस-वैलिडेशन सिलवटों को देखते हुए, और प्रत्येक रिग्रेशन गुणांक के कई अनुमानों के अनुसार, किसी को एक भविष्यवक्ता (या भविष्यवक्ताओं का सेट) कैसे मापना चाहिए या नहीं, रेजिस्टेंट गुणांक (ओं) के आधार पर स्थिर और सार्थक हैं ? क्या यह रैखिक प्रतिगमन के लिए अलग है?


@Breene बहुत चालाक। उत्तर के रूप में क्यों नहीं पोस्ट करें? आप मुझे यह भी आश्चर्यचकित कर रहे हैं कि क्या पहनावा सीखने का साहित्य कुछ प्रासंगिक है।
जैक टैनर

जब आप कहते हैं कि "कई पार सत्यापन", आप मतलब है कि आप को चलाने के बार एक गुना पार सत्यापन? mk
बोसोविच

@andrea, मैं कहता हूँ "कई पार सत्यापन सिलवटों", यानी, सिलवटों। k
जैक टान्नर

जवाबों:


2

आप सीवी में प्रत्येक परीक्षण गुना से उत्पन्न प्रतिगमन गुणांक को स्वतंत्र टिप्पणियों के रूप में मान सकते हैं और फिर श्रुत और फ्लेस द्वारा रिपोर्ट की गई इंट्रा-क्लास सहसंबंध गुणांक (आईसीसी) का उपयोग करके उनकी विश्वसनीयता / स्थिरता की गणना कर सकते हैं।


0

मैं आपको अपनी क्रॉस-वैलिडेशन में मानता हूं कि आप डेटा को दो भागों में विभाजित करते हैं, एक प्रशिक्षण सेट और एक परीक्षण सेट। एक गुना में आप प्रशिक्षण सेट से एक मॉडल फिट करते हैं और परीक्षण सेट की प्रतिक्रिया की भविष्यवाणी करने के लिए इसका उपयोग करते हैं, है ना? यह आपको पूरे मॉडल के लिए त्रुटि दर देगा, न कि एक भविष्यवक्ता के लिए।

मुझे नहीं पता कि क्या साधारण रेखीय प्रतिगमन में उपयोग किए जाने वाले एफ-परीक्षणों की तरह कुछ का उपयोग करके भविष्यवाणियों के लिए पी-मान प्राप्त करना संभव है।

आप उदाहरण के लिए पिछड़े या आगे के चयन के लिए मॉडल से भविष्यवाणियों को हटाने की कोशिश कर सकते हैं यदि यह आपका उद्देश्य है।

आप सीवी के बजाय प्रत्येक भविष्यवक्ता के लिए एक विश्वास अंतराल खोजने के लिए बूटस्ट्रैप का उपयोग कर सकते हैं और फिर देख सकते हैं कि यह कितना स्थिर है।

आप अपने सीवी में कितने फोल्ड का उपयोग करते हैं, क्या यह छुट्टी-एक-आउट क्रॉस-मान्यता है?

शायद इस बात का अधिक विवरण कि आपका उद्देश्य इस प्रश्न का उत्तर देने में क्या मदद करेगा।


मान लें कि यह छुट्टी-एक-आउट है। प्रत्येक गुना में प्रत्येक भविष्यवक्ता के पास पहले से ही एक आत्मविश्वास अंतराल होता है, उदाहरण के लिए, एक बायेसियन पोस्टीरियर CI या आरडी से गलत तरीके से glm(..., family="binomial")आर। मैं छुट्टी-वन-आउट रन के पार प्रत्येक भविष्यवक्ता के अंतराल के साथ क्या करता हूं?
जैक टान्नर
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.