के-गुना सीवी के साथ मूल (?) मॉडल का चयन

प्रतिगमन मॉडल के बीच चयन करने के लिए के-फोल्ड सीवी का उपयोग करते समय, मैं आमतौर पर प्रत्येक मॉडल के लिए अलग से सीवी त्रुटि की गणना करता हूं, साथ में इसकी मानक त्रुटि एसई, और मैं सबसे कम सीवी त्रुटि वाले मॉडल के 1 एसई के भीतर सबसे सरल मॉडल का चयन करता हूं (1) मानक त्रुटि नियम, उदाहरण के लिए यहां देखें )। हालांकि, मुझे हाल ही में बताया गया है कि इस तरह से मैं परिवर्तनशीलता को कम कर रहा हूं, और यह कि दो मॉडल ए और बी के बीच चयन करने के विशिष्ट मामले में, मुझे वास्तव में एक अलग तरीके से आगे बढ़ना चाहिए:

प्रत्येक गुना के लिए $K$ लंबाई की $N_K$ , दो मॉडल भविष्यवाणियों के बीच बिंदुवार अंतर की गणना करें। फिर गुना के लिए माध्य वर्ग अंतर की गणना करें $म एस {डी}_{क} = \sqrt{\frac{Σ_{मैं = 1}^{{एन}_{क}} {({\hat{y}}_{ए मैं} - {\hat{y}}_{बी मैं})}^{2}}{{एन}_{क}}}$ $MSD_K=\sqrt{\frac{\sum_{i=1}^{N_K}\left(\hat{y}_{Ai}-\hat{y}_{Bi}\right)^2}{N_K}}$
औसत $MSD_K$ सामान्य रूप से सिलवटों के पार, और सामान्यीकरण त्रुटि के लिए एक अनुमानक के रूप में इस सीवी अंतर त्रुटि (अपनी मानक त्रुटि के साथ) का उपयोग करें।

प्रशन:

क्या यह आपको सही प्रतीत होता है? मुझे पता है कि सामान्यीकरण त्रुटि के अनुमानक के रूप में CV त्रुटि के उपयोग के पीछे सैद्धांतिक कारण हैं (मुझे नहीं पता कि ये कारण क्या हैं, लेकिन मुझे पता है कि वे मौजूद हैं!)। मुझे कोई पता नहीं है कि इस "अंतर" सीवी त्रुटि के उपयोग के पीछे सैद्धांतिक कारण हैं।
मुझे नहीं पता कि यह दो से अधिक मॉडल की तुलना के लिए सामान्यीकृत किया जा सकता है या नहीं। सभी मॉडलों के मॉडल के लिए अंतर की गणना करना जोखिम भरा लगता है (कई तुलनाएं?): यदि आपके पास दो से अधिक मॉडल हैं तो आप क्या करेंगे?

संपादित करें: मेरा सूत्र पूरी तरह से गलत है, सही मीट्रिक यहाँ वर्णित है और यह बहुत अधिक जटिल है। खैर, मुझे खुशी है कि मैंने सूत्र को स्पष्ट रूप से लागू करने से पहले यहां पूछा! मैं उसका जवाब देने में उसकी मदद करने के लिए @Bay को धन्यवाद देता हूं। वर्णित सही माप काफी प्रयोगात्मक है, इसलिए मैं अपने विश्वसनीय कार्य-घोड़े, सीवी त्रुटि से चिपकूंगा!

regression cross-validation model-selection

— DeltaIV
स्रोत

$MSD_K$ सामान्यीकरण त्रुटि का एक अजीब उपाय है, क्योंकि होल्ड सेट तस्वीर में भी नहीं आता है। यह सब आपको बताएगा कि मॉडल की भविष्यवाणियों को एक-दूसरे के साथ कैसे सहसंबद्ध किया जाता है, लेकिन वास्तव में परीक्षण डेटा बिंदु की भविष्यवाणी कितनी अच्छी तरह से की जाती है, इसके बारे में कुछ भी नहीं।

उदाहरण के लिए, मैं भविष्यवाणियों की गूंगी जोड़ी के साथ आ सकता हूं:

{\hat{y}}_{ए} (एक्स, θ) = 1 + \frac{⟨ एक्स, 1 ⟩}{θ}

$\hat y_A(\mathbf{x},\theta)= 1+\frac{\langle \mathbf{x},1\rangle}\theta$

{\hat{y}}_{बी} (एक्स, θ) : = 1 + \frac{⟨ एक्स, 1 ⟩}{θ^{2}}

$\hat y_B(\mathbf{x},\theta):= 1+\frac{\langle \mathbf{x},1\rangle}{\theta^2}$

इस मामले में, क्रॉस सत्यापन पर ट्यूनिंग मुझे सेट करने के लिए कहेगी $\theta$ जितना संभव हो उतना बड़ा है क्योंकि यह नीचे चला जाएगा $MSD_K$ , लेकिन मुझे संदेह है कि ये मॉडल अच्छे भविष्यवक्ता होंगे।

मैंने लिंक पर एक नज़र डाली, लेकिन मैंने आपका नहीं देखा $MSD_K$ वहां उपाय करें। एंड्रयू गेलमैन एक अच्छी तरह से सम्मानित सांख्यिकीविद् हैं, इसलिए मुझे संदेह है कि वह ऊपर की तरह कुछ का समर्थन करेंगे, जो सामान्यीकरण त्रुटि के अनुमानक के रूप में स्पष्ट रूप से विफल रहता है। उनके पेपर और लिंक ने लीव वन आउट (LOO) क्रॉस वैधीकरण पर चर्चा की, जिसके लिए बेंचमार्क के रूप में अभी भी एक परीक्षण डेटा बिंदु (यानी, प्रशिक्षण से बाहर) की तुलना की आवश्यकता है। $MSD_K$ एक विशुद्ध रूप से "आवक" मीट्रिक है जो आपको अपेक्षित परीक्षण त्रुटि के बारे में कुछ भी नहीं बताएगा (सिवाय इसके कि शायद दो मॉडलों में समान त्रुटियां हो सकती हैं ...)।

ओपी टिप्पणी का जवाब

आपकी टिप्पणी में प्रस्तुत सूत्र को थोड़ा संदर्भ की आवश्यकता है:

यह सटीकता की एक बायेसियन उपाय है, कि में elpd है उम्मीद लॉग pointwise भविष्य कहनेवाला घनत्व - काफी एक कौर, लेकिन मूल रूप से, यह कुछ पहले भविष्य कहनेवाला के तहत प्रत्येक डेटा बिंदु पर मूल्यांकन किया जाता पीछे भविष्य कहनेवाला घनत्व के लघुगणक की उम्मीद मानों का योग है घनत्व जो क्रॉस वेलिडेशन का उपयोग करके अनुमानित किया गया है।
उपरोक्त उपाय (एल्पड) की गणना एक क्रॉस-वैलीडेशन लीव का उपयोग करके की जाती है, जहाँ पर पूर्वानुमेय घनत्व को छोड़े गए बिंदु पर लिया जाता है।
उनका फार्मूला (19) क्या कर रहा है, दो मॉडलों के बीच भविष्य कहनेवाला सटीकता (एल्पड का उपयोग करके मापा गया) में अंतर की मानक त्रुटि की गणना कर रहा है। यह विचार है कि एल्प्ड के अंतर में एसिम्प्टोटिकली सामान्य है, इसलिए मानक त्रुटि में हीन मीनिंग है (और इसका उपयोग यह परीक्षण करने के लिए किया जा सकता है कि अंतर्निहित अंतर शून्य है), या मॉडल ए में मॉडल बी के लिए एक छोटी भविष्यवाणी त्रुटि है।

तो, इस उपाय के लिए बहुत सारे चलते हुए भाग हैं: आपको पोस्टकार्ड पैरामीटर घनत्व से अंक प्राप्त करने के लिए एक एमसीएमसी नमूना एल्गोरिथ्म चलाना होगा। फिर आपको भविष्य कहनेवाला घनत्व प्राप्त करने के लिए इसे एकीकृत करने की आवश्यकता है। फिर आपको इनमें से प्रत्येक (कई ड्रॉ से अधिक) के अपेक्षित मूल्यों को लेने की आवश्यकता है। इसकी काफी प्रक्रिया है, लेकिन अंत में यह एक उपयोगी मानक त्रुटि देने वाला है।

नोट: समीकरण (19) के नीचे तीसरे पूर्ण पैराग्राफ में, लेखकों ने कहा कि यह निर्धारित करने के लिए और अधिक शोध की आवश्यकता है कि क्या यह दृष्टिकोण मॉडल तुलना के लिए अच्छा प्रदर्शन करता है ... इसलिए, इसका अभी तक परीक्षण नहीं किया गया है (अत्यधिक प्रयोगात्मक)। इस प्रकार, आप मूल रूप से इस पद्धति की उपयोगिता पर भरोसा कर रहे हैं जब तक अनुवर्ती अध्ययन यह सत्यापित करते हैं कि यह बेहतर मॉडल ( एल्प के संदर्भ में ) की पहचान करता है ।

मुझे आपकी बात समझ में आ गई है: स्पष्ट रूप से मैं (साथ ही मेरे सहयोगी ने जो मुझे कागज की ओर इशारा किया था) इसकी एक बात समझ में नहीं आई। क्या आप मुझे समझा सकते हैं कि गेलमैन ने "उनके [मॉडल ए और बी] अंतर के मानक त्रुटि" को क्या कहा है?

s e ({\hat{e l p d}}_{L O O}^{A} - {\hat{e l p d}}_{L O O}^{B})

$se(\widehat{elpd}_{LOO}^A-\widehat{elpd}_{LOO}^B)$ ? लिंक किए गए कागज के पृष्ठ 18, बराबर। 5.2। यह वास्तव में मदद करेगा यदि आप एक सरल उदाहरण प्रदान कर सकते हैं जहां आप दिखाते हैं कि इस शब्द की गणना कैसे करें। यहाँ निश्चित रूप से बहुत कुछ है जो मैं यहाँ नहीं समझ रहा हूँ।

— डेल्टा

@DeltaIV ठीक है ... मैं संदर्भित अनुभाग को देखूंगा और आपके लिए उस सूत्र को अनपैक करने का प्रयास करूंगा।

@DeltaIV ठीक है, मुझे समीक्षा करने के लिए एक बदलाव करना पड़ा है। मैंने अपनी पोस्ट का विस्तार किया है। यह दो भविष्यवाणी मॉडल की तुलना करने के लिए एक बहुत ही प्रयोगात्मक (और असत्यापित) विधि प्रतीत होती है। जब तक आप अपने स्वयं के मोंटे कार्लो अध्ययनों के साथ इसके प्रदर्शन को सत्यापित नहीं कर सकते (अर्थात, जब आप सही उत्तर जानते हैं तो यह अधिक भविष्य कहनेवाला मॉडल चुन सकते हैं?) इसका उपयोग करने में सावधानी बरतनी चाहिए।