छुट्टी-एक-आउट क्रॉस-सत्यापन का उच्च संस्करण

Question

मैं बार-बार पढ़ता हूं कि "लीव-वन-आउट" क्रॉस-वैरिफिकेशन में प्रशिक्षण सिलेंडों के बड़े ओवरलैप के कारण उच्च विचरण है। हालाँकि मुझे समझ नहीं आया कि ऐसा क्यों है: क्या क्रॉस-वेलिडेशन का प्रदर्शन बिल्कुल स्थिर (कम विचरण) नहीं होना चाहिए क्योंकि प्रशिक्षण सेट लगभग समान हैं? या क्या मुझे पूरी तरह से "विचरण" की अवधारणा की गलत समझ है?

मैं यह भी पूरी तरह से नहीं समझता कि एलओयू निष्पक्ष कैसे हो सकता है, लेकिन एक उच्च विचरण है? यदि एलओओ अनुमान प्रत्याशा में वास्तविक अनुमानक मूल्य के बराबर है - तो यह उच्च संस्करण कैसे हो सकता है?

नोट: मुझे पता है कि यहां एक समान प्रश्न है: त्रुटि उच्च के लिए औसत अनुमान के बारे में छुट्टी-एक-आउट क्रॉस-सत्यापन (LOOCV) संस्करण क्यों है? हालाँकि जिस व्यक्ति ने उत्तर दिया है वह बाद की टिप्पणियों में कहता है कि उत्थान के बावजूद उसने महसूस किया है कि उसका उत्तर गलत है।

Comments

मैं वह व्यक्ति हूं, लेकिन कृपया ध्यान दें कि, पहले, मैंने कुछ समय पहले ही भ्रम को दूर करने के लिए अपना उत्तर अपडेट कर दिया है, और, दूसरा, यह कि पूरा धागा दूसरे धागे के डुप्लिकेट के रूप में बंद है : ysts.stackexchange.com/ प्रश्न / 61783 । क्या तुमने वहाँ देखा? आपका क्यू मुझे लगता है कि उस एक का डुप्लिकेट भी है। यदि आप वहां दिए गए उत्तर से नाखुश हैं, तो अपने प्रश्न को विशेष रूप से तैयार करने पर विचार करें। अभी मैं बंद करने के लिए मतदान करूंगा, लेकिन अपने Q को संपादित करने के लिए स्वतंत्र महसूस करूंगा।

— अमीबा का कहना है कि मोनिका

क्रॉस-सत्यापन में वेरिएंस और पूर्वाग्रह के

— अमीबा का कहना है कि मोनिका

ठीक है, यह आसान है: एक पैरामीटर का वास्तविक मान । एक अनुमानक जो ०.४ ९ , ०.५१ , ०.४ ९ , ०.५१ ... की पैदावार निष्पक्ष है और इसमें अपेक्षाकृत कम विचरण है, लेकिन एक अनुमानक ०.१ , ०.९ , ०.१ , ०.९ , ०ields है ... यह भी निष्पक्ष है लेकिन बहुत अधिक विचरण करता है। $0.5$$0.49, 0.51, 0.49, 0.51...$$0.1, 0.9, 0.1, 0.9...$

— अमीबा का कहना है कि

अपने पहले पैराग्राफ के बारे में: आपको संपूर्ण डेटासेट के विभिन्न प्रकारों के विचरण के बारे में सोचना होगा । किसी दिए गए डेटासेट के लिए, LOOCV वास्तव में प्रत्येक विभाजन के लिए बहुत समान मॉडल का उत्पादन करेगा क्योंकि प्रशिक्षण सेट बहुत अधिक (जैसा आपने कहा) प्रतिच्छेद कर रहे हैं, लेकिन ये सभी मॉडल एक साथ सच्चे मॉडल से बहुत दूर हो सकते हैं ; पूरे डेटासेट में, वे विभिन्न दिशाओं में बहुत दूर होंगे, इसलिए उच्च विचरण। यही कारण है कि मैं इसे गुणात्मक रूप से समझता हूं।

— अमीबा का कहना है कि

@amoeba, उन टिप्पणियों को आधिकारिक उत्तर में क्यों नहीं बदल दिया गया?

— गुंग - को पुनः स्थापित मोनिका

Answer 1

यह सवाल शायद अंत में वैरिंक्स और पूर्वाग्रह की नकल के रूप में बंद होने जा रहा है : क्रॉस-वन-आउट सीवी में भिन्नता क्यों है? , लेकिन ऐसा होने से पहले मुझे लगता है कि मैं अपनी टिप्पणियों को एक उत्तर में बदल दूंगा।

मैं यह भी पूरी तरह से नहीं समझता कि एलओयू निष्पक्ष कैसे हो सकता है, लेकिन एक उच्च विचरण है?

एक साधारण उदाहरण पर विचार करें। मान लें कि पैरामीटर का सही मान । एक आकलनकर्ता कि पैदावार 0.49 , 0.51 , 0.49 , 0.51 ... निष्पक्ष है और अपेक्षाकृत कम विचरण है, लेकिन एक आकलनकर्ता कि पैदावार 0.1 , 0.9 , 0.1 , $0.5$$0.49,0.51,0.49,0.51...$$0.1,0.9,0.1,0.9...$ यह भी निष्पक्ष है लेकिन बहुत अधिक विचरण करता है।

क्या क्रॉस-वेलिडेशन का प्रदर्शन बिल्कुल स्थिर (कम विचरण) नहीं होना चाहिए क्योंकि प्रशिक्षण सेट लगभग समान हैं?

आपको संपूर्ण डेटासेट के विभिन्न प्रकारों के विचरण के बारे में सोचने की आवश्यकता है। किसी दिए गए डेटासेट के लिए, लीव-वन-आउट क्रॉस-मान्यता वास्तव में प्रत्येक विभाजन के लिए बहुत समान मॉडल का उत्पादन करेगी क्योंकि प्रशिक्षण सेट बहुत अधिक अंतर कर रहे हैं (जैसा कि आपने सही ढंग से देखा है), लेकिन ये सभी मॉडल एक साथ सच्चे मॉडल से बहुत दूर हो सकते हैं; पूरे डेटासेट में, वे अलग-अलग दिशाओं में दूर होंगे, इसलिए उच्च विचरण।

कम से कम मैं इसे कैसे समझता हूं। कृपया अधिक चर्चा के लिए लिंक किए गए धागे देखें, और अधिक चर्चा के लिए संदर्भित पेपर।

Comments

इसलिए, जैसा कि मैं इसे समझता हूं, कम पूर्वाग्रह दिया जाता है क्योंकि प्रशिक्षण सेट बहुत बड़ा है - संपूर्ण डेटासेट के साथ लगभग समान (जैसा कि केवल एक डेटा नमूना परीक्षण के लिए छोड़ दिया गया है)। इसलिए, एक विशेष डेटासेट के लिए हम बहुत अच्छे अनुमान की उम्मीद कर सकते हैं। हालाँकि, फोल्ड्स के इस उच्च सहसंबंध के कारण (इसके पुनरावृत्तियों में समरूप डेटा पर लगभग क्रॉसवैलिडेशन किया जाता है), इस विशेष डेटासेट के लिए अनुमान भी बहुत विशिष्ट है, जिसके परिणामस्वरूप एक ही अंतर्निहित वितरण से विभिन्न डेटासेट पर प्रदर्शन के बीच उच्च विचरण होता है। । सही बात?

— पुग्ल

मुझे लगता है कि यह ज्यादातर सही है, लेकिन किसी को यह कहते हुए सावधान रहना चाहिए for one particular dataset we can expect a very good estimation। मुझे लगता है कि कोई इसे व्याख्या कर सकता है जिसका अर्थ है कि कुछ डेटासेट-विशिष्ट पैरामीटर का अनुमान अच्छा होगा। लेकिन सामान्य क्रॉस-वैलिडेशन में जनसंख्या पैरामीटर का अनुमान लगाया जाता है : एक निश्चित प्रकार का मॉडल आबादी में आश्रित चर के बारे में भविष्यवाणियां कैसे कर सकता है; और हम LOOCV द्वारा इसके बारे में बहुत अच्छे अनुमान की उम्मीद नहीं कर सकते हैं , क्योंकि आपने जो लिखा है (अनुमान है very specific for this particular dataset)।

— अमीबा का कहना है कि मोनिका

मुझे एक चेतावनी जोड़नी चाहिए कि यह सब मेरी वर्तमान समझ है, लेकिन सामान्य तौर पर मुझे यह विषय काफी पेचीदा लगता है और क्रॉस-मान्यता के साथ मेरा अनुभव सीमित है। मैं एक विशेषज्ञ नहीं हूं।

— अमीबा का कहना है कि मोनिका

मैं पूछ सकता हूं कि आपको यह मुश्किल क्यों लगता है? मुझे इस बात की उत्सुकता है क्योंकि यह मुझे कुछ सिखा सकता है कि सीवी के बारे में कहां सावधान रहना चाहिए या कहां से अपना ज्ञान गहरा करना है

— Pugl

इस सूत्र में स्वीकार किए गए उत्तर को देखते हुए , शायद आपको इस उत्तर में LOOCV के उच्च संस्करण का उल्लेख करने की आवश्यकता नहीं है, इसलिए , इसलिए उच्च संस्करण ? मैंने थोड़ी देर के लिए इन सवालों के बारे में सोचा है और निरंतर ("निरंतर") प्रतिगमन समस्याओं में LOOCV के उच्च विचरण के लिए किसी भी सैद्धांतिक कारण के साथ नहीं आ सका, हालांकि मैं लिंक्ड थ्रेड में टिप्पणियों में पॉल की बात देखता हूं कि LOOCV विफल रहता है? यदि आपके नमूने में प्रत्येक बिंदु के डुप्लिकेट हैं।

— रिचर्ड हार्डी

Answer 2

यह उच्च विचरण प्रशिक्षण सेटों के स्थान के संबंध में है। यहाँ इसलिए है कि LOOCV में उच्च विचरण होता है: LOOCV में, हम प्रत्येक अवलोकन के लिए भविष्यवाणी त्रुटि प्राप्त करते हैं, मैं अवलोकन करता हूं, इस अवलोकन को छोड़कर पूरे अवलोकन किए गए डेटासेट का उपयोग करते हुए। तो, मेरे लिए अनुमानित मूल्य वर्तमान डेटासेट पर बहुत निर्भर है। अब मान लें कि हम एक और स्वतंत्र डेटासेट का निरीक्षण करते हैं और इस नए डेटासेट पर एक मॉडल फिट करते हैं। यदि हम इस नए मॉडल का उपयोग अवलोकन i के लिए अनुमानित मूल्य प्राप्त करने के लिए करते हैं, तो अनुमानित मूल्य LOOCV द्वारा मूल्यांकन किए गए (हालांकि औसतन (निष्पक्ष) सही) से बहुत अलग है।

यह LOOCV में त्रुटि भविष्यवाणी के उच्च विचरण के पीछे अंतर्ज्ञान है।

हालांकि, यदि आप विभिन्न हाइपरपैरेटरों वाले मॉडल के परिणामों की तुलना करने के लिए LOOCV का उपयोग कर रहे हैं, तो मेरा मानना ​​है कि आप भविष्यवाणी की त्रुटियों का अनुमान लगाने के लिए सुरक्षित रूप से LOOCV का उपयोग कर सकते हैं, बशर्ते कि भविष्यवाणी की त्रुटि का सही मूल्य आपके हित में न हो, यानी आप बस चाहते हैं अवलोकन किए गए प्रशिक्षण सेट वाले विभिन्न मॉडलों की तुलना करें और आप अनुमान लगाने के लिए वास्तविक वास्तविक त्रुटि के बारे में परवाह नहीं करते हैं।

कहा कि, अंगूठे के एक नियम के रूप में, यदि आपके पास एक छोटा सा नमूना है, तो LOOCV का उपयोग करें, अन्यथा, कश्मीर-गुना CV का उपयोग कश्मीर के लिए एक छोटे मूल्य के साथ करें।