क्रॉस-वेलिडेशन (CV) पर आधारित भविष्यवाणी अंतराल


19

टेक्स्ट बुक्स और यूट्यूब लेक्चर्स में मैंने इसे बढ़ाने के रूप में पुनरावृत्त मॉडल के बारे में बहुत कुछ सीखा, लेकिन मैंने कभी भी एक भविष्यवाणी अंतराल प्राप्त करने के बारे में कुछ नहीं देखा।

क्रॉस सत्यापन निम्नलिखित के लिए उपयोग किया जाता है:

  • मॉडल का चयन : अलग-अलग मॉडल आज़माएं और जो सबसे उपयुक्त हो उसे चुनें। बूस्टिंग के मामले में, ट्यूनिंग मापदंडों का चयन करने के लिए CV का उपयोग करें।
  • मॉडल का मूल्यांकन : चयनित मॉडल के प्रदर्शन का अनुमान लगाएं

मॉडल के मूल्यांकन के लिए कई पैरामीटर महत्वपूर्ण हैं, उनमें से एक अपेक्षित पूर्वानुमान त्रुटि है। क्रॉस सत्यापन भविष्यवाणी की त्रुटि का एक अच्छा अनुमान प्रदान करता है, साथ ही साथ "द एलिमेंट्स ऑफ स्टैटिस्टिकल लर्निंग" पुस्तक में वर्णित है।

लेकिन हम भविष्यवाणी अंतराल का निर्माण करने के लिए अपेक्षित पूर्वानुमान त्रुटि का उपयोग कैसे करते हैं?

और यदि आप उदाहरण के लिए एक घर की कीमत की भविष्यवाणी करते हैं, तो 200.000 € के घर की तुलना में 500.000 € के घर के लिए भविष्यवाणी अंतराल अधिक होगा। हम क्रॉस सत्यापन का उपयोग करके इन पूर्वानुमान अंतरालों का अनुमान कैसे लगाते हैं?


यह अच्छी दिशा में एक कदम है: blog.datadive.net/prediction-intervals-for-random-forests
कैस्पर

मुझे लगता है कि आप जो खोज रहे हैं वह अभिप्रेरित भविष्यवाणियां हैं। Shafer और Vovk jmlr.csail.mit.edu/papers/volume9/shafer08a/shafer08a.pdf द्वारा पेपर देखें ।
एलेक्सी ज़ेत्सेव

क्या आप समझा सकते हैं कि आप क्यों मानते हैं कि 200k के घर की तुलना में 500k के घर के लिए पूर्वानुमान अंतराल "अधिक" होगा? क्या यह नमूनों की संख्या का एक कार्य है? क्या आप मान सकते हैं कि नमूने कुल वितरण से तैयार किए गए हैं?
justanotherbrain

जवाबों:


3

इस प्रश्न पर फिर से पढ़ने के बाद, मैं आपको निम्नलिखित सीमा दे सकता हूं:

मान लें नमूने आईआईडी तैयार कर रहे हैं, वितरण तय हो गई है, और नुकसान से घिरा है तो संभावना कम से कम के साथ, 1 - δ , [ ( ) ] ( ) + बी बी1-δ

[()]^()+बीलॉग1δ2

जहां नमूने का आकार है, और 1 - δ आत्मविश्वास है। McDiarmid की असमानता से बंधी हुई है।1-δ

नमूने का आकार है, [ ( ) ] सामान्यीकरण त्रुटि है, और ( ) परिकल्पना के लिए परीक्षण त्रुटि है।[()]^()

कृपया केवल क्रॉस सत्यापन त्रुटि की रिपोर्ट न करें और न ही परीक्षण त्रुटि, वे सामान्य रूप से निरर्थक हैं क्योंकि वे केवल बिंदु अनुमान हैं।


रिकॉर्ड के लिए पुरानी पोस्ट:

मुझे यकीन नहीं है कि मैं आपके सवाल को पूरी तरह से समझ पा रहा हूं, लेकिन मैं इस पर एक कदम उठाऊंगा।

सबसे पहले, मुझे यकीन नहीं है कि आप मॉडल चयन के लिए एक भविष्यवाणी अंतराल को कैसे परिभाषित करेंगे, क्योंकि जैसा कि मैं समझता हूं, भविष्यवाणी अंतराल कुछ वितरण संबंधी धारणाएं बनाते हैं। इसके बजाय, आप एकाग्रता असमानताओं को प्राप्त कर सकते हैं, जो अनिवार्य रूप से कुछ संभावना के लिए इसके विचरण द्वारा एक यादृच्छिक चर को बाध्य करता है। एकाग्रता असमानताएं थ्रेश मशीन लर्निंग के लिए उपयोग की जाती हैं, जिसमें बढ़ावा देने के लिए उन्नत सिद्धांत शामिल हैं। इस मामले में आप अपने अनुभवजन्य त्रुटि (परीक्षण सेट पर आपकी त्रुटि) और कुछ जटिलता अवधि और एक शब्द जो कि विचरण से संबंधित है, द्वारा सामान्यीकरण त्रुटि (सामान्य रूप से त्रुटि, आपने देखा नहीं है) को बाध्य करना चाहते हैं।

अब मुझे क्रॉस वेलिडेशन के बारे में एक गलतफहमी को दूर करने की जरूरत है जो बेहद आम है। क्रॉस सत्यापन आपको केवल एक फिक्स्ड नमूना आकार के लिए एक मॉडल की अपेक्षित त्रुटि का निष्पक्ष अनुमान देगा। इसके लिए सबूत केवल एक बाहर के प्रोटोकॉल के लिए काम करता है। यह वास्तव में काफी कमजोर है, क्योंकि यह आपको विचरण के बारे में कोई जानकारी नहीं देता है। दूसरी ओर, क्रॉस सत्यापन एक मॉडल लौटाएगा जो संरचनात्मक जोखिम न्यूनतम समाधान के करीब है, जो सैद्धांतिक रूप से सबसे अच्छा समाधान है। आप यहाँ परिशिष्ट में प्रमाण पा सकते हैं: http://www.cns.nyu.edu/~rabadi/resources/scat-150519.pdf

तो एक सामान्यीकरण कैसे प्राप्त किया जाए? (याद रखें एक सामान्यीकरण बाउंड मूल रूप से एक विशिष्ट मॉडल के लिए सामान्यीकरण त्रुटि के बारे में एक भविष्यवाणी अंतराल है)। खैर, ये सीमाएँ एल्गोरिथम विशिष्ट हैं। दुर्भाग्य से केवल एक पाठ्यपुस्तक है जो मशीन लर्निंग (बूस्टिंग सहित) में आमतौर पर उपयोग किए जाने वाले सभी एल्गोरिदम के लिए सीमाएं लगाती है। मोहरी, रोस्तमीज़ादेह और तलवलकर की पुस्तक फ़ाउंडेशन ऑफ़ मशीन लर्निंग (2012) है। सामग्री को कवर करने वाली व्याख्यान स्लाइड के लिए, आप उन्हें मोहरी के वेब-पेज: http://www.cs.nyu.edu/~mohri/ml14/ पर पा सकते हैं

जबकि सांख्यिकीय लर्निंग के तत्व एक महत्वपूर्ण और कुछ हद तक सहायक पुस्तक है, यह बहुत कठोर नहीं है और यह एल्गोरिदम के बारे में कई बहुत महत्वपूर्ण तकनीकी विवरणों को छोड़ देता है और किसी भी प्रकार के सामान्यीकरण सीमा को पूरी तरह से छोड़ देता है। मशीन लर्निंग की नींव मशीन लर्निंग के लिए सबसे व्यापक पुस्तक है (जो यह देखकर समझ में आता है कि यह क्षेत्र में सर्वश्रेष्ठ में से कुछ द्वारा लिखा गया था)। हालाँकि, पाठ्यपुस्तक उन्नत है, इसलिए तकनीकी विवरणों से सावधान रहें।

बढ़ावा देने के लिए बाध्य सामान्यीकरण यहां पाया जा सकता है (प्रमाण के साथ): http://www.cs.nyu.edu/~mohri/mls/lecture_6.pdf

मुझे उम्मीद है कि आपके प्रश्न का उत्तर देने के लिए वे पर्याप्त संकेत हैं। मुझे पूरा जवाब देने में संकोच हो रहा है क्योंकि सभी आवश्यक विवरणों पर जाने के लिए लगभग 50 पृष्ठों का समय लगेगा, अकेले प्रारंभिक जीवनकाल के बारे में ...

सौभाग्य!


इसलिए अगर मैं अच्छी तरह से समझता हूं, तो यह पूरे वितरण (कुछ मान्यताओं के आधार पर) पर किसी भी मात्रा के लिए सामान्यीकरण त्रुटि के लिए एक ऊपरी बाध्य देता है। हालाँकि मुझे आपकी सजा समझ नहीं आ रही है "कृपया या तो क्रॉस सत्यापन त्रुटि की रिपोर्ट न करें और न ही परीक्षण त्रुटि"। क्या आपका मतलब है कि ये दो उपाय बेकार हैं या क्या वे केवल एक भविष्यवाणी अंतराल को खोजने की कोशिश करने के लिए बेकार हैं?
लुइसबीबीबी

@LouisBBBB CV त्रुटि और परीक्षण त्रुटि एक नमूना माध्य की रिपोर्टिंग की तरह है। आमतौर पर किसी तरह के आत्मविश्वास अंतराल के बिना नमूना मतलब रिपोर्ट करने के लिए यह बुरा अभ्यास है क्योंकि हर बार जब मैं प्रयोग करता हूं तो मुझे एक अलग परिणाम मिलेगा। मैंने व्यर्थ कहा, लेकिन शायद "बेकार" बेहतर है ... कोई यह तर्क दे सकता है कि एक बिंदु अनुमान (यानी, परिभाषा) में कुछ अर्थ है। लेकिन सामान्य तौर पर, बिंदु अनुमान, "बेकार" इस ​​अर्थ में है कि वे "उपयोगी तरीके से" त्रुटि के वितरण की विशेषता नहीं रखते हैं। निर्णय लेने के संदर्भ में "उपयोगी"।
justanotherbrain

मुझे लगता है कि मैं समझता हूं कि आप क्या कहते हैं। इसलिए आप माध्य के बजाय त्रुटियों के वितरण का विश्लेषण करना पसंद करते हैं। और अगर मैं इस प्रश्न पर वापस जाता हूं, तो कैस्पर ने भविष्यवाणी अंतराल "प्रति बिंदु" का अनुमान चाहा था। आपका उत्तर भविष्यवाणी अंतराल लंबाई (या कुछ और करीब) के लिए एक वैश्विक ऊपरी सीमा थी, क्या यह सही है? तो क्या आप स्थानीय ऊपरी सीमा प्राप्त करने का एक तरीका जानते हैं?
लुइसबीबीबी

आह - स्पष्ट करने के लिए धन्यवाद। मुझे लगता है कि मैंने @ कास्पर के प्रश्न को गलत समझा है और मेरे बहुत सारे फॉलोअप सवाल हैं। यह इंगित करने के लिए धन्यवाद, मैं कुछ खुदाई करूँगा।
justanotherbrain
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.