मशीन लर्निंग एल्गोरिदम के लिए भविष्यवाणी अंतराल


14

मैं जानना चाहता हूं कि क्या नीचे वर्णित प्रक्रिया वैध / स्वीकार्य और उपलब्ध कोई औचित्य है।

यह विचार: पर्यवेक्षित शिक्षण एल्गोरिदम डेटा के बारे में अंतर्निहित संरचनाओं / वितरणों को नहीं मानते हैं। दिन के अंत में वे आउटपुट पॉइंट अनुमान लगाते हैं। मैं किसी भी तरह अनुमानों की अनिश्चितता की मात्रा की उम्मीद करता हूं। अब, एमएल मॉडल निर्माण की प्रक्रिया स्वाभाविक रूप से यादृच्छिक है (जैसे हाइपरपैरेट ट्यूनिंग के लिए क्रॉस-मान्यता के लिए नमूने में और स्टोचैस्टिक जीबीएम में सबसम्पलिंग में), इसलिए एक मॉडलिंग पाइपलाइन मुझे प्रत्येक अलग बीज वाले एक ही भविष्यवक्ता के लिए एक अलग आउटपुट देने जा रही है। मेरे (भोले) विचार को भविष्यवाणी के वितरण के साथ आने के लिए इस प्रक्रिया को बार-बार चलाना है, और मैं भविष्यवाणियों की अनिश्चितता के बारे में उम्मीद कर सकता हूं।

यदि यह मायने रखता है, तो मेरे साथ काम करने वाले डेटासेट आमतौर पर बहुत छोटे होते हैं (~ 200 पंक्तियों)।

इसका कोई मतलब भी है क्या?

स्पष्ट करने के लिए, मैं वास्तव में पारंपरिक अर्थों में डेटा बूटस्ट्रैपिंग नहीं कर रहा हूं (यानी मैं डेटा का पुन: नमूना नहीं बना रहा हूं)। एक ही डेटासेट का उपयोग हर पुनरावृत्ति में किया जाता है, मैं सिर्फ xval और stochastic GBM में यादृच्छिकता का शोषण कर रहा हूँ।


2
यदि आप वास्तव में एक भविष्यवाणी अंतराल (एक आत्मविश्वास अंतराल के बजाय) चाहते हैं, तो आपको मॉडल के बारे में टिप्पणियों में भिन्नता को ध्यान में रखने की आवश्यकता है, न कि केवल मॉडल की भविष्यवाणी में भिन्नता
Glen_b -Reinstate मोनिका

@Glen_b ओपी में उल्लिखित दृष्टिकोण या एक बढ़ाया संस्करण मुझे विश्वास अंतराल मिलेगा? मुझे लगता है कि डेटा के लिए अंतर्निहित वितरण को निर्दिष्ट किए बिना एक भविष्यवाणी अंतराल संभव नहीं है, इसलिए मुझे हर बार सवाल को फिर से लिखना पड़ सकता है।
केविन्यकुओ

आप पूर्वानुमान अंतराल को
बूट

@Glen_b आप एक उत्तर में ऐसा करने का वर्णन कैसे कर सकते हैं?
केविन्यकुओ

1
मैं यहां पर्याप्त जवाब नहीं दे सका। लेकिन डेविसन एंड हिंकले (1997) को कई प्रतिगमन और जीएलएम पर अध्यायों में देखें, जो उस तरह की चीज का बोध कराते हैं जिसकी जरूरत हो सकती है। उदाहरण के लिए कई प्रतिगमन के मामले में, भविष्यवाणियां अनिश्चित अनिश्चितता (पैरामीटर अनिश्चितता के कारण भविष्यवाणियों में भिन्नता) के बूटस्ट्रैप अनुमान प्राप्त करने के लिए फिर से तैयार की जाती हैं और प्रक्रिया भिन्नता से निपटने के लिए फिर से बदल दी जाती हैं। एक उपयुक्त योजना के साथ आप शायद उस पहले चरण में मॉडल विनिर्देश अनिश्चितता से निपटने में सक्षम हो सकते हैं, लेकिन आप प्रक्रिया परिवर्तनशीलता के लिए दूसरा चरण नहीं छोड़ सकते हैं
Glen_b -Reate Monica

जवाबों:


5

मेरे लिए यह भविष्यवाणियों में अनिश्चितताओं को निर्धारित करने के लिए किसी भी दृष्टिकोण के रूप में अच्छा लगता है। बस हर बूटस्ट्रैप रिस्पांस में खरोंच से सभी मॉडलिंग चरणों (एक जीबीएम के लिए पैरामीटर ट्यूनिंग होगा) को दोहराना सुनिश्चित करें। यह रैंकिंग में अनिश्चितता को निर्धारित करने के लिए महत्वपूर्ण रैंकिंग को बूटस्ट्रैप करने के लिए भी योग्य हो सकता है।

मैंने पाया है कि कभी-कभी अंतराल में वास्तविक भविष्यवाणी नहीं होती है, खासकर जब एक संभावना का अनुमान लगाते हैं। प्रत्येक टर्मिनल नोड में कम से कम टिप्पणियों को बढ़ाना आमतौर पर हल करता है, कम से कम उस डेटा में जो मैंने काम किया है।

नए डेटा पर भविष्यवाणियों में विश्वास को बढ़ा-चढ़ाकर पेश करने के लिए एक उपयुक्त दृष्टिकोण के रूप में अनुरूप भविष्यवाणी दिखाई देती है। मैंने अब तक केवल सतह को खरोंच किया है और अन्य शायद उस पर एक विकल्प देने के लिए अधिक अनुकूल हैं।

इस पोस्ट में GBM पूर्वानुमान इंटरवल खोजने के बारे में मेरे उत्तर में कुछ क्रूड आर-कोड है ।

उम्मीद है की यह मदद करेगा!


2

आप अपनी अनिश्चितता को 'पूर्वाग्रह' और 'भिन्नता' की शर्तों के बारे में विभाजित कर सकते हैं। बायस शब्द से तात्पर्य मॉडल के गलत निर्धारण से है: यदि आप नॉनलाइनियर फ़ंक्शन के लिए रैखिक मॉडल फिट करते हैं, तो आपको हमेशा कुछ त्रुटि मिलेगी। 'वेरिएंस' शब्द का अर्थ है मॉडल के मापदंडों के अनुमान में त्रुटि। आप अनिश्चितता के भिन्नता वाले भाग के लिए दृष्टिकोण करते हैं, जबकि पूर्वाग्रह का अनुमान नहीं लगा सकते।

जैसा कि @ErikL द्वारा सुझाया गया है, पूर्वानुमान भविष्यवाणी सैद्धांतिक रूप से उचित दृष्टिकोण है जो बूटस्ट्रैप के लिए काफी समान विचार को अपनाता है। एक नए बिंदु का उपयोग करके मॉडल के पुनर्निर्माण का उपयोग करते हुए अनुरूप भविष्यवाणी पूर्वाग्रह और विचरण दोनों को ध्यान में रखती है, जबकि प्रतिगमन के लिए उन्हें महत्वपूर्ण कम्प्यूटेशनल संसाधनों की आवश्यकता होती है। आप नॉनफॉर्मफॉर्मिस्ट लाइब्रेरी का उपयोग करके पायथन के साथ इसे आजमा सकते हैं ।


1

नहीं, यह एक बुरे विचार की तरह लगता है। सबसे पहले, जैसा कि एलेक्सी ने बताया, पूर्वाग्रह और विचरण है। यहां तक ​​कि सर्वोत्तम मापदंडों के विकल्प के लिए, आप विचरण से बच नहीं सकते। आपकी विधि इसे संबोधित करने का प्रयास भी नहीं करती है। एक और बहुत महत्वपूर्ण मुद्दा है, कि कुछ, और शायद सबसे अधिक, आपके मॉडल की त्रुटि मॉडल के अंतर्निहित यादृच्छिकता के बजाय डेटा में है। (यह उल्लेख करने के लिए नहीं कि कुछ मॉडल, जैसे सादे रैखिक प्रतिगमन, बिल्कुल यादृच्छिक नहीं हैं, और यादृच्छिक मॉडल के लिए, यादृच्छिकता की डिग्री मॉडल से मॉडल में भिन्न होती है)

मेरा सुझाव है कि आप कुछ सरल सिम्युलेटेड डेटा पर अपने दृष्टिकोण का परीक्षण करें, और कुछ मॉडल जो आप जानते हैं। मुझे यकीन है कि, जिन कारणों से मैंने वर्णन किया है, आपकी अनुमानित त्रुटि वास्तविक त्रुटि की तुलना में बहुत छोटी होगी (या आपका वितरण बहुत अधिक संकीर्ण होगा)।

त्रुटि वितरण के आकलन के लिए आप एक अच्छे पुराने क्रॉस-सत्यापन का उपयोग कर सकते हैं।


0

मैं अब इस समस्या के बारे में सोच रहा हूं। यहाँ मेरे निष्कर्ष हैं:

(1) डेल्टा विधि
(2) बूटस्ट्रैप रिसमलिंग
(3) बायेसियन विधि
(4) मीन-वैरिएस अनुमान (MVE)

विचार भविष्यवाणी की परिवर्तनशीलता के दो स्रोतों, मॉडल पैरामीटर अनुमान से अनिश्चितता और इरेड्यूसबल त्रुटि का अनुमान लगाने की कोशिश कर रहा है।

यहाँ कई संदर्भ हैं:

मॉडल आउटपुट के लिए भविष्यवाणी अंतराल के आकलन के लिए मशीन लर्निंग दृष्टिकोण, दुर्गा एल। श्रेष्ठा, दिमित्री पी। सोलोमैटिन, 2006
तंत्रिका नेटवर्क मॉडल के लिए कुछ त्रुटि अनुमानों की तुलना, रॉबर्ट टिब्शिरानी, ​​1995
तंत्रिका नेटवर्क-आधारित भविष्यवाणी अंतराल और नई की व्यापक समीक्षा एडवांस, अब्बास खोसरावी, डग क्रेइटन, 2011

आशा है कि यह मदद करता है और मुझे सही करता है उपरोक्त में से कोई भी अनुचित है। मैं दूसरों से अधिक सुनना चाहते हैं।


1
क्या आप बता सकते हैं कि यह पोस्ट मूल प्रश्न को कैसे संबोधित करती है?
whuber

शीर्षक 'PI फॉर एमएल एल्गोरिदम' है, @kevinykuo पूछ रहा है कि क्या उसका 'बूटस्ट्रैपिंग' तरीका काम करता है। मैं न्यूरल नेटवर्क के लिए पीआई में उपयोग किए जाने वाले कुछ तरीकों पर कई संदर्भों की ओर इशारा कर रहा हूं।
डेमो
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.