सबसे पहले, एक सवाल है कि पहले से ही विस्तार से चर्चा की गई पोस्ट करने के लिए क्षमा याचना यहाँ , यहाँ , यहाँ , यहाँ , यहाँ, और एक पुराने विषय को फिर से गरम करने के लिए। मुझे पता है @DikranMarsupial ने इस विषय पर पोस्ट और जर्नल पेपर्स में लंबाई के बारे में लिखा है, लेकिन मैं अभी भी भ्रमित हूं, और यहां समान पोस्ट की संख्या से देखते हुए, यह अभी भी कुछ ऐसा है जो दूसरों को समझ में आता है। मुझे यह भी बताना चाहिए कि मुझे इस विषय पर विरोधाभासी जानकारी मिली है जिसने मेरी उलझन को और बढ़ा दिया है। आपको यह भी पता होना चाहिए कि मैं मूल रूप से एक भौतिक विज्ञानी हूं और एक सांख्यिकीविद् नहीं हूं, इसलिए यहां मेरा डोमेन विशेषज्ञता कुछ हद तक सीमित है। मैं एक जर्नल पेपर लिख रहा हूं जिसमें मैं अपने अंतिम मॉडल से अपेक्षित प्रदर्शन का अनुमान लगाने के लिए नेस्टेड सीवी का उपयोग करना चाहता हूं। मेरे डोमेन में, यह पहला है। (हम लगभग कभी भी उपयोग नहीं करते हैंमेरे क्षेत्र में मजबूत सीवी का रूप है, लेकिन तंत्रिका जाल और बूस्टेड डिसीप्ड पेड़ों का उपयोग करके अध्ययन के परिणामों के साथ कागजात को नियमित रूप से पंप करें!) इसलिए, यह बहुत महत्वपूर्ण है कि मेरे पास बहुत अच्छी तरह से और स्पष्ट समझ है ताकि मैं स्क्रू-अप और प्रचार न करूं। मेरे समुदाय के लिए एक गलत प्रक्रिया जो अनलोन करने में सालों लग सकती है! धन्यवाद! इस सवाल पर ...
नेस्ट क्रॉस-वेलिडेशन के बाद मैं अंतिम मॉडल कैसे बनाऊं?
मैं एल 1 और एल 2 नियमितीकरण के साथ एक सरल ग्लमैनेट मॉडल का प्रशिक्षण ले रहा हूं। यह तेज, सरल और व्याख्यात्मक है। मैं फ़ीचर सेंटरिंग, स्केलिंग और बॉक्स-कॉक्स ट्रांसफ़ॉर्मेशन करता हूँ कि फीचर डिस्ट्रीब्यूशन मीन-सेंटर्ड, मानकीकृत हैं और कुछ-कुछ गौसियन जैसे हैं। मैं सूचना के रिसाव को रोकने के लिए, क्रॉस-वैलिडेशन के भीतर यह कदम उठाता हूं। विशुद्ध रूप से क्योंकि मेरा हार्डवेयर अविश्वसनीय रूप से धीमा है और मेरे पास अधिक सीपीयू मांसपेशियों तक पहुंच नहीं है, मैं फीचर प्रीप्रोसेसिंग के बाद सीवी के भीतर तेजी से फिल्टर-आधारित सुविधा चयन भी करता हूं। मैं अल्फा और लैम्ब्डा हाइपरपरमेटर्स लेने के लिए यादृच्छिक ग्रिड खोज का उपयोग कर रहा हूं। मैं समझता हूं कि मुझे चाहिएइस अनुमान को पाने के लिए सीवी लूप। मैं समझता हूं कि आंतरिक चयन के लिए आंतरिक सीवी लूप का उपयोग किया जाता है (इस मामले में, इष्टतम हाइपरपैरामीटर) और बाहरी लूप का उपयोग मॉडल मूल्यांकन के लिए किया जाता है , अर्थात, आंतरिक और बाहरी सीवी दो अलग-अलग उद्देश्यों की सेवा करते हैं जो अक्सर गलत तरीके से भ्रमित होते हैं। (मैं अब तक कैसे कर रहा हूँ?)
अब, मैंने जो लिंक पोस्ट किए हैं, उनका सुझाव है कि "क्रॉस-वैलिडेशन के बारे में सोचने का तरीका एक मॉडल के निर्माण के लिए एक विधि का उपयोग करके प्राप्त प्रदर्शन का अनुमान लगाने के बजाय एक मॉडल के प्रदर्शन का अनुमान लगाने के लिए है"। यह देखते हुए कि, मुझे नेस्टेड सीवी प्रक्रिया के परिणामों की व्याख्या कैसे करनी चाहिए?
मैंने जो सलाह पढ़ी है, वह निम्नलिखित संकेत देता है --- कृपया मुझे सही करें अगर यह गलत है: आंतरिक सीवी तंत्र का हिस्सा है जो मुझे अपने ग्लमैनेट मॉडल के इष्टतम अल्फा और लैम्ब्डा हाइपरपैरमीटर का चयन करने की अनुमति देता है। बाहरी सीवी अनुमान बताता है कि मैं अंतिम मॉडल से प्राप्त करने की उम्मीद कर सकता हूं अगर मैं हाइपरपरमेटर ट्यूनिंग सहित आंतरिक सीवी में उपयोग की जाने वाली प्रक्रिया को लागू करता हूं और अंतिम मॉडल बनाने के लिए संपूर्ण डेटासेट का उपयोग करता हूं । यही है, हाइपरपरमीटर ट्यूनिंग "मॉडल के निर्माण की विधि" का हिस्सा है। यह सही है या नहीं? क्योंकि यही मुझे भ्रमित करता है। कहीं और मैंने देखा है कि अंतिम मॉडल के निर्माण की प्रक्रिया में निश्चित मानों का उपयोग करके संपूर्ण डेटासेट पर प्रशिक्षण शामिल हैसीवी का उपयोग करके चुने गए हाइपरपैरमीटर के। यहां, "मॉडल बनाने की विधि" में ट्यूनिंग शामिल नहीं है। तो, यह कौन सा है? कुछ बिंदु पर अंतिम मॉडल के निर्माण के लिए इष्टतम हाइपरपैरामीटर चुना जाता है और तय किया जाता है! कहाँ पे? कैसे? यदि मेरा आंतरिक लूप 5-गुना CV है, और मेरा बाहरी लूप 5-गुना CV है, और मैं चयन करता हूं, कहते हैं, आंतरिक CV में यादृच्छिक ग्रिड खोज के भाग के रूप में परीक्षण के लिए 100 अंक, मैं वास्तव में glmnet को कितनी बार प्रशिक्षित करता हूं नमूना? (१०० * ५ * ५) अंतिम निर्माण के लिए १, या क्या और भी कदम हैं जिनसे मैं अनजान हूँ?
मूल रूप से, मुझे बहुत स्पष्ट विवरण की आवश्यकता है कि नेस्टेड सीवी से प्रदर्शन के अनुमान की व्याख्या कैसे करें और अंतिम मॉडल का निर्माण कैसे करें।
मैं भी अपने अंतिम glmnet मॉडल से (द्विआधारी) वर्ग लेबल में संभावना स्कोर को बदलने के लिए प्रायिकता सीमा का चयन करने के लिए उचित प्रक्रिया जानना चाहूंगा --- CV के एक और लूप की आवश्यकता है?