नेस्ट क्रॉस-वेलिडेशन के बाद अंतिम मॉडल और ट्यून प्रायिकता थ्रेशोल्ड का निर्माण कैसे करें?


17

सबसे पहले, एक सवाल है कि पहले से ही विस्तार से चर्चा की गई पोस्ट करने के लिए क्षमा याचना यहाँ , यहाँ , यहाँ , यहाँ , यहाँ, और एक पुराने विषय को फिर से गरम करने के लिए। मुझे पता है @DikranMarsupial ने इस विषय पर पोस्ट और जर्नल पेपर्स में लंबाई के बारे में लिखा है, लेकिन मैं अभी भी भ्रमित हूं, और यहां समान पोस्ट की संख्या से देखते हुए, यह अभी भी कुछ ऐसा है जो दूसरों को समझ में आता है। मुझे यह भी बताना चाहिए कि मुझे इस विषय पर विरोधाभासी जानकारी मिली है जिसने मेरी उलझन को और बढ़ा दिया है। आपको यह भी पता होना चाहिए कि मैं मूल रूप से एक भौतिक विज्ञानी हूं और एक सांख्यिकीविद् नहीं हूं, इसलिए यहां मेरा डोमेन विशेषज्ञता कुछ हद तक सीमित है। मैं एक जर्नल पेपर लिख रहा हूं जिसमें मैं अपने अंतिम मॉडल से अपेक्षित प्रदर्शन का अनुमान लगाने के लिए नेस्टेड सीवी का उपयोग करना चाहता हूं। मेरे डोमेन में, यह पहला है। (हम लगभग कभी भी उपयोग नहीं करते हैंमेरे क्षेत्र में मजबूत सीवी का रूप है, लेकिन तंत्रिका जाल और बूस्टेड डिसीप्ड पेड़ों का उपयोग करके अध्ययन के परिणामों के साथ कागजात को नियमित रूप से पंप करें!) इसलिए, यह बहुत महत्वपूर्ण है कि मेरे पास बहुत अच्छी तरह से और स्पष्ट समझ है ताकि मैं स्क्रू-अप और प्रचार न करूं। मेरे समुदाय के लिए एक गलत प्रक्रिया जो अनलोन करने में सालों लग सकती है! धन्यवाद! इस सवाल पर ...

नेस्ट क्रॉस-वेलिडेशन के बाद मैं अंतिम मॉडल कैसे बनाऊं?

मैं एल 1 और एल 2 नियमितीकरण के साथ एक सरल ग्लमैनेट मॉडल का प्रशिक्षण ले रहा हूं। यह तेज, सरल और व्याख्यात्मक है। मैं फ़ीचर सेंटरिंग, स्केलिंग और बॉक्स-कॉक्स ट्रांसफ़ॉर्मेशन करता हूँ कि फीचर डिस्ट्रीब्यूशन मीन-सेंटर्ड, मानकीकृत हैं और कुछ-कुछ गौसियन जैसे हैं। मैं सूचना के रिसाव को रोकने के लिए, क्रॉस-वैलिडेशन के भीतर यह कदम उठाता हूं। विशुद्ध रूप से क्योंकि मेरा हार्डवेयर अविश्वसनीय रूप से धीमा है और मेरे पास अधिक सीपीयू मांसपेशियों तक पहुंच नहीं है, मैं फीचर प्रीप्रोसेसिंग के बाद सीवी के भीतर तेजी से फिल्टर-आधारित सुविधा चयन भी करता हूं। मैं अल्फा और लैम्ब्डा हाइपरपरमेटर्स लेने के लिए यादृच्छिक ग्रिड खोज का उपयोग कर रहा हूं। मैं समझता हूं कि मुझे चाहिएइस अनुमान को पाने के लिए सीवी लूप। मैं समझता हूं कि आंतरिक चयन के लिए आंतरिक सीवी लूप का उपयोग किया जाता है (इस मामले में, इष्टतम हाइपरपैरामीटर) और बाहरी लूप का उपयोग मॉडल मूल्यांकन के लिए किया जाता है , अर्थात, आंतरिक और बाहरी सीवी दो अलग-अलग उद्देश्यों की सेवा करते हैं जो अक्सर गलत तरीके से भ्रमित होते हैं। (मैं अब तक कैसे कर रहा हूँ?)

अब, मैंने जो लिंक पोस्ट किए हैं, उनका सुझाव है कि "क्रॉस-वैलिडेशन के बारे में सोचने का तरीका एक मॉडल के निर्माण के लिए एक विधि का उपयोग करके प्राप्त प्रदर्शन का अनुमान लगाने के बजाय एक मॉडल के प्रदर्शन का अनुमान लगाने के लिए है"। यह देखते हुए कि, मुझे नेस्टेड सीवी प्रक्रिया के परिणामों की व्याख्या कैसे करनी चाहिए?

मैंने जो सलाह पढ़ी है, वह निम्नलिखित संकेत देता है --- कृपया मुझे सही करें अगर यह गलत है: आंतरिक सीवी तंत्र का हिस्सा है जो मुझे अपने ग्लमैनेट मॉडल के इष्टतम अल्फा और लैम्ब्डा हाइपरपैरमीटर का चयन करने की अनुमति देता है। बाहरी सीवी अनुमान बताता है कि मैं अंतिम मॉडल से प्राप्त करने की उम्मीद कर सकता हूं अगर मैं हाइपरपरमेटर ट्यूनिंग सहित आंतरिक सीवी में उपयोग की जाने वाली प्रक्रिया को लागू करता हूं और अंतिम मॉडल बनाने के लिए संपूर्ण डेटासेट का उपयोग करता हूं । यही है, हाइपरपरमीटर ट्यूनिंग "मॉडल के निर्माण की विधि" का हिस्सा है। यह सही है या नहीं? क्योंकि यही मुझे भ्रमित करता है। कहीं और मैंने देखा है कि अंतिम मॉडल के निर्माण की प्रक्रिया में निश्चित मानों का उपयोग करके संपूर्ण डेटासेट पर प्रशिक्षण शामिल हैसीवी का उपयोग करके चुने गए हाइपरपैरमीटर के। यहां, "मॉडल बनाने की विधि" में ट्यूनिंग शामिल नहीं है। तो, यह कौन सा है? कुछ बिंदु पर अंतिम मॉडल के निर्माण के लिए इष्टतम हाइपरपैरामीटर चुना जाता है और तय किया जाता है! कहाँ पे? कैसे? यदि मेरा आंतरिक लूप 5-गुना CV है, और मेरा बाहरी लूप 5-गुना CV है, और मैं चयन करता हूं, कहते हैं, आंतरिक CV में यादृच्छिक ग्रिड खोज के भाग के रूप में परीक्षण के लिए 100 अंक, मैं वास्तव में glmnet को कितनी बार प्रशिक्षित करता हूं नमूना? (१०० * ५ * ५) अंतिम निर्माण के लिए १, या क्या और भी कदम हैं जिनसे मैं अनजान हूँ?

मूल रूप से, मुझे बहुत स्पष्ट विवरण की आवश्यकता है कि नेस्टेड सीवी से प्रदर्शन के अनुमान की व्याख्या कैसे करें और अंतिम मॉडल का निर्माण कैसे करें।

मैं भी अपने अंतिम glmnet मॉडल से (द्विआधारी) वर्ग लेबल में संभावना स्कोर को बदलने के लिए प्रायिकता सीमा का चयन करने के लिए उचित प्रक्रिया जानना चाहूंगा --- CV के एक और लूप की आवश्यकता है?

जवाबों:


8

नेस्टेड क्रॉस सत्यापन बिना नेस्टिंग के समझाया गया है

यहां बताया गया है कि मैं कैसे (नेस्टेड) ​​क्रॉस वैरिफिकेशन और मॉडल बिल्डिंग देखता हूं। ध्यान दें कि मैं केमिस्ट हूं और आप आवेदन पक्ष से मॉडल बिल्डिंग प्रक्रिया (नीचे देखें) को देखते हैं। यहां मेरा मुख्य बिंदु मेरे दृष्टिकोण से है मुझे क्रॉस सत्यापन की एक समर्पित नेस्टेड विविधता की आवश्यकता नहीं है । मुझे एक सत्यापन विधि (जैसे क्रॉस सत्यापन) और एक मॉडल प्रशिक्षण समारोह की आवश्यकता है:

model = f (training data)

"मेरे" मॉडल प्रशिक्षण फ़ंक्शन f को किसी भी हाइपरपामेटर्स की आवश्यकता नहीं है क्योंकि यह आंतरिक रूप से सभी हाइपरपैरेट ट्यूनिंग (जैसे आपका alpha, lambdaऔर threshold) करता है।

दूसरे शब्दों में, मेरे प्रशिक्षण समारोह में किसी भी प्रकार के आंतरिक क्रॉस सत्यापन (या आउट-ऑफ-बैग या कभी भी प्रदर्शन का अनुमान है कि मैं उपयोगी हो सकता है) हो सकता है। हालांकि, ध्यान दें कि आमतौर पर मापदंडों और हाइपर-मापदंडों के बीच का अंतर यह है कि हाइपरपरमेटर्स को हाथ में डेटा सेट / एप्लिकेशन के लिए ट्यून करने की आवश्यकता होती है, जबकि मापदंडों को फिर से फिट किया जा सकता है, चाहे वह कैसा भी डेटा हो। इस प्रकार एक नए वर्गीकरण एल्गोरिथ्म के डेवलपर के दृष्टिकोण से, यह केवल "नग्न" फिटिंग फ़ंक्शन ( g (training data, hyperparameters)) प्रदान करने के लिए समझ में आता है जो दिए गए डेटा और हाइपरपरमेटर्स के मापदंडों को फिट करता है।

"बाहरी" प्रशिक्षण फ़ंक्शन होने की बात यह fहै कि जब आपने अपना क्रॉस सत्यापन चलाया था, तो यह आपको "संपूर्ण डेटा सेट पर" प्रशिक्षित करने का सीधा तरीका देता है: क्रॉस वैरिफिकेशन सरोगेट मॉडल के लिए f (whole data set)कॉल के बजाय उपयोग करें f (cv split training data)

इस प्रकार आपके उदाहरण में, आपके पास 5 + 1 कॉल करने के लिए होगा f, और प्रत्येक कॉल के लिए fउदाहरण के लिए 100 * 5 कॉल होंगे g


संभाव्यता सीमा

हालांकि आप अभी तक एक और क्रॉस सत्यापन के साथ ऐसा कर सकते हैं, यह आवश्यक नहीं है: यह सिर्फ एक और हाइपरपरमेट है जो आपके रेडी-टू-यूज़ मॉडल का है और इसका अनुमान अंदर लगाया जा सकता है f

आपको इसे ठीक करने की आवश्यकता है जो एक ऐसा अनुमान है जो आपको ऐसी सीमा की गणना करने की अनुमति देता है। हेयर्सिस्टिक्स की एक विस्तृत विविधता है (ROC से और यह निर्दिष्ट करना कि न्यूनतम स्वीकार्य संवेदनशीलता या विशिष्टता या PPV या NPV पर झूठी नकारात्मक से बचने के लिए दो थ्रेसहोल्ड की अनुमति देना कितना महत्वपूर्ण है और इस प्रकार एक "अनिश्चित" (NA) स्तर और इतने पर ) जो विभिन्न स्थितियों में उपयुक्त हैं - अच्छी आंकड़ें आमतौर पर बहुत विशिष्ट अनुप्रयोग हैं।

लेकिन यहाँ प्रश्न के लिए, आप fROC की गणना के लिए इनर क्रॉस सत्यापन के दौरान प्राप्त भविष्यवाणियों का उपयोग करके इसे अंदर और जैसे कर सकते हैं और फिर उसी के अनुसार अपना कार्य बिंदु / सीमा खोजें।


प्रश्न के कुछ हिस्सों के लिए विशिष्ट टिप्पणियाँ

मैं समझता हूं कि मुझे अपने अंतिम मॉडल (जो अति-आशावादी होगा) के अपेक्षित प्रदर्शन के अनुमान के रूप में इष्टतम हाइपरपरमेटर्स चुनने के लिए इस्तेमाल किए गए सीवी से प्रदर्शन की रिपोर्ट नहीं करनी चाहिए, लेकिन इस अनुमान को प्राप्त करने के लिए एक बाहरी सीवी लूप को शामिल करना चाहिए। ।

हाँ। (हालांकि आंतरिक अनुमान बाहरी अनुमान के संबंध में जानकारी ले जाता है: यदि यह बाहरी अनुमान की तुलना में बहुत अधिक आशावादी है, तो आप आमतौर पर ओवरफिटिंग कर रहे हैं।)

मैं समझता हूं कि आंतरिक चयन के लिए आंतरिक सीवी लूप का उपयोग किया जाता है

किसी भी प्रकार की डेटा-चालित मॉडल ट्यूनिंग, वास्तव में -> जिसमें आपके कटऑफ-थ्रॉल्ड को ट्यूनिंग करना शामिल है।

(इस मामले में, इष्टतम हाइपरपरमेटर्स) और यह कि बाहरी लूप का उपयोग मॉडल मूल्यांकन के लिए किया जाता है, अर्थात, आंतरिक और बाहरी सीवी दो अलग-अलग उद्देश्यों की सेवा करते हैं जो अक्सर गलत तरीके से भ्रमित होते हैं।

हाँ।

यही है, हाइपरपरमीटर ट्यूनिंग "मॉडल के निर्माण की विधि" का हिस्सा है।

मैं इसे इस तरह से भी देखना पसंद करता हूं: मैं केमिस्ट हूं और जैसे आप एप्लिकेशन की ओर से देखते हैं: मेरे लिए एक प्रशिक्षित / फिटेड मॉडल हाइपरपरमेटर्स के बिना पूरा नहीं होता है, या अधिक सटीक रूप से, एक मॉडल कुछ ऐसा है जिसका मैं सीधे उपयोग कर सकता हूं पूर्वानुमान प्राप्त करें। यद्यपि आप ध्यान देते हैं कि अन्य लोगों का एक अलग दृष्टिकोण है (हाइपरपरमीटर ट्यूनिंग के बिना)। मेरे अनुभव में, यह अक्सर नए मॉडल विकसित करने वाले लोगों के साथ होता है: हाइपरपरमीटर ट्यूनिंग तब "हल की गई समस्या" होती है और विचार नहीं किया जाता है। (साइड नोट: सत्यापन के संदर्भ में क्रॉस वेलिडेशन क्या कर सकता है, इस बारे में उनका दृष्टिकोण भी आवेदन पक्ष से क्रॉस वेलिडेशन क्या कर सकता है, उससे थोड़ा अलग है)।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.