नेस्टेड क्रॉस-मान्यता का उपयोग

Question

मॉडल चयन पर Scikit जानें के पृष्ठ में नेस्टेड क्रॉस-मान्यता के उपयोग का उल्लेख है:

>>> clf = GridSearchCV(estimator=svc, param_grid=dict(gamma=gammas),
  ...                    n_jobs=-1)  
>>> cross_validation.cross_val_score(clf, X_digits, y_digits)

दो क्रॉस-वेलिडेशन लूप्स समानांतर में किए जाते हैं: एक ग्रिडड्रेससीवी अनुमानक द्वारा गामा सेट करने के लिए और दूसरा एक क्रॉस_वेल_स्कोर द्वारा अनुमानक के पूर्वानुमान प्रदर्शन को मापने के लिए। परिणामी स्कोर नए डेटा पर भविष्यवाणी स्कोर के निष्पक्ष अनुमान हैं।

जो मैं समझता हूं, clf.fitवह सबसे अच्छा गामा निर्धारित करने के लिए मूल रूप से क्रॉस-सत्यापन का उपयोग करेगा। उस स्थिति में, हमें ऊपर बताए अनुसार नेस्टेड सीवी का उपयोग करने की आवश्यकता क्यों होगी? नोट में उल्लेख किया गया है कि नेस्टेड cv भविष्यवाणी स्कोर के "निष्पक्ष अनुमान" का उत्पादन करता है। क्या ऐसा भी नहीं है clf.fit?

इसके अलावा, मैं इस cross_validation.cross_val_score(clf, X_digits, y_digits)प्रक्रिया से सर्वोत्तम अनुमान प्राप्त करने में असमर्थ था । क्या आप सलाह दे सकते हैं कि यह कैसे किया जा सकता है?

Answer 1

नेस्टेड पार सत्यापन ही पार सत्यापन का उपयोग करने से परिणाम मॉडल की अति पैरामीटर के मान (जैसे नियमितीकरण पैरामीटर, स्थापित करने के लिए है कि प्रदर्शन के आशावादी पक्षपाती अनुमान से बचने के लिए प्रयोग किया जाता है , और एक SVM के कर्नेल पैरामीटर) और प्रदर्शन का अनुमान। मैंने कर्नेल मशीनों के मूल्यांकन में अक्सर उपयोग किए जाने वाले एक सौम्य शॉर्ट कट द्वारा प्रस्तुत पूर्वाग्रह के परिमाण से चिंतित होने के बाद इस विषय पर एक पेपर लिखा। मैंने इस विषय की जांच की कि मेरे परिणाम एक ही डेटासेट पर समान विधियों का उपयोग करने वाले अन्य शोध समूहों की तुलना में क्यों खराब थे, कारण यह निकला कि मैं नेस्टेड क्रॉस-सत्यापन का उपयोग कर रहा था और इसलिए आशावादी पूर्वाग्रह से लाभ नहीं हुआ।$C$

GC Cawley और NLC टैलबोट, मॉडल चयन में ओवर-फिटिंग और प्रदर्शन मूल्यांकन में बाद के चयन पूर्वाग्रह, जर्नल ऑफ़ मशीन लर्निंग रिसर्च, 2010। रिसर्च, वॉल्यूम। 11, पीपी। 2079-2107, जुलाई 2010. ( http://jmlr.org/papers/volume11/cawley10a/cawley10a.pdf )

उदाहरण और प्रायोगिक मूल्यांकन के साथ पूर्वाग्रह के कारणों को कागज में पाया जा सकता है, लेकिन अनिवार्य रूप से बिंदु यह है कि यदि मॉडल के बारे में विकल्प बनाने के लिए किसी भी तरह से प्रदर्शन मूल्यांकन मानदंड का उपयोग किया जाता है , तो वे विकल्प आधारित हैं (i) सामान्यीकरण प्रदर्शन में वास्तविक सुधार और (ii) डेटा के विशेष नमूने की सांख्यिकीय ख़ासियत जिस पर प्रदर्शन मूल्यांकन मानदंड का मूल्यांकन किया जाता है। दूसरे शब्दों में, पूर्वाग्रह उत्पन्न होता है क्योंकि हाइपर-मापदंडों को ट्यून करते समय क्रॉस-सत्यापन त्रुटि को ओवर-फिट करना संभव है (सभी बहुत आसान है)।

Answer 2

एक आउट-आउट टेस्ट सेट के साथ एक निष्पक्ष अनुमान clf.fitउत्पन्न करता है जबकि नेस्टेड क्रॉस-मान्यता कई निष्पक्ष अनुमानों के साथ उत्पन्न होती है । नेस्टेड क्रॉस-वैलिडेशन का लाभ डेटा के उपयोग से सही प्रदर्शन का एक बेहतर मूल्यांकन है जो एल्गोरिथ्म ने अभी तक नहीं देखा है। बेहतर मूल्यांकन क्योंकि आपको मिलता है, उदाहरण के लिए, केवल एक के बजाय नेस्टेड सीवी के साथ तीन परीक्षण स्कोर।cross_val_score

सर्वोत्तम अनुमानों के संबंध में आपके दूसरे प्रश्न का उत्तर यह है कि वर्तमान में (v0.14) नेस्टेड cv का उपयोग करके फिट किए गए मॉडल के पैरामीटर प्राप्त करना संभव नहीं है cross_val_score। एक उदाहरण के साथ मेरा जवाब यहां देखें ।