सामान्यीकरण प्रदर्शन के वितरण की तुलना करना

यह कहें कि मेरे पास एक वर्गीकरण समस्या, और लिए दो सीखने के तरीके हैं , और मैं उनके सामान्यीकरण प्रदर्शन का अनुमान लगाता हूं जैसे कि बार-बार क्रॉस सत्यापन या बूटस्ट्रैपिंग। इस प्रक्रिया से मैं एक मिल स्कोर के वितरण और (जैसे एक मॉडल के लिए आरओसी एयूसी मानों का वितरण) इन पुनरावृत्ति भर में प्रत्येक विधि के लिए। $A$ $B$ $P_A$ $P_B$

इन वितरणों को देखते हुए, यह हो सकता है, लेकिन उस (यानी का अपेक्षित सामान्यीकरण प्रदर्शन से अधिक है , लेकिन इस अनुमान के बारे में अधिक अनिश्चितता है)। $\mu_A \ge \mu_B$ $\sigma_A \ge \sigma_B$ $A$ $B$

मुझे लगता है कि इसे प्रतिगमन में पूर्वाग्रह-विचलन दुविधा कहा जाता है ।

क्या गणितीय तरीकों मैं तुलना करने के लिए उपयोग कर सकते हैं और और अंत में जो मॉडल के बारे में उपयोग करने के लिए एक सूचित निर्णय लेने? $P_A$ $P_B$

नोट: सादगी के लिए, मैं यहां दो विधियों और का उल्लेख कर रहा हूं, लेकिन मैं उन विधियों में रुचि रखता हूं, जिनका उपयोग ~ 1000 सीखने के तरीकों (जैसे ग्रिड खोज से) के स्कोर के वितरण और अंततः करने के लिए किया जा सकता है मॉडल का उपयोग करने के बारे में एक अंतिम निर्णय। $A$ $B$

cross-validation model-selection

— अमेलियो वाज़केज़-रीना
स्रोत

मुझे लगता है कि पूर्वाग्रह-विधा व्यापार शब्द यहां लागू नहीं होता है, क्योंकि आप पूर्वाग्रह और विचरण में माध्य चुकता त्रुटि को कम नहीं कर रहे हैं, और आप एक अनुमानक के विचरण के बारे में बात नहीं कर रहे हैं, बल्कि एक अंक के विचरण के बारे में बात कर रहे हैं।

— लुकास

धन्यवाद @ लुकास मैं अनदेखी डेटा पर अपने क्लासिफायर और के स्कोर का अनुमान लगाने की कोशिश कर रहा हूं । इस के लिए, मैंने सोचा कि मैं पर स्कोर का मतलब ले सकता है देखा (यानी मेरी आकलनकर्ता के रूप में डेटा और के लिए और क्रमशः)। इन आकलनकर्ता स्कोर के विचरण से अलग की भिन्नता है और ?

A

$A$

B

$B$

E (P_{A})

$E(P_A)$

E (P_{B})

$E(P_B)$

A

$A$

B

$B$

P_{A}

$P_A$

P_{B}

$P_B$

— अमेलियो वाज़केज़-रीना

@ user815423426 मुझे लगता है कि तुलना आपके द्वारा किए गए नुकसान फ़ंक्शन पर निर्भर करती है। डाइबोल्ड एंड मारियानो (2002) में आपके प्रश्न का अध्ययन करने वाला एक अच्छा पेपर है। उन्होंने "सामान्यीकरण" प्रदर्शन की तुलना करते हुए कुछ सांख्यिकीय परीक्षण प्रस्तावित किए। मुझे नहीं पता कि टिप्पणियों में लिंक कैसे सेट किया जाए। पेपर है: डाइबोल्ड, फ्रांसिस एक्स।, और रॉबर्ट एस। मारियानो। "तुलनात्मक सटीकता की तुलना करना।" जर्नल ऑफ बिजनेस एंड इकोनॉमिक स्टैटिस्टिक्स 20.1 (2002): 134-144।

— सेमीब्रुइन

यदि ए और बी केवल दो विधियां हैं, तो मैं इस संभावना की गणना करूंगा कि एक मनमाना प्रशिक्षण / परीक्षण विभाजन के लिए कि मॉडल ए के लिए त्रुटि (कुछ उपयुक्त प्रदर्शन मीट्रिक के अनुसार) मॉडल बी के लिए त्रुटि से कम थी यदि यह संभावना है। 0.5 से अधिक थे, मैंने मॉडल ए और अन्यथा मॉडल बी को चुना (सीएफ मान-व्हिटनी यू परीक्षण?) हालांकि, मुझे दृढ़ता से संदेह है कि मॉडल का चयन निचले माध्य के साथ होगा जब तक कि प्रदर्शन के वितरण बहुत ही न हों -symmetric।

दूसरी ओर ग्रिड खोज के लिए, स्थिति थोड़ी अलग है क्योंकि आप वास्तव में अलग-अलग तरीकों की तुलना नहीं कर रहे हैं, बल्कि डेटा के परिमित नमूने को फिट करने के लिए एक ही मॉडल के (हाइपर-) मापदंडों को ट्यून करते हैं (इस मामले में परोक्ष रूप से क्रॉस के माध्यम से -validation)। मैंने पाया है कि इस तरह की ट्यूनिंग से ओवर-फिटिंग का बहुत खतरा हो सकता है, मेरा पेपर देखें

गैविन सी। कावले, निकोला एलसी टैलबोट, "ऑन-फिटिंग ऑन माडल सिलेक्शन एंड सब-परफॉरमेंस सिलेक्शन बायस इन परफॉर्मेंस इवैल्यूएशन", जर्नल ऑफ मशीन लर्निंग रिसर्च, 11 (जुल): 2079−2107, 2010. ( www )

मेरे पास समीक्षा में एक पेपर है जो दिखाता है कि मॉडल चयन मानदंड से अधिक फिटिंग से बचने के लिए कर्नेल मशीनों (जैसे एसवीएम) के लिए अपेक्षाकृत मोटे ग्रिड का उपयोग करना सबसे अच्छा है। एक और दृष्टिकोण (जिसकी मैंने जांच नहीं की है, इसलिए कैविट लेक्टर!) उस उच्चतम त्रुटि वाले मॉडल को चुनना होगा जो ग्रिड सर्च में पाए गए सर्वश्रेष्ठ मॉडल के लिए सांख्यिकीय रूप से नीच नहीं है (हालांकि यह एक निराशावादी दृष्टिकोण हो सकता है, विशेष रूप से छोटे डेटासेट के लिए)।

वास्तविक समाधान हालांकि ग्रिड-खोज का उपयोग करते हुए मापदंडों को अनुकूलित करने के लिए नहीं है, लेकिन पैरामीटर मानों को औसत करने के लिए, या तो बायेसियन दृष्टिकोण में, या बस एक पहनावा विधि के रूप में। यदि आप अनुकूलन नहीं करते हैं, तो अधिक फिट होना अधिक कठिन है!

— डिक्रान मार्सुपियल
स्रोत

धन्यवाद डिकरन। जब आप कहते हैं कि "average over the parameter values"मुझे लगता है कि मुझे यह समझ में आता है कि यह एक एसेम्बल विधि के माध्यम से कैसे किया जाता है (जैसे कि क्लासिफायर आउटपुट के औसत के रूप में एसेम्बल आउटपुट का निर्माण), लेकिन मुझे यकीन नहीं है कि एक बायिसियन दृष्टिकोण के साथ एक भेदभावपूर्ण मॉडल के साथ काम करते समय यह कैसे करते हैं। मैं एक पूरी तरह से बायेसियन दृष्टिकोण के सिद्धांत को समझता हूं (यानी बिंदु अनुमानों से बचें, और अंतिम पीछे के निर्माण के लिए मापदंडों को हाशिए पर कर दें), लेकिन, यह मानते हुए कि मापदंडों पर मेरा पूर्व एक समान है, क्या यह औसत पहनावा बनाने के बराबर नहीं होगा। ?

— अमिलियो वाज़केज़-रीना

बायेसियन दृष्टिकोण में, मॉडल को उनके सीमांत संभावना (यानी बायेसियन सबूत) और किसी भी पूर्व हाइपर-मापदंडों से अधिक भारित किया जाएगा, इसलिए यह मॉडल को भारित करने के लिए एक विशेष विधि के साथ पहनावा के औसत का एक विशेष मामला होगा।

— डिक्रान मार्सुपियल