वर्गीकरण सेटिंग में उचित स्कोरिंग नियम सामान्यीकरण का एक बेहतर अनुमान कब है?

Question

एक वर्गीकरण समस्या को हल करने के लिए एक विशिष्ट दृष्टिकोण उम्मीदवार मॉडल के एक वर्ग की पहचान करना है, और फिर क्रॉस सत्यापन जैसे कुछ प्रक्रिया का उपयोग करके मॉडल का चयन करना है। आमतौर पर कोई भी मॉडल को सबसे अधिक सटीकता के साथ चुनता है, या कुछ संबंधित फ़ंक्शन जो समस्या विशेष जानकारी को एन्कोड करता है, जैसे ।$\text{F}_\beta$

अंतिम लक्ष्य मानते हुए एक सटीक क्लासिफायर (जहां सटीकता की परिभाषा फिर से, समस्या पर निर्भर है) का उत्पादन करना है, किन परिस्थितियों में उचित स्कोरिंग नियम का उपयोग करके मॉडल का चयन करना बेहतर होता है क्योंकि कुछ अनुचित के विपरीत, सटीकता, सटीक, याद के रूप में। , आदि? इसके अलावा, आइए मॉडल जटिलता के मुद्दों को अनदेखा करें और एक प्राथमिकता मानें कि हम सभी मॉडलों को समान रूप से मानते हैं।

पहले मैंने कभी नहीं कहा होगा। हम जानते हैं, एक औपचारिक अर्थ में, वर्गीकरण प्रतिगमन [1], [2] की तुलना में एक आसान समस्या है और हम बाद में ( ) की तुलना में पूर्व के लिए तंग सीमा प्राप्त कर सकते हैं । इसके अलावा, ऐसे मामले भी होते हैं जब संभावनाओं का सटीक मिलान करने का प्रयास गलत निर्णय सीमाओं या ओवरफिटिंग के परिणामस्वरूप हो सकता है । हालांकि, इस तरह के मुद्दों के संबंध में यहां बातचीत और समुदाय के मतदान पैटर्न के आधार पर , मैं इस दृष्टिकोण पर सवाल उठा रहा हूं।$*$

1. देवरोई, ल्यूक। पैटर्न मान्यता का एक संभाव्य सिद्धांत। वॉल्यूम। 31. स्प्रिंगर, 1996., धारा 6.7
2. किर्न्स, माइकल जे।, और रॉबर्ट ई। शेपायर। संभाव्य अवधारणाओं के कुशल वितरण-मुक्त शिक्षण। कंप्यूटर विज्ञान, 1990 की नींव। कार्यवाही।, 31 वीं वार्षिक संगोष्ठी। IEEE, 1990।

$(*)$ यह कथन थोड़ा टेढ़ा हो सकता है। मेरा विशेष रूप से मतलब है कि दिए गए फ़ॉर्म को और , यह सशर्त संभाव्यता का सटीक अनुमान लगाने की तुलना में निर्णय सीमा का अनुमान लगाने में आसान लगता है।$S = \{(x_1, y_1), \ldots, (x_n, y_n)\}$$x_i \in \mathcal{X}$$y_i \in \{1, \ldots, K\}$

Answer 1

इसे -टेस्ट / विलकॉक्सन टेस्ट और मूड मेडियन टेस्ट के बीच तुलना के रूप में सोचें । माध्यिका परीक्षण इष्टतम वर्गीकरण (एक निरंतर चर के लिए माध्यिका के ऊपर या नीचे) का उपयोग करता है ताकि यह नमूना में केवल सूचना का खो दे । माध्यिका से अलग एक बिंदु पर द्विभाजन अधिक जानकारी खो देगा। एक अनुचित स्कोरिंग नियम का उपयोग करना, जैसे कि "सही ढंग से" अनुपात में वर्गीकृत किया गया है, अधिकांश या कुशल है। इससे गलत विशेषताओं का चयन होता है और एक ऐसा मॉडल मिल जाता है जो फर्जी है।$t$$\frac{1}{\pi}$$\frac{2}{\pi}$$\frac{2}{3}$

Comments

मुझे लगता है कि मुझे समझ में नहीं आता है कि डाइकोटोमाइजेशन क्यों प्रासंगिक है। अंततः लक्ष्य कुछ परिकल्पना वर्ग से एक क्लासिफायर को चुनना है जैसे कि न्यूनतम है, कुछ परिमित नमूना दिए गए उदाहरणों के अनुसार वितरित होते हैं: । $h$$H$$P_{(x,y) \sim D}(h(x) \neq y)$$S$$D$

— अल्टो

समस्या यह है कि वर्गीकरण (जोखिम की भविष्यवाणी के विपरीत) एक अनावश्यक द्विभाजन है।

— फ्रैंक हरेल

तो क्या यह मान लेना सुरक्षित है कि इस प्रश्न का उत्तर कभी नहीं है, बशर्ते कि लक्ष्य बेयस इष्टतम निर्णय है जो कुछ उपयोगिता फ़ंक्शन के संबंध में है और सटीक मिलान योग्यताओं का नहीं?

— आल्टो

बेयस इष्टतम निर्णय को अच्छी तरह से कैलिब्रेटेड पूर्वानुमानित जोखिमों की आवश्यकता होती है ताकि दोनों जुड़े हों। इष्टतम निर्णय पाइपलाइन में पहले से किए गए एक द्विभाजन का उपयोग नहीं करता है, लेकिन पूरी जानकारी पर स्थितियां, उदाहरण के लिए, नहीं । $Prob(Y = 1 | X=x)$$Prob(Y=1 | X > c)$

— फ्रैंक हरेल

अच्छी चर्चा है। कुछ स्पैम डिटेक्टरों के साथ कुछ मामलों में, आप एक 'अनिश्चित' प्राप्त कर सकते हैं। मैं मेडिकल डायग्नोसिस और प्रैग्नेंसी जैसी समस्याओं में थ्रेसहोल्डिंग से अधिक चिंतित हूं।

— 1948 में फ्रैंक हरेल