मशीन सीखने में ओक्टम का रेजर सिद्धांत कैसे काम करेगा

Question

छवि में प्रदर्शित निम्नलिखित प्रश्न हाल ही में परीक्षा में से एक के दौरान पूछा गया था। मुझे यकीन नहीं है कि मैंने ओकाम के रेजर सिद्धांत को सही ढंग से समझा है या नहीं। प्रश्न में दिए गए वितरण और निर्णय सीमाओं के अनुसार और ओक्टम के रेजर के बाद दोनों मामलों में निर्णय सीमा बी का उत्तर होना चाहिए। क्योंकि ऑकसम के रेजर के अनुसार, सरल क्लासिफायर चुनें जो जटिल के बजाय एक अच्छा काम करता है।

अगर मेरी समझ सही है और चुना गया उत्तर उचित है या नहीं, तो क्या कोई गवाही दे सकता है? कृपया मदद करें क्योंकि मैं मशीन सीखने में अभी शुरुआत कर रहा हूं

Comments

३.३२ 3. "यदि कोई संकेत आवश्यक नहीं है तो यह अर्थहीन है। यह ओकाम के उस्तरा का अर्थ है।" विट्गेन्स्टाइन द्वारा ट्रैक्टेटस लोगिको-फिलोसॉफिकस से

— जॉर्ज बैरियस

Answer 1

ओकाम का रेजर सिद्धांत:

दो परिकल्पनाएँ (यहाँ, निर्णय सीमाएँ) जिनमें समान अनुभवजन्य जोखिम (यहाँ, प्रशिक्षण त्रुटि) है, एक छोटी व्याख्या (यहाँ, कुछ मापदंडों के साथ एक सीमा) एक लंबी व्याख्या की तुलना में अधिक मान्य है।

आपके उदाहरण में, A और B दोनों में शून्य प्रशिक्षण त्रुटि है, इस प्रकार B (कम स्पष्टीकरण) को प्राथमिकता दी जाती है।

क्या होगा यदि प्रशिक्षण त्रुटि समान नहीं है?

यदि सीमा A में B से छोटी प्रशिक्षण त्रुटि थी, तो चयन मुश्किल हो जाता है। हमें "स्पष्टीकरण आकार" को "अनुभवजन्य जोखिम" के रूप में निर्धारित करने और एक स्कोरिंग फ़ंक्शन में दोनों को संयोजित करने की आवश्यकता है, फिर ए और बी की तुलना करने के लिए आगे बढ़ें। एक उदाहरण एकिक सूचना मानदंड (एआईसी) होगा जो अनुभवजन्य जोखिम को जोड़ती है (नकारात्मक के साथ मापा जाता है) लॉग-लाइकैलिटी) और एक अंक में स्पष्टीकरण का आकार (मापदंडों की संख्या के साथ मापा जाता है)।

साइड नोट के रूप में, AIC का उपयोग सभी मॉडलों के लिए नहीं किया जा सकता है, AIC के लिए भी कई विकल्प हैं।

सत्यापन सेट से संबंधित

कई व्यावहारिक मामलों में, जब मॉडल एक कम प्रशिक्षण त्रुटि तक पहुंचने के लिए अधिक जटिलता (बड़ी व्याख्या) की ओर बढ़ता है, तो एआईसी और जैसे को एक सत्यापन सेट (मॉडल जिस पर प्रशिक्षित नहीं किया जाता है) के साथ प्रतिस्थापित किया जा सकता है। जब सत्यापन त्रुटि (सत्यापन सेट पर मॉडल की त्रुटि) बढ़ने लगती है तो हम प्रगति को रोक देते हैं। इस तरह, हम कम प्रशिक्षण त्रुटि और लघु स्पष्टीकरण के बीच संतुलन बनाते हैं।

Answer 2

ओसम रेजर केवल पारसीमोनी प्रिंसिपल का एक पर्याय है। (KISS, यह सरल और बेवकूफ रखें।) इस प्रमुख में काम algos अधिकांश।

उपर्युक्त प्रश्न में सरल विभाज्य सीमाओं को डिजाइन करने में सोचना पड़ता है,

जैसे पहली तस्वीर में डी 1 का उत्तर बी है। चूंकि यह 2 नमूनों को अलग करने वाली सबसे अच्छी रेखा को परिभाषित करता है, एक बहुपद के रूप में है और यह ओवर-फिटिंग में समाप्त हो सकता है। (यदि मैंने SVM ​​का उपयोग किया होता तो वह लाइन आ जाती)

इसी तरह चित्रा 2 डी 2 में उत्तर बी है।

Answer 3

डेटा-फिटिंग कार्यों में ओकेम का उस्तरा:

1. पहले रैखिक समीकरण का प्रयास करें
2. यदि (1) बहुत मदद नहीं करता है - कम शर्तों और / या छोटी डिग्री वाले चर के साथ एक गैर-रेखीय चुनें।

डी 2

Bस्पष्ट रूप से जीतता है, क्योंकि यह रैखिक सीमा है जो अच्छी तरह से डेटा को अलग करती है। (क्या "अच्छी तरह से" मैं वर्तमान में परिभाषित नहीं कर सकता। आपको अनुभव के साथ इस भावना को विकसित करना होगा)। Aसीमा अत्यधिक गैर-रेखीय है जो एक घिरी हुई साइन लहर की तरह लगती है।

डी 1

हालाँकि मैं इस बारे में निश्चित नहीं हूँ। Aसीमा एक चक्र की तरह है और Bकड़ाई से रैखिक है। IMHO, मेरे लिए - सीमा रेखा न तो वृत्त खंड है और न ही कोई खंड खंड, - यह परवलय जैसा वक्र है:

तो मैं एक के लिए चुनते हैं C:-)

Comments

मैं अभी भी अनिश्चित हूं कि आप डी 1 के लिए इन-लाइन क्यों चाहते हैं। ओकाम का रेजर काम करने वाले सरल समाधान का उपयोग करने के लिए कहता है। अधिक डेटा अनुपस्थित, बी एक पूरी तरह से मान्य विभाजन है जो डेटा को फिट करता है। यदि हमें अधिक डेटा प्राप्त हुआ जो B के डेटा सेट में अधिक वक्र का सुझाव देता है तो मैं आपका तर्क देख सकता था, लेकिन C का अनुरोध करना आपकी बात (1) के विरुद्ध जाता है, क्योंकि यह एक रैखिक सीमा है जो काम करती है।

— 19 को डेलीगोथ

क्योंकि बिंदुओं के बाएं गोलाकार क्लस्टर की ओर लाइन से बहुत सारी खाली जगह है B। इसका मतलब यह है कि किसी भी नए रैंडम पॉइंट के आने से बाईं ओर सर्कुलर क्लस्टर को असाइन किया जा सकता है और दाईं ओर क्लस्टर में असाइन किए जाने का बहुत कम मौका होता है। इस प्रकार, Bविमान पर नए यादृच्छिक बिंदुओं के मामले में लाइन एक इष्टतम सीमा नहीं है। और आप डेटा की यादृच्छिकता को नजरअंदाज नहीं कर सकते, क्योंकि आमतौर पर हमेशा बिंदुओं का एक यादृच्छिक विस्थापन होता है

— अग्निअस वासिलियास्कस

Answer 4

मुझे यकीन नहीं है कि मैंने ओकाम के रेजर सिद्धांत को सही ढंग से समझा है या नहीं।

आइए सबसे पहले ओकाम के रेजर को संबोधित करते हैं:

ओकाम के रेजर [..] में कहा गया है कि "सरल समाधान जटिल लोगों की तुलना में सही होने की अधिक संभावना है।" - विकी

अगला, आइए आपके उत्तर को संबोधित करते हैं:

क्योंकि ऑकसम के रेजर के अनुसार, सरल क्लासिफायर चुनें जो जटिल के बजाय एक अच्छा काम करता है।

यह सही है क्योंकि, मशीन सीखने में, ओवरफ़िटिंग एक समस्या है। यदि आप अधिक जटिल मॉडल चुनते हैं, तो आप परीक्षण डेटा को वर्गीकृत करने की अधिक संभावना रखते हैं, न कि आपकी समस्या के वास्तविक व्यवहार को। इसका मतलब यह है कि, जब आप नए डेटा पर भविष्यवाणियां करने के लिए अपने जटिल क्लासिफायरियर का उपयोग करते हैं, तो यह सरल क्लासिफायरियर से भी बदतर होने की संभावना है।