लोग चिकनी डेटा क्यों पसंद करते हैं?

Question

मैं गौसियन प्रोसेस रिग्रेशन के लिए स्क्वॉयर एक्सपोनेंशियल कर्नेल (SE) का उपयोग कर रहा हूं। इस कर्नेल के फायदे हैं: 1) सरल: केवल 3 हाइपरपैरमीटर; 2) चिकनी: यह कर्नेल गाऊसी है।

लोग do स्मूथनेस ’को इतना पसंद क्यों करते हैं? मुझे पता है कि गाऊसी कर्नेल असीम रूप से भिन्न है, लेकिन क्या यह इतना महत्वपूर्ण है? (कृपया मुझे बताएं कि क्या अन्य कारणों से एसई कर्नेल इतना लोकप्रिय है।)

पुनश्च: मुझे बताया गया था कि वास्तविक दुनिया में (बिना शोर के) अधिकांश संकेत सुचारू हैं , इसलिए उन्हें मॉडल करने के लिए चिकनी गुठली का उपयोग करना उचित है। क्या कोई मुझे इस अवधारणा को समझने में मदद कर सकता है?

Comments

क्या आप मनोवैज्ञानिक सवाल पूछ रहे हैं कि लोग चिकनेपन को क्यों पसंद करते हैं या सांख्यिकीय सवाल क्यों चिकने कार्यों को सांख्यिकीय रूप से बेहतर मानते हैं?

— जॉन

@ जॉन आपकी टिप्पणी के लिए धन्यवाद। मैं आपकी पोस्ट में दूसरे प्रश्न का उल्लेख कर रहा था और इसके अलावा, मैं यह पुष्टि करना चाहता हूं कि वास्तविक दुनिया में सबसे अधिक संकेत क्यों सुचारू हैं

— काकाना

Answer 1

" नटुरा नॉन फेसिट साल्टस " दर्शनशास्त्र का एक पुराना सिद्धांत है। साथ ही, सौंदर्य और सद्भाव ऐसे सिद्धांत हैं। आँकड़ों पर प्रभाव डालने वाला एक और दार्शनिक सिद्धांत गुणात्मक सोच है: परंपरागत रूप से हम प्रभाव आकारों में नहीं सोचते हैं लेकिन एक प्रभाव है या नहीं। यह परिकल्पना परीक्षण करने के लिए करते हैं। प्रकृति की आपकी धारणा के लिए अनुमानक बहुत सटीक हैं। जैसे है वैसे ही ले लो।

सांख्यिकी को मानवीय धारणा की सेवा करनी होगी। तो असंगतता को नापसंद किया जाता है। एक तुरंत पूछेगा: यह बिल्कुल एक असंतोष क्यों है? विशेष रूप से घनत्व के आकलन में, ये असंतोष बिंदु ज्यादातर वास्तविक डेटा की गैर-विषम प्रकृति के कारण होते हैं। लेकिन आप अपने निश्चित परिमित नमूने के बारे में नहीं बल्कि अंतर्निहित प्राकृतिक तथ्य के बारे में सीखना चाहते हैं। यदि आप मानते हैं कि यह प्रकृति नहीं कूदती है, तो आपको चिकनी अनुमानकों की आवश्यकता है।

एक सख्त गणितीय दृष्टिकोण से, इसके लिए शायद ही कोई कारण है। इसके अलावा, जब से लीबनिज और न्यूटन की प्राकृतिक घटनाएं ज्ञात हुईं, वे चिकनी नहीं हैं। उस प्राकृतिक वैज्ञानिक से बात करें जिसके लिए आप काम कर रहे हैं। उनकी सहजता / असंगतता के बारे में उनके दृष्टिकोण को चुनौती दें और फिर वही करें जो आप दोनों ने उनकी समझ के लिए सबसे अधिक मददगार होने का फैसला किया है।

Answer 2

व्यावहारिक मामलों के दो और कारण हैं। पहला यह है कि गणितीय रूप से काम करने के लिए विश्लेषणात्मक कार्य बहुत आसान हैं, और इसलिए अपने एल्गोरिदम के बारे में प्रमेय साबित करते हैं और उन्हें एक मजबूत नींव देते हैं।

दूसरी संवेदनशीलता है। कहते हैं कि आपके पास मशीन लर्नर है$M$ जिसके आउटपुट में एक असंतोष है $x=x_0$। फिर आपको इसके लिए बहुत अलग परिणाम मिलेंगे$x_0 - \epsilon$ तथा $x_0 + \epsilon$, लेकिन यह ठीक है क्योंकि हमने इसे बंद कर दिया है। अब, यदि आप अपने मॉडल को थोड़ा अलग डेटा के साथ प्रशिक्षित करते हैं ($\tilde M$), जहां यादृच्छिक शोर सिर्फ एक छोटा सा अलग है, अब बंद हो जाएगा $\tilde x_0$, शायद बहुत करीब है$x_0$, लेकिन काफी नहीं, और अब, कुछ मूल्यों के लिए $\epsilon$, $x_0 + \epsilon$ के लिए एक बहुत अलग मूल्य है $M$ और किसके लिए $\tilde M$।

Answer 3

समस्या के आधार पर कई प्रेरणाएं हैं। लेकिन विचार समान है: एक बेहतर समाधान प्राप्त करने और जटिलता से निपटने के लिए कुछ समस्या के बारे में एक प्राथमिक ज्ञान जोड़ें। इसे लगाने का एक और तरीका है: मॉडल का चयन। यहाँ मॉडल चयन पर एक अच्छा उदाहरण है ।

एक अन्य विचार, इसका गहराई से संबंध डेटा नमूनों की समानता माप को खोजने के लिए है (अलग-अलग शब्द हैं जो उस विचार से संबंधित हैं: स्थलाकृतिक मैपिंग, दूरी मीट्रिक, कई गुना सीखना, ...)।

अब, आइए एक व्यावहारिक उदाहरण पर विचार करें: ऑप्टिकल चरित्र पहचान। यदि आप किसी पात्र की छवि लेते हैं, तो आप क्लासिफायर से अपेक्षा करेंगे कि वह आक्रमणों से निपटने के लिए: यदि आप छवि को घुमाते हैं, विस्थापित करते हैं या उसे मापते हैं, तो उसे पहचानने में सक्षम होना चाहिए। इसके अलावा, यदि आप इनपुट में कुछ एक संशोधन को लागू करते हैं, तो आप अपने क्लासिफायर के उत्तर / व्यवहार को थोड़े-थोड़े अलग-अलग करने की अपेक्षा करेंगे, क्योंकि दोनों नमूने (मूल और संशोधित बहुत समान हैं)। यह वह जगह है जहाँ चिकनापन लागू होता है।

इस विचार से निपटने के लिए बहुत सारे कागजात हैं, लेकिन यह एक (पैटर्न मान्यता में परिवर्तन, स्पर्शरेखा दूरी और स्पर्शरेखा प्रसार, सिमरड एट अल।) इन विचारों को बहुत विस्तार से दर्शाता है।