रेखीय प्रतिगमन में इस्तेमाल किए जाने वाले गॉसियन बेसिस फ़ंक्शन मापदंडों को समझना

Question

मैं एक रेखीय प्रतिगमन कार्यान्वयन में गाऊसी आधार फ़ंक्शन को लागू करना चाहता हूं। दुर्भाग्य से मुझे आधार फ़ंक्शन में कुछ मापदंडों को समझने में मुश्किल समय आ रहा है। विशेष रूप से और ।$\mu$$\sigma$

मेरा डेटासेट एक 10,000 x 31 मैट्रिक्स है। 10,000 नमूने और 31 सुविधाएँ। मैंने पढ़ा है कि "प्रत्येक आधार फ़ंक्शन इनपुट वेक्टर x को स्केलर मान में परिवर्तित करता है"। तो मुझे लगता है कि x 1 नमूना है तो 1 x 31 वेक्टर। यहां से मैं भ्रमित हूं। वास्तव में पैरामीटर क्या है? मैंने पढ़ा है कि यह आधार कार्यों के स्थानों को नियंत्रित करता है। तो क्या यह किसी चीज का मतलब नहीं है? मैं सबस्क्रिप्ट j ( और ) द्वारा भी फेंक दिया गया हूं , इससे मुझे लगता है कि jth रो। लेकिन यह समझ में नहीं आता है। क्या वेक्टर है? अब$\mu_j$$\mu$$\phi$$\mu_j$$\sigma$कि "स्थानिक पैमाने को नियंत्रित करता है"। वास्तव में वह क्या है? मैंने कुछ कार्यान्वयन देखे हैं जो इस मान के लिए .1, .5, 2.5 जैसे मानों को आज़माते हैं। इन मूल्यों की गणना कैसे की जाती है? मैं शोध कर रहा हूं और उदाहरणों से सीख रहा हूं, लेकिन अभी तक मैं कोई खोज नहीं कर पाया हूं। किसी भी मदद या दिशा की बहुत सराहना की जाती है! धन्यवाद।

Answer 1

जैसा कि आप उलझन में हैं, मुझे समस्या के बारे में बताते हुए और अपने प्रश्नों को एक-एक करके शुरू करने दें। आपके पास 10,000 का एक नमूना आकार है और प्रत्येक नमूना एक विशेषता वेक्टर में वर्णित है । यदि आप गाऊसी रेडियल आधार कार्यों का उपयोग करके प्रतिगमन करना चाहते हैं, तो प्रपत्र जहां आपके आधार कार्य हैं। विशेष रूप से, आपको वेट खोजने की आवश्यकता है ताकि दिए गए मापदंडों और आप और संबंधित भविष्यवाणी = बीच की त्रुटि को कम करें।$x\in\mathbb{R}^{31}$

$$f(x) = \sum_{j}{w_j * g_j(x; \mu_j,\sigma_j}), j=1..m$$ $g_i$$m$$w_j$$\mu_j$$\sigma_j$$y$$\hat{y}$$f(\hat{x})$ - आम तौर पर आप कम से कम वर्गों की त्रुटि को कम कर देंगे।

वास्तव में म्यू सबस्क्रिप्ट जे पैरामीटर क्या है?

आपको खोजने की आवश्यकता है$m$ आधार फ़ंक्शन । (आपको अभी भी संख्या मी निर्धारित करने की आवश्यकता है ) प्रत्येक आधार फ़ंक्शन में μ j और σ j (भी अज्ञात) होंगे। सबस्क्रिप्ट j से लेकर 1 को मीटर ।$g_j$$m$$\mu_j$$\sigma_j$$j$$1$$m$

क्या सदिश है?$\mu_j$

हां, में यह एक बिंदु है । दूसरे शब्दों में, यह आपके सुविधा अंतरिक्ष में बात कहीं है और एक μ से प्रत्येक के लिए निर्धारित किया जाना चाहिए मीटर आधार कार्य करता है।$\mathbb{R}^{31}$$\mu$$m$

मैंने पढ़ा है कि यह आधार कार्यों के स्थानों को नियंत्रित करता है। तो क्या यह किसी चीज का मतलब नहीं है?

आधार समारोह में केंद्रित है μ जे । आपको यह तय करने की आवश्यकता होगी कि ये स्थान कहाँ हैं। तो नहीं, यह आवश्यक रूप से किसी भी चीज़ का मतलब नहीं है (लेकिन इसे निर्धारित करने के तरीकों के लिए और नीचे देखें)$j^{th}$$\mu_j$

अब सिग्मा के लिए कि "स्थानिक पैमाने को नियंत्रित करता है"। वास्तव में वह क्या है?

यह समझना आसान है कि क्या हम स्वयं आधार कार्यों में बदल जाते हैं।$\sigma$

या आर 2 कहते हैं कि यह निचले डिमेंसन्स में गाऊसी रेडियल आधार कार्यों के बारे में सोचने में मदद करता है । में आर 1 गाऊसी रेडियल आधार समारोह सिर्फ प्रसिद्ध घंटी वक्र है। घंटी बेशक संकीर्ण या चौड़ी हो सकती है। चौड़ाई σ द्वारा निर्धारित की जाती है - बड़ा σ बेल की आकृति संकरी होती है। दूसरे शब्दों में, σ घंटी आकार की चौड़ाई मापता है। तो σ = 1 के लिए हमारे पास कोई स्केलिंग नहीं है। बड़े के लिए σ हम पर्याप्त स्केलिंग है।$\mathbb{R}^{1}$$\mathbb{R}^{2}$$\mathbb{R}^{1}$$\sigma$$\sigma$$\sigma$$\sigma$$\sigma$

आप पूछ सकते हैं कि इसका उद्देश्य क्या है। यदि आप अंतरिक्ष के कुछ हिस्से ( में एक पंक्ति ) को कवर करने वाली घंटी के बारे में सोचते हैं - एक संकीर्ण घंटी केवल रेखा के एक छोटे हिस्से को कवर करेगी *। घंटी के केंद्र के करीब बिंदु x का बड़ा g j ( x ) मान होगा। केंद्र से दूर के बिंदुओं का एक छोटा जी j ( x ) मान होगा। स्केलिंग का केंद्र से आगे बिंदुओं को प्रभावित करने का प्रभाव होता है - क्योंकि घंटी के अंक अंक केंद्र से आगे स्थित होंगे - जी जे ( x ) के मान को कम करते हुए$\mathbb{R}^{1}$$x$$g_j(x)$$g_j(x)$$g_j(x)$

प्रत्येक आधार फ़ंक्शन इनपुट वेक्टर x को स्केलर मान में परिवर्तित करता है

हाँ, आप कुछ बिंदु पर आधार कार्यों का मूल्यांकन कर रहे ।$\mathbf{x}\in\mathbb{R}^{31}$

$$\exp\left({-\frac{\|\mathbf{x}-\mu_j\|_2^2}{2*\sigma_j^2}}\right)$$

परिणामस्वरूप आपको एक स्केलर मिलता है। स्केलर का परिणाम केंद्र द्वारा दिए गए बिंदु की दूरी पर निर्भर करता है, जो द्वारा दिया जाता हैऔर अदिश ।$\mathbf{x}$$\mu_j$$\|\mathbf{x}-\mu_j\|$$\sigma_j$

मैंने कुछ कार्यान्वयन देखे हैं जो इस मान के लिए .1, .5, 2.5 जैसे मानों को आज़माते हैं। इन मूल्यों की गणना कैसे की जाती है?

यह कोर्स गाऊसी रेडियल आधार कार्यों का उपयोग करने के दिलचस्प और कठिन पहलुओं में से एक है। यदि आप वेब खोजते हैं तो आपको कई सुझाव मिलेंगे कि ये पैरामीटर कैसे निर्धारित किए जाते हैं। मैं क्लस्टरिंग के आधार पर बहुत ही सरल शब्दों में एक संभावना को रेखांकित करूंगा। आप इसे और कई अन्य सुझावों को ऑनलाइन पा सकते हैं।

अपने 10000 नमूनों को क्लस्टर करके प्रारंभ करें (आप k-मीन्स क्लस्टरिंग के बाद आयामों को कम करने के लिए पीसीए का उपयोग कर सकते हैं)। आप उन समूहों की संख्या बता सकते हैं जिन्हें आप पाते हैं (आमतौर पर सर्वोत्तम निर्धारित करने के लिए क्रॉस सत्यापन को नियोजित करते हैं )। अब, प्रत्येक क्लस्टर के लिए एक रेडियल आधार फ़ंक्शन । प्रत्येक रेडियल आधार समारोह के लिए जाने क्लस्टर का केंद्र (जैसे मतलब, केन्द्रक, आदि)। Let क्लस्टर की चौड़ाई को दर्शाते हैं (जैसे त्रिज्या ...) अब आगे बढ़ो और अपने प्रतिगमन का प्रदर्शन करें (यह सरल विवरण सिर्फ एक अवलोकन है- इसे प्रत्येक चरण पर बहुत काम करने की आवश्यकता है!)$m$$m$$g_j$$\mu_j$$\sigma_j$

* बेशक, बेल वक्र को परिभाषित किया गया है - to तो लाइन पर हर जगह एक मूल्य होगा। हालांकि, केंद्र से दूर मूल्य नगण्य हैं$\infty$$\infty$

Comments

अच्छा जवाब! हालाँकि, लिए खोज करना, क्या हम सपोर्ट वेक्टर मशीन रिग्रेशन (गॉसियन कर्नेल के साथ) खत्म नहीं करते हैं? $\mu$

— O_Devinyak

@ O_Devinyak- कई आधार विस्तार विधियों को किसी प्रकार के पैरामीटर अनुमान की आवश्यकता होगी। को खोजने के कई तरीके हैं, इसलिए मुझे नहीं लगता कि यह जरूरी है कि हम एसवीआर की समस्या को कम कर रहे हैं। सच कहूं तो, मैं एसवीआर का विशेषज्ञ नहीं हूं, लेकिन जो नुकसान हुआ है, वह निश्चित रूप से अलग है और मुझे यकीन है कि कई विशेषताओं को नजरअंदाज कर दिया गया है - समर्थन वेक्टर तरीका। आधार फ़ंक्शंस के साथ हम मूल्यांकन के लिए सभी फ़ंक्शंस का उपयोग करते हैं, लेकिन सौभाग्य से कॉम्पैक्ट सपोर्ट का मतलब है कि कई आधार फ़ंक्शन नगण्य या शून्य मान लौटाते हैं। वैसे भी, यह इस मंच पर एक अच्छे प्रश्न के लिए $\mu$

— बनायेगा

हमें एक सहसंयोजक मैट्रिक्स के बजाय एक स्केल आवश्यकता क्यों है जो आधार फ़ंक्शन को बहुभिन्नरूपी गौसियन के घातीय भाग की तरह दिखाई देगा? $\sigma_j$

— स्टैकडाउनफ्लो

Answer 2

मुझे सरल विवरण देने की कोशिश करें। ऐसे नोटेशन में पंक्ति संख्या हो सकती है लेकिन सुविधा संख्या भी हो सकती है। यदि हम तो सुविधा संख्या को दर्शाता है, स्तंभ-वेक्टर है, स्केलर है और एक स्तंभ है -वेक्टर। यदि हम , तो पंक्ति संख्या को दर्शाता है, स्केलर है, स्तंभ-वेक्टर है और एक पंक्ति-वेक्टर है। संकेतन जहाँ पंक्ति और को दर्शाता है स्तंभ अधिक सामान्य है, इसलिए पहले संस्करण का उपयोग करें।$j$$y=\beta_0+\sum_{j=1:31}{\beta_j\phi_j(x)}$$j$$y$$\beta_j$$\phi_j(x)$$y_j=\beta\phi_j(x)$$j$$y_j$$\beta$$\phi_j(x)$$i$$j$

गौसियन आधार फ़ंक्शन को रेखीय प्रतिगमन में प्रस्तुत करना, (स्केलर) अब सुविधाओं के संख्यात्मक मानों पर निर्भर नहीं करता है (वेक्टर), लेकिन और अन्य सभी बिंदुओं के केंद्र के बीच की दूरी पर । इस तरह से इस बात पर निर्भर नहीं करता है कि -th अवलोकन का फीचर वैल्यू अधिक है या छोटा है, लेकिन यह इस बात पर निर्भर करता है कि क्या -th फीचर वैल्यू करीब है या उस -feature लिए माध्य से दूर है या नहीं । इसलिए एक पैरामीटर नहीं है, क्योंकि इसे ट्यून नहीं किया जा सकता है। यह एक डेटासेट की एक संपत्ति है। पैरामीटर$y_i$$x_i$$x_i$$\mu_i$$y_i$$j$$i$$j$$j$$\mu_{ij}$$\mu_j$$\sigma^2$एक स्केलर मूल्य है, यह चिकनाई को नियंत्रित करता है और इसे ट्यून किया जा सकता है। यदि यह छोटा है, तो दूरी में छोटे बदलावों का बड़ा प्रभाव पड़ेगा (याद रखें कि गॉसियन: केंद्र से छोटी दूरी पर पहले से ही स्थित सभी बिंदुओं में छोटे मान हैं)। यदि यह बड़ा है, तो दूरी में छोटे परिवर्तन का कम प्रभाव पड़ेगा (याद रखें कि फ्लैट गाऊसी: केंद्र से बढ़ती दूरी के साथ की कमी धीमी है)। का इष्टतम मान देखा जाना चाहिए (यह आमतौर पर क्रॉस-मान्यता के साथ पाया जाता है)।$y$$y$$\sigma^2$

Answer 3

बहुभिन्नरूपी सेटिंग्स में गाऊसी आधार कार्यों में बहुभिन्नरूपी केंद्र होते हैं। कि अपने मान लिया जाये कि , तो μ जे ∈ आर 31 के रूप में अच्छी तरह से। गाऊसी, मल्टीवेरिएट होने के लिए अर्थात ई ( एक्स - μ ञ ) ' Σ - 1 j ( एक्स - μ ञ ) जहां Σ जे ∈ आर 31 × 31 है एक सहप्रसरण मैट्रिक्स। इंडेक्स जे एक वेक्टर का एक घटक नहीं है, यह सिर्फ $x\in\mathbb{R}^{31}$$\mu_j\in\mathbb{R}^{31}$$e^{(x-\mu_j)'\Sigma_j^{-1}(x-\mu_j)}$$\Sigma_j\in\mathbb{R}^{31\times 31}$$j$$j$वें वेक्टर इसी तरह, , j th मैट्रिक्स है।$\Sigma_j$$j$