गौसियन प्रक्रिया मॉडल को गैर-पैरामीट्रिक क्यों कहा जाता है?

Question

मैं थोड़ा असमंजस में हूँ। गौसियन प्रक्रियाओं को गैर पैरामीट्रिक मॉडल क्यों कहा जाता है?

वे मानते हैं कि कार्यात्मक मान, या उनमें से एक सबसेट, गॉसियन है जिसका मतलब मीन 0 से पहले है और कर्नेल फ़ंक्शन के रूप में दिए गए कोवरियनस फ़ंक्शन। इन कर्नेल फ़ंक्शंस में स्वयं कुछ पैरामीटर (यानी हाइपरपरमेटर्स) होते हैं।

तो उन्हें गैर पैरामीट्रिक मॉडल क्यों कहा जाता है?

Comments

मुझे "गाऊसी प्रक्रियाओं" की कई परिभाषाओं का पता है, इसलिए यह स्पष्ट नहीं है कि आपका प्रश्न वास्तव में किस बारे में पूछ रहा है। लेकिन जैसा कि आप समझते हैं कि इसे कैसे स्पष्ट किया जाए, अपने आप से यह पूछें: वास्तव में आपके मन में आने वाली गॉसियन प्रक्रिया को कैसे परिमार्जित करेंगे? यदि आप इसे प्राकृतिक तरीके से वास्तविक मापदंडों की सीमित संख्या के साथ नहीं कर सकते हैं, तो इसे गैर-पैरामीटर माना जाना चाहिए।

— whuber

@whuber। AFAIK, गाऊसी प्रक्रियाओं के मुख्य पैरामीटर माध्य और सहसंयोजक कार्य हैं। लेकिन जैसा कि हम डेटा बिंदुओं को जोड़ते रहते हैं, वे बढ़ते रहते हैं। तो यह बढ़ता रहता है। क्या इसलिए कि गॉसियन प्रक्रियाओं को गैर पैरामीट्रिक कहा जाता है?

— user34790

@whuber यदि मेरे पास लाखों प्रशिक्षण डेटा बिंदु हैं, तो मेरा GP f ~ N (m, k) एक मिलियन आयामी बहुभिन्नरूपी गौसियन वितरण होगा। क्या यह बहुत बड़ा नहीं है? मेरा मतलब है कि नए प्रशिक्षण डेटा के रूप में यह बड़ा और बड़ा हो जाता है। क्या यह कम्प्यूटेशनल मुद्दे को जन्म नहीं देता है?

— user34790

"पैरामीट्रिक" बनाम "गैर-पैरामीट्रिक" ऐसे शब्द हैं जो विशेष प्रक्रियाओं पर लागू नहीं होते हैं: वे उन प्रक्रियाओं के पूरे परिवार पर लागू होते हैं जो डेटा में फिट हो सकते हैं। हालांकि मुझे अभी भी नहीं पता है कि आपके मन में कौन सा परिवार है, यह लगता है कि मापदंडों की संख्या किसी भी परिस्थिति में परिमित हो सकती है, परिवार के सदस्यों के बीच प्रकट होने वाले मापदंडों की संख्या की कोई सीमा नहीं है : एर्गो, समस्या गैर पैरामीट्रिक है।

— whuber

Answer 1

मैं इसे यह कहते हुए पेश करूंगा कि यह हमेशा स्पष्ट नहीं होता है कि "nonparametric" या "semiparametric" इत्यादि का क्या मतलब है। टिप्पणियों में, यह संभावना प्रतीत होती है कि whuber के मन में कुछ औपचारिक परिभाषा है (शायद एक मॉडल चुनने जैसा कुछ। θ कुछ परिवार से { एम θ : θ ∈ Θ } जहां $M_\theta$$\{M_\theta: \theta \in \Theta\}$$\Theta$ अनंत आयामी) है, लेकिन मैं बहुत अनौपचारिक जा रहा हूँ। कुछ लोग यह तर्क दे सकते हैं कि एक गैर-पैरामैट्रिक विधि वह है जिसमें आपके द्वारा उपयोग किए जाने वाले मापदंडों की प्रभावी संख्या डेटा के साथ बढ़ जाती है। मुझे लगता है कि videolectures.net पर एक वीडियो है, जहां (मुझे लगता है) पीटर ओर्बनज़ चार या पांच अलग-अलग लेता है कि हम कैसे "नॉनपैमेट्रिक" को परिभाषित कर सकते हैं।

जब से मुझे लगता है कि मुझे पता है कि आपके मन में किस तरह की चीजें हैं, सादगी के लिए मैं मानूंगा कि आप एक सामान्य तरीके से प्रतिगमन के लिए गॉसियन प्रक्रियाओं का उपयोग करने के बारे में बात कर रहे हैं: हमारे पास प्रशिक्षण डेटा और हम सशर्त माध्य E ( Y | X = x ) के मॉडलिंग में रुचि रखते हैं : = f ( x ) । हम Y i = f ( X + ϵ) लिखते हैं $(Y_i, X_i), i = 1, ..., n$$E(Y|X = x) := f(x)$ और शायद हम के रूप में ग्रहण करने के लिए कि इतने बोल्ड हैं ε मैं आईआईडी और सामान्य रूप से कर रहे हैं वितरित, ε मैं ~ एन ( 0 , σ 2 ) । एक्स i एक आयामी होगा, लेकिन सब कुछ उच्च आयामों पर ले जाता है।

$$Y_i = f(X_i) + \epsilon_i$$ $\epsilon_i$$\epsilon_i \sim N(0, \sigma^2)$$X_i$

हमारे तो एक निरंतरता तो में मान ले जा सकते हैं f ( ⋅ ) (uncountably) अनंत आयाम के एक पैरामीटर के रूप में के बारे में सोचा जा सकता है। तो, इस अर्थ में कि हम अनंत आयाम के एक पैरामीटर का अनुमान लगा रहे हैं , हमारी समस्या एक गैर-मापक है। यह सच है कि बायेसियन दृष्टिकोण में कुछ मापदंडों के बारे में यहां और वहां चल रहा है। लेकिन वास्तव में, इसे नॉनपरमेट्रिक कहा जाता है क्योंकि हम कुछ अनंत आयामों का अनुमान लगा रहे हैं। जीपी पादरियों का उपयोग हम प्रत्येक निरंतर फ़ंक्शन के प्रत्येक पड़ोस के लिए बड़े पैमाने पर करते हैं, इसलिए वे किसी भी निरंतर फ़ंक्शन को मनमाने ढंग से अच्छी तरह से अनुमान लगा सकते हैं।$X_i$$f(\cdot)$

कोविरियन फ़ंक्शन में चीजें सामान्य क्रमिक अनुमानकों में चौरसाई मापदंडों के समान एक भूमिका निभा रही हैं - समस्या के लिए बिल्कुल निराशाजनक नहीं होने के लिए हमें यह मान लेना होगा कि कुछ संरचना है जिसे हम प्रदर्शन को देखने की उम्मीद करते हैं। बायेसियन एक गाऊसी प्रक्रिया के रूप में निरंतर कार्यों के स्थान पर एक पूर्व का उपयोग करके इसे पूरा करते हैं। एक बायेसियन दृष्टिकोण से, हम के बारे में विश्वास एन्कोडिंग कर रहे हैं च संभालने से च इस तरह के और इस तरह के सहप्रसरण समारोह के साथ एक जीपी से ली गई है। पूर्व प्रभावी ढंग से च के अनुमानों को दंडित करता है$f$$f$$f$$f$ से बहुत जटिल होने के लिए है।

कम्प्यूटेशनल मुद्दों के लिए संपादित करें

इस सामान का अधिकांश (सभी?) रासमुसेन और विलियम्स द्वारा गाऊसी प्रक्रिया पुस्तक में है।

कम्प्यूटेशनल मुद्दों GPs के लिए मुश्किल हैं। यदि हम निस्संदेह आगे बढ़ते हैं, तो हमें कोविरियस मैट्रिक्स को पकड़ने के लिए आकार की मेमोरी की आवश्यकता होगी और (यह पता चलता है) हे ( एन 3 ) ऑपरेशन को उल्टा करने के लिए। कुछ चीजें हैं जो हम चीजों को और अधिक संभव बनाने के लिए कर सकते हैं। एक विकल्प यह है कि पुरुष है कि हम वास्तव में जरूरत नहीं है ध्यान दें करने के लिए है वी , का हल ( कश्मीर + σ 2 मैं ) वी = Y जहां कश्मीर सहप्रसरण मैट्रिक्स है। संयुग्मक ग्रेडिएंट्स की विधि इसे O ( N 3 ) में ठीक करती है$O(N^2)$$O(N^3)$$v$$(K + \sigma^2 I)v = Y$$K$$O(N^3)$अभिकलन, लेकिन यदि हम अपने आप को एक अनुमानित समाधान से संतुष्ट करते हैं, तो हम चरणों के बाद संयुग्मक ढाल एल्गोरिथ्म को समाप्त कर सकते हैं और इसे O ( k N 2 ) अभिकलन में कर सकते हैं। हमें एक बार में पूरे मैट्रिक्स K को संग्रहीत करने की भी आवश्यकता नहीं है ।$k$$O(kN^2)$$K$

इसलिए हम से O ( k N 2 ) में चले गए हैं , लेकिन यह अभी भी N में चतुष्कोणीय है , इसलिए हम खुश नहीं हो सकते। अगली सबसे अच्छी बात डेटा के एक सबसेट के बजाय काम करना है, आकार मीटर का कहना है जहाँ एम × एम मैट्रिक्स को इन्वर्ट करना और स्टोर करना इतना बुरा नहीं है। बेशक, हम केवल शेष डेटा को फेंकना नहीं चाहते हैं। रजिस्टरों के सबसेट का दृष्टिकोण है कि हम अपने जीपी के पीछे के माध्य को अपने डेटा वाई के एक प्रतिगमन के रूप में हमारे सह-कार्य फ़ंक्शन द्वारा निर्धारित एन डेटा-निर्भर आधार फ़ंक्शन पर प्राप्त कर सकते हैं ; इसलिए हम सब फेंक देते हैं$O(N^3)$$O(kN^2)$$N$$m$$m \times m$$Y$$N$इन दूर मी और हम ओ ( एम 2 एन ) अभिकलन केलिए नीचे हैं।$m$$O(m^2 N)$

अन्य संभावित विकल्पों में से कुछ मौजूद हैं। हम करने के लिए एक कम रैंक सन्निकटन का निर्माण कर सकता है , और सेट कश्मीर = क्यू क्यू टी जहां क्यू है n × क्ष और रैंक के क्ष ; यह K + I 2 I को निष्क्रिय करता है , इस मामले में Q T Q + I 2 I को बदलने के बजाय किया जा सकता है । एक अन्य विकल्प यह है कि सहसंयोजक कार्य को विरल चुना जाए और संयुग्मक ढाल विधियों का उपयोग किया जाए - यदि सहसंयोजक मैट्रिक्स बहुत विरल है तो इससे कम्प्यूटेशन की गति काफी हद तक बढ़ सकती है।$K$$K = QQ^T$$Q$$n \times q$$q$$K + \sigma^2 I$$Q^TQ + \sigma^2 I$

Answer 2

आम तौर पर, बायेसियन नॉनपैरेमेट्रिक्स में "नॉनपैरामेट्रिक" एक अनंत संख्या (संभावित) मापदंडों वाले मॉडल को संदर्भित करता है। Videolectures.net पर इस विषय पर बहुत अच्छे ट्यूटोरियल और व्याख्यान हैं ( जैसे यह ) जो मॉडल के इस वर्ग के अच्छे साक्षात्कार देते हैं।

विशेष रूप से, गाऊसी प्रक्रिया (जीपी) को गैर-घटक माना जाता है क्योंकि एक जीपी एक फ़ंक्शन (यानी एक अनंत वेक्टर) का प्रतिनिधित्व करता है। चूंकि डेटा बिंदुओं की संख्या बढ़ती है ((x, f (x)) जोड़े), इसलिए मॉडल 'पैरामीटर' की संख्या (फ़ंक्शन के आकार को सीमित करना) करें। एक पैरामीट्रिक मॉडल के विपरीत, जहां मापदंडों की संख्या डेटा के आकार के संबंध में तय होती है, गैर-पैरामीट्रिक मॉडल में, मापदंडों की संख्या डेटा बिंदुओं की संख्या के साथ बढ़ती है।

Comments

यह वही है जो मैं मान रहा था। इसलिए मेरी धारणा सही है। लेकिन मेरा सवाल यह है कि अगर मेरे पास मिलियन पॉइंट्स (प्रेक्षित डेटा) हैं। फिर मेरी एफ भी मिलियन डायमेंशन की होगी। इसलिए मेरे पास कम्प्यूटेशनल मुद्दे नहीं होंगे। इसके अलावा मेरे सहसंयोजक मैट्रिक्स भी आकार 1millionx1million का होगा। तो मुझे इस मामले में क्या करना चाहिए?

— user34790

@ user34790 हाँ, आपके पास कम्प्यूटेशनल मुद्दे होंगे। जीपी के लिए कम्प्यूटेशनल चुनौतियां काफी बड़ी हैं। रासमुसेन और विलियम्स की जीपीस पर एक पुस्तक है, जिसका पूरा एक अध्याय इसी को समर्पित है, और यदि आप पर्याप्त मेहनत करते हैं तो आप इसे मुफ्त में ऑनलाइन पा सकते हैं। कुछ न्यूनतम विवरणों के लिए मेरी अपडेट की गई पोस्ट देखें।

— लड़का

Answer 3

हाइपरपरमेटर्स के रूप में आपके द्वारा निर्दिष्ट पैरामीटर शारीरिक रूप से प्रेरित पैरामीटर नहीं हैं और इसलिए नाम। उनका उपयोग कर्नेल फ़ंक्शन को पूरी तरह से पैरामीटर करने के लिए किया जाता है। गॉसियन कर्नेल में एक उदाहरण देने के लिए:

$K(x_i,x_j) = h^2 \exp(\frac{-(x_i - x_j)^2}{\lambda^2})$

$h$ तथा $\lambda$ हाइपरपरमेटर्स हैं, लेकिन वे तापमान, प्रदूषण एकाग्रता, आदि जैसी मात्राओं से संबंधित नहीं हैं, जो आप एक सच्चे पैरामीटर्स मॉडल में सामना कर सकते हैं।

इस व्याख्यान में इस मुद्दे को संबोधित किया गया था , इससे बेहतर समझ प्राप्त करने में मदद मिल सकती है।