कार्यों पर वितरण क्या है?

Question

मैं CE रासमुसेन और सीकेआई विलियम्स द्वारा मशीन लर्निंग के लिए एक पाठ्यपुस्तक गौसियन प्रक्रिया पढ़ रहा हूं और मुझे यह समझने में थोड़ी परेशानी हो रही है कि कार्यों पर वितरण का क्या मतलब है। पाठ्यपुस्तक में, एक उदाहरण दिया जाता है, कि किसी को बहुत लंबे वेक्टर के रूप में एक फ़ंक्शन की कल्पना करनी चाहिए (वास्तव में, यह मुख्य रूप से लंबा होना चाहिए?)। तो मुझे लगता है कि इस तरह के वेक्टर मानों के ऊपर "संभावना से ऊपर" एक वितरण वितरण होने की कल्पना करता है। क्या तब यह संभावना होगी कि कोई फ़ंक्शन इस विशेष मूल्य को लेगा? या यह संभावना होगी कि कोई फ़ंक्शन किसी दिए गए रेंज में मान लेगा? या फ़ंक्शंस पर वितरण एक संपूर्ण फ़ंक्शन को सौंपी गई संभावना है?

पाठ्यपुस्तक के उद्धरण:

अध्याय 1: परिचय, पृष्ठ 2

एक गाऊसी प्रक्रिया गाऊसी संभावना वितरण का एक सामान्यीकरण है। जबकि संभाव्यता वितरण यादृच्छिक चर का वर्णन करता है जो स्केलर या वैक्टर (बहुभिन्नरूपी वितरण के लिए) हैं, एक स्टोकेस्टिक प्रक्रिया कार्यों के गुणों को नियंत्रित करती है। गणितीय परिष्कार को छोड़ दें, तो किसी कार्य को बहुत लंबे वेक्टर के रूप में शिथिल माना जा सकता है, वेक्टर में प्रत्येक प्रविष्टि एक विशेष इनपुट x पर फ़ंक्शन मान f (x) को निर्दिष्ट करती है। यह पता चला है, हालांकि यह विचार थोड़ा भोला है, यह आश्चर्यजनक रूप से करीब है कि हमें क्या चाहिए। वास्तव में, इन अनंत आयामी वस्तुओं के साथ हम कम्प्यूटेशनल तरीके से कैसे निपटते हैं, इसका प्रश्न सबसे सुखद संकल्प है: यदि आप केवल फ़ंक्शन के गुणों के लिए एक सीमित संख्या में पूछते हैं,

अध्याय 2: प्रतिगमन, पृष्ठ 7

गाऊसी प्रक्रिया (जीपी) प्रतिगमन मॉडल की व्याख्या करने के कई तरीके हैं। एक गॉसियन प्रक्रिया को फ़ंक्शंस पर वितरण को परिभाषित करने के रूप में सोच सकता है , और फ़ंक्शंस अंतरिक्ष के दृश्य में सीधे फ़ंक्शंस में जगह ले रहा है।

---

प्रारंभिक प्रश्न से:

मैंने इस वैचारिक चित्र को अपने लिए कल्पना करने का प्रयास किया। मुझे यकीन नहीं है कि इस तरह की व्याख्या जो मैंने अपने लिए की है वह सही है।

---

अद्यतन के बाद:

Gijs के उत्तर के बाद मैंने चित्र को वैचारिक रूप से कुछ इस तरह अद्यतन किया:

Comments

सहज ज्ञान युक्त स्पष्टीकरण के लिए इसे देखें jgoertler.com/visual-exploration-gaussian-processes

— bicepjai

Answer 1

अवधारणा सामान्य वितरण की तुलना में थोड़ा अधिक सार है। समस्या यह है कि हम पर एक वितरण की अवधारणा के लिए उपयोग किए जाते हैं , आमतौर पर एक पंक्ति के रूप में दिखाया जाता है, और फिर इसे एक सतह पर विस्तारित किया जाता है , और इतने पर । लेकिन कार्यों के स्थान को एक वर्ग या एक रेखा या एक वेक्टर के रूप में नहीं दर्शाया जा सकता है। यह उस तरह से सोचना कोई अपराध नहीं है, जैसे आप करते हैं, लेकिन सिद्धांत जो में काम करता है , दूरी, पड़ोस और इस तरह के साथ करना (यह अंतरिक्ष की टोपोलॉजी के रूप में जाना जाता है), हैं फ़ंक्शन के स्थान में समान नहीं है। इसलिए इसे एक वर्ग के रूप में चित्रित करना आपको उस स्थान के बारे में गलत अंतर्ज्ञान दे सकता है।$\mathbb{R}$$\mathbb{R}^2$$\mathbb{R}^n$$\mathbb{R}^n$

आप बस कार्यों के एक बड़े संग्रह के रूप में कार्यों के स्थान के बारे में सोच सकते हैं, यदि आप चाहें तो चीजों का एक बैग। यहाँ वितरण तब आपको उन चीज़ों के सबसेट को आकर्षित करने की संभावना देता है। वितरण यह कहेगा: संभावना है कि आपका अगला ड्रा (एक फ़ंक्शन का) इस सबसेट में है, उदाहरण के लिए, 10%। दो आयामों में कार्यों पर एक गाऊसी प्रक्रिया के मामले में, आप पूछ सकते हैं, एक- xनिर्देश और एक अंतरालy-वास्तव, यह एक छोटी ऊर्ध्वाधर रेखा खंड है, क्या संभावना है कि एक (यादृच्छिक) फ़ंक्शन इस छोटी रेखा से होकर गुजरेगा? यह एक सकारात्मक संभावना होने जा रही है। इसलिए गॉसियन प्रक्रिया कार्यों के एक स्थान पर वितरण (संभाव्यता) को निर्दिष्ट करती है। इस उदाहरण में, फ़ंक्शंस के स्थान का सबसेट सबसेट है जो लाइन सेगमेंट से गुजरता है।

यहां एक और भ्रामक नामकरण परंपरा यह है कि एक वितरण आमतौर पर एक घनत्व फ़ंक्शन द्वारा निर्दिष्ट किया जाता है , जैसे कि सामान्य वितरण के साथ घंटी का आकार। वहां, वितरण फ़ंक्शन के तहत क्षेत्र आपको बताता है कि अंतराल कितना संभावित है। हालांकि, सभी वितरणों के लिए यह काम नहीं करता है, और विशेष रूप से, कार्यों के मामले में ( सामान्य वितरण के साथ ), यह बिल्कुल भी काम नहीं करता है। इसका मतलब है कि आप इस वितरण को (गॉसियन प्रक्रिया द्वारा निर्दिष्ट) एक घनत्व फ़ंक्शन के रूप में नहीं लिख पाएंगे।$\mathbb{R}$

Comments

धन्यवाद, इसलिए स्पष्ट करने के लिए, यह एक फ़ंक्शन के मूल्यों पर वितरण नहीं है, बल्कि कार्यों के संग्रह पर वितरण है, है ना? एक और प्रश्न जो मेरे पास है: आपने कहा है कि यह एक संभावना होगी कि एक यादृच्छिक फ़ंक्शन एक निश्चित अंतराल से होकर गुजरेगा, इसलिए जीपीआर के उदाहरण में, यह एक यादृच्छिक कार्य होगा लेकिन एक विशिष्ट "परिवार" द्वारा दिए गए कार्यों से सहकर्मी कर्नेल?

— कैमिलजर

हाँ यह कार्यों के संग्रह पर एक वितरण है। यदि आप एक गाऊसी प्रक्रिया है, तो एक अंतराल से गुजरने का उदाहरण लागू होता है। सहसंयोजक कर्नेल वास्तव में एक गाऊसी प्रक्रिया को निर्दिष्ट करेगा। इसलिए यदि आप एक सहसंयोजक कर्नेल को जानते हैं, तो आप एक विशिष्ट अंतराल से गुजरने वाले यादृच्छिक फ़ंक्शन की संभावना की गणना कर सकते हैं।

— गीज्स

@Gijs क्या आप इस पर एक नज़र डाल सकते हैं , मैं सहसंयोजक मैट्रिक्स पर अंतर्ज्ञान की तलाश कर रहा हूं और कैसे अलग-अलग सहसंबंध की शर्तें अभी भी जीपी से इसी तरह के आउटपुट का परिणाम देती हैं

— GENIVI-LEARNER

Answer 2

आपका प्रश्न पहले से ही पूछा गया है, और गणित एसई साइट पर, खूबसूरती से उत्तर दिया गया है:

/math/2297424/extending-a-distribution-over-samples-to-a-distribution-over-functions

ऐसा लगता है कि आप अनंत-आयामी रिक्त स्थान , रैखिक कार्यात्मक, पुशवर्ड उपायों आदि पर गौसियन उपायों की अवधारणाओं से परिचित नहीं हैं , इस प्रकार मैं इसे यथासंभव सरल रखने की कोशिश करूंगा।

आप पहले से ही जानते हैं कि वास्तविक संख्याओं (यादृच्छिक चर) और अधिक वैक्टर (फिर से, यादृच्छिक चर, भले ही हम उन्हें यादृच्छिक वैक्टर कहते हैं) पर संभावनाओं को कैसे परिभाषित करें। अब हम एक अनंत-आयामी वेक्टर-स्पेस पर एक प्रायिकता मापना चाहते हैं: उदाहरण के लिए, पर वर्ग-पूर्णांक कार्यों के स्थान । चीजें अब जटिल हो जाती हैं, क्योंकि जब हमने या पर संभाव्यता को परिभाषित किया था , तो हमें इस तथ्य से मदद मिली थी कि Lebesgue का माप दोनों स्थानों पर परिभाषित किया गया है। हालाँकि, पर कोई भी लेब्सगैब मौजूद नहीं है$L^2([0,1])$$I=[0,1]$$\mathbb{R}$$\mathbb{R}^n$एल 2$L^2$(या किसी भी अनंत-आयामी Banach अंतरिक्ष, उस बात के लिए)। इस पहेली के विभिन्न समाधान हैं, जिनमें से अधिकांश को कार्यात्मक विश्लेषण के साथ एक अच्छी परिचितता की आवश्यकता है।

हालांकि, कोलमोगोरोव एक्सटेंशन प्रमेय पर आधारित एक सरल "ट्रिक" भी है , जो मूल रूप से स्टोकेस्टिक प्रक्रियाओं को अधिकांश प्रायिकता पाठ्यक्रमों में पेश किया जाता है जो भारी माप-सिद्धांत नहीं हैं। अब मैं बहुत हाथ से लहराता हूं और गैर-कठोर होता हूं, और खुद को गौसियन प्रक्रियाओं के मामले में सीमित करता हूं। यदि आप अधिक सामान्य परिभाषा चाहते हैं, तो आप उपरोक्त उत्तर पढ़ सकते हैं या विकिपीडिया लिंक देख सकते हैं। कोलमोगोरोव एक्सटेंशन प्रमेय, आपके विशिष्ट उपयोग के मामले में लागू होता है, निम्न में से कम या ज्यादा बताता है:

• मान लें कि, अंक के प्रत्येक परिमित समुच्चय के लिए , पास बहुभिन्नरूपी गौसियन है वितरण$S_n=\{ t_1, \dots ,t_n\} \subset I$$\mathbf{x}_n=(x(t_1),\dots,x(t_n))$
• मान लें कि सभी संभावित , संबंधित संभावना वितरण कार्य और कर रहे हैं लगातार , यानी, अगर मैं एकीकृत चर जो में हैं के संबंध में लेकिन नहीं में , तो जिसके परिणामस्वरूप पीडीएफ है :$S_n, S_m, \enspace S_n\subset S_m$$f_{S_n}(x_1,\dots,x_n)$$f_{S_m}(x_1,\dots,x_{n},x_{n+1},\dots,x_m)$$f_{S_m}$$S_m$$S_n$$f_{S_n}$

$$\int_{\mathbb{R}^{n-m+1}}f_{S_m}(x_1,\dots,x_{n},x_{n+1},\dots,x_m)\text{d}x_{n+1}\dots \text{d}x_m=f_{S_n}(x_1,\dots,x_n)$$

• उसके बाद एक स्टोकेस्टिक प्रक्रिया मौजूद है , यानी, के स्थान पर एक यादृच्छिक चर , जैसे कि, प्रत्येक परिमित सेट , उन बिंदुओं की संभाव्यता वितरण बहुभिन्नरूपी गौसियन है।$X$$L^2$$S_n$$n$

वास्तविक प्रमेय व्यापक रूप से अधिक सामान्य है, लेकिन मुझे लगता है कि यह वही है जो आप देख रहे थे।