गौसियन प्रोसेस में अर्थ फ़ंक्शन निर्बाध क्यों है?

Question

मैंने अभी जीपी के बारे में पढ़ना शुरू कर दिया है और नियमित गौसियन वितरण के अनुरूप है, यह एक मीन फ़ंक्शन और सहसंयोजक फ़ंक्शन या कर्नेल की विशेषता है। मैं एक बातचीत में था और स्पीकर ने कहा कि माध्य फ़ंक्शन आमतौर पर बहुत ही निर्बाध है और सही कोविरेंस फ़ंक्शन का अनुमान लगाने पर सभी अनुमान प्रयास खर्च किए जाते हैं।

क्या कोई मुझे समझा सकता है कि ऐसा क्यों होना चाहिए?

Answer 1

मुझे लगता है कि मुझे पता है कि स्पीकर को क्या मिल रहा था। व्यक्तिगत रूप से मैं उसके / उसके साथ पूरी तरह से सहमत नहीं हूं, और बहुत सारे लोग हैं जो नहीं करते हैं। लेकिन निष्पक्ष होने के लिए, कई ऐसे भी हैं जो :) करते हैं, सबसे पहले, ध्यान दें कि कोवरियस फ़ंक्शन (कर्नेल) को निर्दिष्ट करने का अर्थ है फ़ंक्शंस पर एक पूर्व वितरण निर्दिष्ट करना। बस कर्नेल को बदलने से, गॉसियन प्रक्रिया के अहसास में बहुत ही सहज, असीम रूप से भिन्नता से परिवर्तन होता है, स्क्वैयर घातीय कर्नेल द्वारा उत्पन्न कार्य

"नुकीला", एक घातांक कर्नेल (या 1/2 के साथ मैटरन कर्नेल ) के अनुरूप nondifferentiable फ़ंक्शन।$\nu=1/2$

इसे देखने का एक और तरीका है, एक परीक्षण बिंदु , एक शून्य माध्य फ़ंक्शन के सबसे सरल मामले में, भविष्य कहनेवाला अर्थ (गॉसियन प्रोसेस भविष्यवाणियों का अर्थ, प्रशिक्षण बिंदुओं पर जीपी द्वारा प्राप्त)।$x^*$

$$y^*=\mathbf{k}^{*T}(K+\sigma^{2}I)^{-1}\mathbf{y}$$

जहाँ परीक्षण बिंदु और प्रशिक्षण बिंदु , बीच वेक्टर का सदिश है , प्रशिक्षण बिंदुओं का सहसंयोजक मैट्रिक्स है, शोर शब्द है (बस सेट यदि आपका व्याख्यान संबंधित शोर-मुक्त भविष्यवाणियां, अर्थात, गौसियन प्रक्रिया प्रक्षेप), और प्रशिक्षण सेट में टिप्पणियों का सदिश है। जैसा कि आप देख सकते हैं, भले ही जीपी का मतलब शून्य हो, भविष्यवाणी का मतलब शून्य बिल्कुल नहीं है, और कर्नेल के आधार पर और प्रशिक्षण बिंदुओं की संख्या के आधार पर, यह एक बहुत ही लचीला मॉडल हो सकता है, जो बहुत कुछ सीखने में सक्षम है जटिल पैटर्न।एक्स * एक्स 1 ,..., एक्स एन कश्मीरσσ=0 y =( y 1 ,..., y n$\mathbf{k}^*$$x^*$$x_1,\ldots,x_n$$K$$\sigma$$\sigma=0$$\mathbf{y}=(y_1,\ldots,y_n)$

आमतौर पर, यह कर्नेल है जो जीपी के सामान्यीकरण गुणों को परिभाषित करता है। कुछ गुठली के पास सार्वभौमिक सन्निकटन संपत्ति होती है , यानी, वे सिद्धांत में सक्षम होते हैं जो किसी भी उप-अधिकतम अधिकतम सहिष्णुता के लिए, किसी भी प्रशिक्षण कार्यक्रम को देखते हुए, पर्याप्त प्रशिक्षण बिंदुओं पर किसी भी निरंतर कार्य को अंजाम देने में सक्षम होते हैं।

फिर, आपको मीन फ़ंक्शन के बारे में क्यों ध्यान रखना चाहिए? सबसे पहले, एक सरल मतलब फ़ंक्शन (एक रैखिक या ऑर्थोगोनल बहुपद) एक मॉडल को बहुत अधिक व्याख्यात्मक बनाता है, और इस लाभ को जीपी के रूप में लचीले (इस प्रकार, जटिल) मॉडल के लिए कम करके नहीं आंका जाना चाहिए। दूसरे, किसी तरह से शून्य का मतलब है (या, किस चीज के लायक है, यह भी निरंतर मतलब है) जीपी तरह की भविष्यवाणी प्रशिक्षण डेटा से दूर भविष्यवाणी पर बेकार है। कई स्थिर गुठली (आवधिक गुठली को छोड़कर) ऐसी हैं कि लिएजिले ( एक्स मैं , एक्स * ) → ∞ y $k(x_i-x^*) \to 0$$\operatorname{dist}(x_i,x^*)\to\infty$। 0 के लिए यह अभिसरण आश्चर्यजनक रूप से जल्दी से हो सकता है, जाहिर है स्क्वैयर एक्सपोनेंशियल कर्नेल के साथ, और विशेष रूप से जब प्रशिक्षण सेट को अच्छी तरह से फिट करने के लिए एक छोटी सहसंबंध लंबाई आवश्यक है। इस प्रकार जीपी माध्य फ़ंक्शन के साथ एक जीपी निश्चित रूप से भविष्यवाणी करेगा जैसे ही आप प्रशिक्षण सेट से दूर हो जाते हैं।$y^*\approx 0$

अब, यह आपके एप्लिकेशन में समझ बना सकता है: आखिरकार, मॉडल को प्रशिक्षित करने के लिए उपयोग किए जाने वाले डेटा बिंदुओं के सेट से दूर भविष्यवाणियों को निष्पादित करने के लिए डेटा-संचालित मॉडल का उपयोग करना अक्सर एक बुरा विचार है। यहां देखें कि यह एक बुरा विचार क्यों हो सकता है , कई दिलचस्प और मजेदार उदाहरणों के लिए। इस संबंध में, शून्य का मतलब जीपी, जो हमेशा प्रशिक्षण सेट से 0 से दूर होता है, एक मॉडल (जैसे कि एक उच्च डिग्री बहुभिन्नरूपी ऑर्थोगोनल बहुपद मॉडल) से अधिक सुरक्षित होता है, जो जल्द से जल्द बड़े पैमाने पर बड़ी भविष्यवाणियों को खुशी से शूट करेगा। आप प्रशिक्षण डेटा से दूर हो जाते हैं।

हालांकि, अन्य मामलों में, आप चाहते हैं कि आपका मॉडल एक निश्चित विषम व्यवहार हो सकता है, जो कि एक निरंतर में परिवर्तित नहीं होना है। हो सकता है कि शारीरिक विचार आपको बता दें कि पर्याप्त रूप से बड़ा, आपका मॉडल रैखिक होना चाहिए। उस मामले में आप एक रेखीय माध्य फ़ंक्शन चाहते हैं। सामान्य तौर पर, जब मॉडल के वैश्विक गुण आपके आवेदन के लिए रुचि रखते हैं, तो आपको माध्य फ़ंक्शन की पसंद पर ध्यान देना होगा। जब आप अपने मॉडल के केवल स्थानीय (प्रशिक्षण बिंदुओं के करीब) में रुचि रखते हैं, तो एक शून्य या निरंतर औसत जीपी पर्याप्त से अधिक हो सकता है।$x^*$

Comments

डेल्टा, क्या आप जानते हैं कि एक अच्छा मतलब फ़ंक्शन क्या होगा?

— समुद्र में एक बूढ़ा आदमी।

@Anoldmaninthesea यह आवेदन पर बहुत कुछ निर्भर करता है। जैसा कि मैंने समझाया, जब तक आपको एक व्याख्यात्मक मॉडल की आवश्यकता नहीं होती है, या आप अपने प्रशिक्षण सेट से "दूर" भविष्यवाणियों में रुचि रखते हैं, तो यह संभव होगा कि मीन फ़ंक्शन के बजाय

— कोवरियस

डेल्टा, मेरे मामले में अच्छी तरह से मुझे कुछ पूर्वानुमान लगाने की कोशिश करने की ज़रूरत है जो कि देखे गए डेटा से बहुत दूर हो सकते हैं ... मैंने यह सवाल यहाँ पूछा है। आँकड़े

— एक बूढ़ा आदमी समुद्र।

Answer 2

हम उस व्यक्ति की ओर से नहीं बोल सकते जो व्याख्यान दे रहा था; जब स्पीकर ने यह बयान दिया तो शायद स्पीकर के दिमाग में एक अलग विचार था। हालाँकि, उस स्थिति में जब आप GP से पूर्ववर्ती भविष्यवाणियों का निर्माण करने का प्रयास कर रहे हैं, एक स्थिर माध्य फ़ंक्शन में एक बंद-रूप समाधान होता है जिसे वास्तव में गणना की जा सकती है। हालांकि, एक अधिक सामान्य माध्य फ़ंक्शन के मामले में, आपको अनुमानित तरीकों का सहारा लेना चाहिए, जैसे अनुकरण।

इसके अतिरिक्त, सहसंयोजक फ़ंक्शन नियंत्रित करता है कि मीन फ़ंक्शन से कितनी तेजी से (और कहाँ) विचलन होता है, इसलिए यह अक्सर ऐसा होता है कि एक अधिक लचीला / कठोर कोवरियनस फ़ंक्शन अधिक अलंकृत माध्य फ़ंक्शन को सन्निकट करने के लिए "अच्छा पर्याप्त" हो सकता है - जो फिर से अनुदान देता है एक स्थिर माध्य फ़ंक्शन की सुविधा गुणों तक पहुंच।

Comments

उस स्पष्टीकरण के लिए धन्यवाद। हाँ, मैं अपना सवाल नहीं पूछ सकता था और सोच रहा था कि क्या इसके लिए कोई राजसी कारण है।

— लुका

Answer 3

मैं आपको एक स्पष्टीकरण देता हूं जो शायद स्पीकर द्वारा नहीं था। कुछ अनुप्रयोगों में साधन हमेशा उबाऊ होते हैं। उदाहरण के लिए, लें कि हम मॉडल साथ बिक्री का पूर्वानुमान लगा रहे हैं । लंबे समय तक चलने का मतलब स्पष्ट रूप से । क्या यह दिलचस्प है? E [ y $y_t=c+\gamma y_{t-1}+e_t$$E[y_t]\equiv\mu=\frac{c}{1-\gamma}$

यह आपके उद्देश्य पर निर्भर करता है। आप स्टोर मूल्यांकन के बाद कर रहे हैं, तो यह आपको बताता है कि आप को बढ़ाना होगा या कमी दुकान के मूल्य में वृद्धि करने के लिए, क्योंकि मूल्य द्वारा दिया जाता है: जहां है डिस्काउंट फैक्टर। तो, मतलब स्पष्ट रूप से दिलचस्प है।$c$$\gamma$

$$V=\frac{\mu}{r}$$ $r$

यदि आप तरलता में रुचि रखते हैं, यानी आपके पास अगले कुछ महीनों में खर्चों को कवर करने के लिए पर्याप्त नकदी है, तो इसका मतलब लगभग अप्रासंगिक है। आप अगले महीने के नकद पूर्वानुमान को देख रहे हैं: इसलिए इस महीने की बिक्री अब एक कारक है।y

$$y_1=c+\gamma y_0$$ $y_0$

Answer 4

वैसे एक बहुत अच्छा कारण यह है कि माध्य फ़ंक्शन आपके द्वारा मॉडल किए जाने वाले कार्यों के स्थान पर नहीं रह सकता है। प्रत्येक इनपुट बिंदु, , का एक समान पश्च मीन, । हालाँकि, किसी भी अन्य डेटा को देखने से पहले ये पश्च माध्य बिंदु अपेक्षित हैं। इसलिए ऐसे कई मामले हैं जहां कोई भी स्थिति नहीं है जहां भविष्य के आंकड़ों का अवलोकन किया जाता है, जो कि मीन फ़ंक्शन का निर्माण करेगा।$x_i$$\mu(x_i)$

सरल उदाहरण: अज्ञात ऑफसेट लेकिन ज्ञात अवधि और आयाम एक के साथ एक साइन फ़ंक्शन करने की कल्पना करें। सभी लिए पूर्व का मतलब शून्य है लेकिन हमारे द्वारा वर्णित साइन फ़ंक्शन के स्थान में एक निरंतर रेखा नहीं रहती है। सहसंयोजक कार्य हमें अतिरिक्त संरचनात्मक जानकारी देता है।$x$

Answer 5

इसे सरलता से कहने के लिए, अवलोकनों से 'दूर' इनपुट्स के लिए सहक्रियात्मक कार्य पर माध्य फ़ंक्शन हावी होता है।
यह आपके सिस्टम के मैक्रो डायनामिक्स में आपके पूर्व ज्ञान को इंजेक्ट करने का एक तरीका है।

Comments

मुझे आपका उत्तर समझ नहीं आया। क्या आप स्पष्ट कर सकते हैं?

— माइकल आर। चेरिक