गाऊसी प्रक्रिया में टिप्पणियों का विलय

Question

मैं प्रतिगमन के लिए गॉसियन प्रक्रिया (जीपी) का उपयोग कर रहा हूं।

मेरी समस्या में यह दो या अधिक डेटा बिंदुओं के लिए काफी सामान्य है एक दूसरे के करीब होने के लिए, अपेक्षाकृत लंबाई के लिए समस्या का पैमाना। इसके अलावा, अवलोकन अत्यधिक शोर हो सकता है। कम्प्यूटेशन में तेजी लाने और माप परिशुद्धता में सुधार करने के लिए, अंक के समूहों को एक दूसरे के करीब मर्ज करना / एकीकृत करना स्वाभाविक है, जब तक कि मैं एक बड़े लंबाई के पैमाने पर भविष्यवाणियों के बारे में परवाह करता हूं।$\vec{x}^{(1)},\vec{x}^{(2)},\ldots$

मुझे आश्चर्य है कि ऐसा करने का एक तेज़ लेकिन अर्ध-राजसी तरीका है।

दो डेटा बिंदु पूरी तरह से ओवरलैपिंग कर रहे थे, , और प्रेक्षण शोर (यानी, संभावना) गाऊसी, संभवतः heteroskedastic लेकिन है जाना जाता है , कार्यवाही का स्वाभाविक तरीका उन्हें किसी एकल डेटा बिंदु में मर्ज करना प्रतीत होता है:$\vec{x}^{(1)} = \vec{x}^{(2)}$

• $\vec{\bar{x}} \equiv \vec{x}^{(k)}$ , ।$k=1,2$

• देखे गए मान जो कि देखे गए मानों का एक औसत है उनकी संबंधित सटीकता से भारित: ।$\bar{y}$$y^{(1)}, y^{(2)}$$\bar{y} = \frac{\sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(1)} + \frac{\sigma_y^2(\vec{x}^{(1)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(2)}$

• Noise जो कि अवलोकन के बराबर है: ।$\sigma_y^2(\bar{x}) = \frac{\sigma_y^2(\vec{x}^{(1)}) \sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})}$

हालांकि, मुझे दो बिंदुओं का विलय कैसे करना चाहिए जो करीब हैं लेकिन अतिव्यापी नहीं हैं?

• मुझे लगता है कि अभी भी दो पदों का भारित औसत होना चाहिए , फिर से सापेक्ष विश्वसनीयता का उपयोग करना। तर्क एक केंद्र-जन-तर्क है (यानी, कम सटीक टिप्पणियों के ढेर के रूप में बहुत सटीक अवलोकन के बारे में सोचें)।$\vec{\bar{x}}$

• के लिए ऊपर के रूप में एक ही सूत्र।$\bar{y}$

• अवलोकन से जुड़े शोर के लिए, मुझे आश्चर्य है कि अगर उपरोक्त सूत्र के अलावा मुझे शोर में सुधार शब्द जोड़ना चाहिए क्योंकि मैं डेटा बिंदु को चारों ओर घुमा रहा हूं। अनिवार्य रूप से, मुझे अनिश्चितता में वृद्धि मिलेगी जो कि और संबंधित है (क्रमशः, संकेत विचरण और सहसंयोजक कार्य की लंबाई के पैमाने)। मैं इस शब्द के रूप के बारे में निश्चित नहीं हूं, लेकिन मेरे पास कुछ अस्थायी विचार हैं कि कैसे इसे गणना करने का कार्य दिया जाए।$\sigma_f^2$$\ell^2$

आगे बढ़ने से पहले, मैंने सोचा कि क्या वहाँ पहले से ही कुछ था; और अगर यह कार्यवाही का एक समझदार तरीका है, या बेहतर त्वरित तरीके हैं।

साहित्य में सबसे करीबी चीज मुझे मिल सकती है: ई। स्नेलसन और जेड। घ्रामणी, स्पर्स गॉसियन प्रोसेसस, जो छद्म-इनपुट , NIPS '05 का उपयोग करते हैं ; लेकिन उनकी विधि शामिल है (अपेक्षाकृत), छद्म-आदानों को खोजने के लिए एक अनुकूलन की आवश्यकता होती है।

Comments

वैसे, मैं सराहना करता हूं कि मैं अनुमानित अनुमान या कुछ बड़े पैमाने पर तरीकों का उपयोग कर सकता हूं, लेकिन यह एक और बिंदु है।

— Lakerbi

Answer 1

महान सवाल और आप जो सुझाव दे रहे हैं वह उचित लगता है। हालांकि व्यक्तिगत रूप से मैं कुशल होने के लिए अलग तरह से आगे बढ़ूंगा। जैसा कि आपने कहा था कि दो बिंदु जो थोड़ी अतिरिक्त जानकारी प्रदान करते हैं और इसलिए मॉडल की स्वतंत्रता की प्रभावी डिग्री मनाए गए डेटा बिंदुओं की संख्या से कम है। ऐसे मामले में यह Nystroms विधि का उपयोग करने के लायक हो सकता है जिसे GPML में अच्छी तरह से वर्णित किया गया है (विरल सन्निकटन पर अध्याय http://www.gaussianprocess.org/gpml/ ) देखा जा सकता है । विधि को लागू करना बहुत आसान है और हाल ही में रूडी एट अल द्वारा अत्यधिक सटीक साबित हुआ है। ( http://arxiv.org/abs/1507.04717 )

Comments

धन्यवाद, Nystrom की विधि एक दिलचस्प दृष्टिकोण लगती है, मैं इसे देखूंगा। हालांकि, अपनी पहली पोस्ट में मैं यह उल्लेख करना भूल गया था कि टिप्पणियों में शोर बहुत अधिक हो सकता है (संभवतः सिग्नल से बड़ा), ताकि पास के बिंदुओं का औसत अतिरिक्त जानकारी प्रदान करेगा।

— लैकरबी

ठीक है कि वास्तव में Nystroms विधि का उपयोग करने का एक कारण और भी है। उच्च शोर स्वतंत्रता की प्रभावी डिग्री को कम कर देता है, इसलिए यदि केवल पहला m eigenvalues ​​सिग्नल को दबाए रखता है और बाकी केवल शोर है, तो Nystroms विधि उन सभी को पहले m से कम छोड़ देगी। मुझे लगता है कि आप जो खोज रहे हैं उसके लिए यह बिल फिट होगा। शुभकामनाएँ!

— __

Nystrom विधि वह है जो मैं सुझाव दूंगा (+1)। बस अंक को एक में विलय करने से मॉडल की सीमांत संभावना का अनुमान लगाने में समस्या हो सकती है क्योंकि दो वास्तविक डेटा पॉइंट एक एकल बिंदु के समान प्रभाव होने की संभावना नहीं है। मेरी सलाह यह होगी कि दोनों बिंदुओं को अलग रखें, लेकिन गणना को कम खर्चीला बनाने का एक तरीका खोजें, जिसे निस्त्रोमेथ को प्राप्त करना चाहिए,

— डिक्रान मार्सुपियल

किस तरह की समस्याएं? यदि आप गौसियन शोर के साथ दो अतिव्यापी बिंदुओं के मामले पर विचार करते हैं, तो औसत विधि सटीक है (जब तक आप अवलोकन शोर में कमी का ट्रैक रखते हैं)। मैं यह नहीं देखता कि समस्या के लम्बे पैमाने के करीब wrt वाले बिंदुओं के लिए एक ही तर्क क्यों नहीं काम करना चाहिए (बढ़ती दूरी के साथ स्थिति और बदतर होती जा रही है)। शायद यह वही है जो निस्ट्रॉम की विधि अधिक राजसी तरीके से करती है - मुझे अभी भी विवरण को समझने की आवश्यकता है। मैं सटीकता और गति दोनों के मामले में औसत विधि के साथ तुलना करने के लिए उत्सुक हूं। धन्यवाद

— लैकेबी

@ सईदा हम सामान्य रूप से कम समय की शंकुवृद्धि के बजाय प्रभावी ढंग से एक पूर्व शर्त के रूप में निस्ट्रॉम का उपयोग नहीं कर रहे हैं, इसलिए हाँ।

— j__

Answer 2

मैं भी गाऊसी प्रक्रिया प्रतिगमन प्रदर्शन करते समय विलय की टिप्पणियों की जांच कर रहा हूं। मेरी समस्या में मेरे पास केवल एक कोवरिएट है।

मुझे यकीन नहीं है कि मैं जरूरी मानता हूं कि Nystrom सन्निकटन बेहतर है। विशेष रूप से, यदि एक विलय किए गए डेटासेट के आधार पर एक पर्याप्त सन्निकटन पाया जा सकता है, तो गणना उस समय से तेज हो सकती है जब कोई निस्ट्रॉम सन्निकटन का उपयोग करता है।

नीचे कुछ ग्राफ़ 1000 डेटा पॉइंट्स और पोस्टीरियर जीपी माध्य, मर्ज किए गए रिकॉर्ड्स के साथ पीछे वाले जीपी मतलब, और पोस्टीरियर जीपी का अर्थ निस्टेरम सन्निकटन का उपयोग करके दिखाया गया है। ऑर्डर किए गए कोवरिएट के समान आकार की बाल्टियों के आधार पर रिकॉर्ड बनाए गए थे। सन्निकटन आदेश समूहों की संख्या से संबंधित होता है जब रिकॉर्ड विलय और निस्ट्रॉम सन्निकटन का क्रम। विलय के दृष्टिकोण और Nystrom सन्निकटन दोनों परिणाम उत्पन्न करते हैं जो मानक GP प्रतिगमन के समान होते हैं जब सन्निकटन क्रम अंकों की संख्या के बराबर होता है।

इस मामले में, जब सन्निकटन का क्रम 10 है, तो विलय का दृष्टिकोण बेहतर लगता है। जब आदेश 20 होता है, तो निस्टेरोम सन्निकटन से माध्य, सटीक जीपी पश्च माध्य से नेत्रहीन रूप से अप्रभेद्य होता है, हालांकि विलय टिप्पणियों के आधार पर इसका अर्थ संभवतः काफी अच्छा होता है। जब आदेश 5 है, दोनों बहुत गरीब हैं।