तुम ने पूछा था:
उस मामले में जहां 10 10 है लाखों में से गॉसियन प्रक्रिया प्रतिगमन अभी भी काम करता है?
बड़े मैट्रिक्स के निर्माण और अंतरण के मानक अर्थ में नहीं। आपके पास दो विकल्प हैं: 1) एक अलग मॉडल चुनें या 2) एक अनुमान लगाएं।
1) कुछ जीपी-आधारित मॉडल को बहुत बड़े डेटा सेट पर स्केल किया जा सकता है, जैसे कि बेइज़ियन समिति मशीन ऊपर दिए गए उत्तर में जुड़ी हुई है। मुझे यह दृष्टिकोण असंतोषजनक लगता है, हालांकि: जीपी मॉडल चुनने के अच्छे कारण हैं, और अगर हम एक अधिक कम्प्यूटेशनल मॉडल पर स्विच करना चाहते हैं तो हम मूल मॉडल के गुणों को बनाए नहीं रख सकते। उदाहरण के लिए, बीसीएम का पूर्वानुमान संस्करण डेटा विभाजन पर दृढ़ता से निर्भर करता है।
2) GPs में सन्निकटन के लिए 'शास्त्रीय' दृष्टिकोण कर्नेल मैट्रिक्स को अनुमानित है। इस प्रकार के तरीकों की यहाँ अच्छी समीक्षा है: http://www.jmlr.org/papers/volume6/quinonero-candela05a/quinonero-candela05a.pdf । वास्तव में, हम आमतौर पर इन मैट्रिक्स सन्निकटन को मॉडल सन्निकटन के रूप में देख सकते हैं, और उन्हें बायेसियन कमेटी मशीन के साथ जोड़ सकते हैं: वे मॉडल में परिवर्तन कर रहे हैं और यह समझना मुश्किल हो सकता है कि कब ये परिवर्तन विकृति हो सकते हैं। यहाँ एक सुपर समीक्षा है: https://papers.nips.cc/paper/6477-understanding-probabilistic-sparse-gaussian-process-approximations.pdf
जिस तरह से मैं बड़े GPs के लिए सन्निकटन बनाने की वकालत करता हूं, वह कर्नेल मैट्रिक्स या मॉडल को अनुमानित करने से बचने के लिए होता है , और परिवर्तनशील अनुमान का उपयोग करके पीछे के वितरण को अनुमानित करता है। बहुत सारी संगणनाएं एक 'लो रैंक' मैट्रिक्स सन्निकटन की तरह दिखती हैं, लेकिन एक बहुत ही वांछनीय संपत्ति है: आपके द्वारा उपयोग की जाने वाली अधिक संगणना (अधिक "रैंक्स") क्लोजेशन के करीब है, जैसा कि केएल द्वारा मापा गया है। विचलन।
ये लेख एक अच्छा प्रारंभिक बिंदु है: http://proceedings.mlr.press/v5/titsias09a/titsias09a.pdf
https://arxiv.org/pdf/1309.6835
मैंने यहाँ एक ही तर्क पर एक लंबा लेख लिखा: https://www.prowler.io/blog/sparse-gps-approximate-the-posterior-not-the-model
व्यवहार में, कई मामलों में परिवर्तनशील सन्निकटन वास्तव में अच्छी तरह से काम करता है। मैंने इसका उपयोग वास्तविक अनुप्रयोगों में बड़े पैमाने पर किया है। और हाल ही में वहाँ कुछ उत्कृष्ट सिद्धांत का बैकअप लेने के लिए है कि यह क्यों काम करना चाहिए ( https://arxiv.org/abs/1903.03571 )।
एक अंतिम प्लग: GPs में वैरिएबल इंट्रैक्शन gpflow ( https://github.com/GPflow/GPflow ) में लागू किया गया है