गाऊसी प्रक्रियाओं से लाभ होता है

13

मुझे गाऊसी प्रक्रियाओं के लाभों से संबंधित यह भ्रम है। मेरा मतलब है कि यह सरल रैखिक प्रतिगमन से तुलना करता है, जहां हमने परिभाषित किया है कि रैखिक फ़ंक्शन डेटा को मॉडल करता है।

हालांकि, गॉसियन प्रक्रियाओं में हम कार्यों के वितरण को परिभाषित करते हैं, जिसका अर्थ है कि हम विशेष रूप से यह परिभाषित नहीं करते हैं कि फ़ंक्शन रैखिक होना चाहिए। हम फ़ंक्शन पर एक पूर्व को परिभाषित कर सकते हैं जो कि गॉसियन से पहले है जो सुविधाओं को परिभाषित करता है कि फ़ंक्शन कितना चिकना होना चाहिए और सभी।

इसलिए हमें स्पष्ट रूप से परिभाषित नहीं करना चाहिए कि मॉडल क्या होना चाहिए। हालांकि, मेरे पास सवाल हैं। हमारे पास सीमांत संभावनाएं हैं और इसका उपयोग करके हम पूर्व में गॉसियन के कोवरियन फ़ंक्शन मापदंडों को ट्यून कर सकते हैं। तो यह फ़ंक्शन के प्रकार को परिभाषित करने के समान है कि यह ऐसा नहीं होना चाहिए।

यह एक ही बात के लिए उबलता है कि जीपी में मापदंडों को परिभाषित करने के बावजूद वे हाइपरपरमेटर्स हैं। उदाहरण के लिए इस पत्र में । उन्होंने परिभाषित किया है कि जीपी का औसत कार्य कुछ इस तरह है

m (x) = a x^{2} + b x + c i.e. a second order polynomial.

$m(x) = ax ^2 + bx + c \quad \text{i.e. a second order polynomial.}$

तो निश्चित रूप से मॉडल / फ़ंक्शन परिभाषित है यह नहीं है। तो एलआर की तरह फ़ंक्शन को परिभाषित करने में क्या अंतर है।

मुझे सिर्फ यह नहीं मिला कि जीपी के उपयोग से क्या लाभ है

gaussian-process

— user34790
स्रोत

7

आइए गाऊसी प्रक्रिया प्रतिगमन के बारे में कुछ सूत्र याद करते हैं। मान लीजिए कि हम एक नमूना है । इस नमूने के लिए loglikelihood का रूप है: जहां नमूना सहसंयोजक मैट्रिक्स है। वहाँ मानकों हम धुन loglikelihood अधिकतम उपयोग करने के साथ एक सहप्रसरण कार्य है। नए बिंदु लिए भविष्यवाणी (पीछे का अर्थ) का रूप है: वहाँ $D = (X,\mathbf{y}) = \{(\mathbf{x}_i, y_i)\}_{i = 1}^N$

L = - \frac{1}{2} (\log | K | + y^{T} K^{- 1} y),

$L = -\frac12 \left( \log |K| + \mathbf{y}^T K^{-1} \mathbf{y}\right),$

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$

k (x_{i}, x_{j})

$k(\mathbf{x}_i, \mathbf{x}_j)$

x

$\mathbf{x}$

\hat{y} (x) = k K^{- 1} y,

$\hat{y}(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y},$

k = {k (x, x_{i})}_{i = 1}^{N}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_i)\}_{i = 1}^N$ नए बिंदु और नमूना बिंदुओं के बीच सहसंयोजकों का एक वेक्टर है।

अब ध्यान दें कि गाऊसी प्रक्रियाएं प्रतिगमन सटीक रैखिक मॉडल बना सकती हैं। मान लीजिए कि सहसंयोजक फ़ंक्शन का रूप । इस स्थिति में भविष्यवाणी का रूप है: मामले में पहचान सही है nonsingular है जो कि मामला नहीं है, लेकिन अगर हम सहसंयोजक मैट्रिक्स नियमितीकरण का उपयोग करते हैं तो यह कोई समस्या नहीं है। तो, सबसे दाहिना हाथ पक्ष रैखिक प्रतिगमन के लिए सटीक सूत्र है, और हम उचित सहसंयोजक फ़ंक्शन का उपयोग करके गौसियन प्रक्रियाओं के साथ रैखिक प्रतिगमन कर सकते हैं। $k(\mathbf{x}_i, \mathbf{x}_j) = \mathbf{x}_i^T \mathbf{x}_j$

\hat{y} (x) = x^{T} X^{T} (X X^{T})^{- 1} y = x^{T} (X^{T} X)^{- 1} X^{T} y .

$\hat{y}(\mathbf{x}) = \mathbf{x}^T X^T (X X^T)^{-1} \mathbf{y} = \mathbf{x}^T (X^T X)^{-1} X^T \mathbf{y}.$

(X X^{T})^{- 1}

$(X X^T)^{-1}$

अब आइए एक अन्य सहसंयोजक फ़ंक्शन (उदाहरण के लिए, वर्ग साथ एक गॉसियन प्रक्रियाओं के प्रतिगमन पर विचार करते हैं। , वहाँ का एक मैट्रिक्स है जिसे हम ट्यून करते हैं)। जाहिर है, इस मामले में पीछे का मतलब रैखिक कार्य नहीं है (छवि देखें)। $\exp \left( -(\mathbf{x}_i - \mathbf{x}_j)^T A^{-1} (\mathbf{x}_i - \mathbf{x}_j) \right)$ $A$

यहां छवि विवरण दर्ज करें ।

तो, लाभ यह है कि हम एक उचित सहसंयोजक फ़ंक्शन का उपयोग करके गैर-रेखीय फ़ंक्शन को मॉडल कर सकते हैं (हम एक अत्याधुनिक का चयन कर सकते हैं, ज्यादातर मामलों में घातीय कोवेरियन फ़ंक्शन एक अच्छा विकल्प है)। नॉनक्लियरिटी का स्रोत आपके द्वारा उल्लिखित ट्रेंड कंपोनेंट नहीं है, बल्कि कोविरेन्स फंक्शन है।

— एलेक्सी ज़ेत्सेव
स्रोत

3

मैं कहूंगा कि यह GP के केवल एक लाभ के साथ अन्य कर्नेल विधियों के साथ साझा किया गया है। संभाव्य होने के नाते और जीप का एक और लाभ बायेसियन फ्रेमवर्क से आता है।

— सेदा

2

मेरे लिए गाऊसी प्रक्रियाओं का सबसे बड़ा लाभ मॉडल की अनिश्चितता को मॉडल करने की अंतर्निहित क्षमता है। यह अविश्वसनीय रूप से उपयोगी है, क्योंकि एक समारोह की उम्मीद मूल्य और इसी विचरण दिया मैं एक मीट्रिक (यानी एक परिभाषित कर सकते हैं अधिग्रहण समारोह ) है कि मुझे बताओ जैसे क्या बात कर सकते हैं कि, मैं का मूल्यांकन करना चाहिए मेरी अंतर्निहित समारोह पर, कि इच्छा के उच्चतम (अपेक्षा पर) मूल्य में परिणाम । यह बायेसियन ऑप्टिमाइज़ेशन का आधार बनता है । $x$ $f$ $f(x)$

आप शायद अन्वेषण बनाम शोषण व्यापार-बंद जानते हैं । हम एक लगाना चाहते हैं कुछ समारोह के (जो अक्सर मूल्यांकन करने के लिए महंगा है) और इसलिए हम मितव्ययी होने की जरूरत है जिसके बारे में हम मूल्यांकन करने के लिए चयन । हम शायद उन बिंदुओं के पास के स्थानों को देखना चाहते हैं, जहां हम जानते हैं कि फ़ंक्शन का उच्च मान (शोषण) है या उन बिंदुओं पर जहां हमें फ़ंक्शन के मूल्य (अन्वेषण) के बारे में कोई पता नहीं है। गाऊसी प्रक्रियाएँ हमें अगले मूल्यांकन से संबंधित निर्णय लेने के लिए आवश्यक जानकारी देती हैं: मतलब मूल्य और सहसंयोजक मैट्रिक्स (अनिश्चितता), उदाहरण के लिए महंगे ब्लैक-बॉक्स फ़ंक्शंस को अनुकूलित करना। $max$ $f$ $x$ $f$ $\mu$ $\Sigma$

— टॉमस बर्टकोविआक
स्रोत