गाऊसी प्रक्रिया प्रतिगमन में हाइपरपरमीटर ट्यूनिंग

मैं गाऊसी प्रक्रिया प्रतिगमन एल्गोरिथ्म के हाइपरपरमेटर्स को ट्यून करने की कोशिश कर रहा हूं जो मैंने लागू किया है। मैं बस फॉर्मूला द्वारा दिए गए लॉग सीमांत संभावना को अधिकतम करना चाहता हूं जहां सहसंयोजक मैट्रिक्स है तत्व जहां और और हैं।

\log (y | X, θ) = - \frac{1}{2} y^{T} K_{y}^{- 1} y - \frac{1}{2} \log (det (K)) - \frac{n}{2} \log (2 π)

$\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2} \mathbf{y}^TK_y^{-1}\mathbf{y}-\frac{1}{2}\log(\det(K))-\frac{n}{2}\log(2\pi)$

K

$K$

K_{i j} = k (x_{i}, x_{j}) = b^{- 1} \exp (- \frac{1}{2} (x_{i} - x_{j})^{T} M (x_{i} - x_{j})) + a^{- 1} δ_{i j}

$K_{ij}=k(x_i,x_j)=b^{-1}\exp(-\frac{1}{2}(x_i-x_j)^TM(x_i-x_j))+a^{-1}\delta_{ij}$

M = l I

$M=lI$

a, b

$a,b$

l

$l$

लॉग सीमांत संभावना के आंशिक व्युत्पन्न wrt पैरामीटर निम्नलिखित

\frac{\log (y | X, θ)}{d θ} = \frac{1}{2} t r a c e (K^{- 1} \frac{d K}{d θ}) + \frac{1}{2} (y \frac{d K}{d θ} K^{- 1} \frac{d K}{d θ} y)

$\frac{\log(\mathbf{y}|X,\mathbf{\theta})}{d\theta}=\frac{1}{2}\mathrm{trace}(K^{-1}\frac{dK}{d\theta})+\frac{1}{2}(\mathbf{y}\frac{dK}{d\theta}K^{-1}\frac{dK}{d\theta}\mathbf{y})$

जैसा कि की प्रविष्टियां $K$ मापदंडों पर निर्भर करती हैं, इसलिए डेरिवेटिव और व्युत्क्रम करें $K$ । इसका मतलब है, जब ग्रेडिएंट-आधारित ऑप्टिमाइज़र नियुक्त किया जाता है, तो किसी दिए गए बिंदु (पैरामीटर मान) पर ग्रेडिएंट का मूल्यांकन करने के लिए सहसंयोजक मैट्रिक्स के पुनर्संयोजन की आवश्यकता होगी। मेरे आवेदन में, यह संभव नहीं है क्योंकि खरोंच से कोवरियन मैट्रिक्स की गणना करना और क्रमिक चढ़ाई के प्रत्येक पुनरावृत्ति में इसके व्युत्क्रम की गणना करना बहुत महंगा है। मेरा सवाल यह है कि इन तीन मापदंडों के एक अच्छे संयोजन को खोजने के लिए मेरे विकल्प क्या हैं? और मैं यह भी नहीं जानता कि कौन सा पैरामीटर पहले ऑप्टिमाइज़ करना है और मैं इस मुद्दे पर भी किसी भी संकेत की सराहना करूंगा।

— bfaskiplar
स्रोत

मुझे मामूली सी आकार के डेटा सेट के लिए जीपी हाइपर-मापदंडों के नमूने के लिए एचएमसी का उपयोग करके सफलता मिली है।

— साइकोरैक्स का कहना है कि मोनिका

हाय @ साइकोरेक्स, क्या आप हमें बता सकते हैं कि आपने इस समस्या को हल करने के लिए इस तकनीक का उपयोग कैसे किया? मुझे वही समस्या है जो ओपी ने पूछी है और इसे हल करने के लिए एमसीएमसी का उपयोग करने पर विचार कर रहा है, लेकिन अभी तक यह नहीं पता है कि यह कैसे करना है।

— विलियन फूक्स

मैं सिर्फ स्टेन में जीपी को कोडित करता हूं। जीपी हाइपरपरमेटर्स को मॉडल के मापदंडों के रूप में घोषित किया गया था और तदनुसार अनुमान लगाया गया था। इससे प्रत्येक HMC पुनरावृत्ति के लिए भविष्यवाणियों का एक सेट उत्पन्न हुआ। गेलमैन ने बताया कि यह सब बीडीए 3

— साइकोरैक्स का कहना है कि मोनिका

आप सही हैं कि आपको क्रमिक चढ़ाई के प्रत्येक पुनरावृत्ति पर एक नए सहसंयोजक मैट्रिक्स की गणना की आवश्यकता है। इसलिए यदि मैट्रिक्स गणना आपकी सेटिंग के लिए संभव नहीं है, तो, मुझे लगता है, आप ग्रेडिएंट-आधारित सीमांत संभावना अनुकूलन का उपयोग नहीं कर सकते।

मेरा सुझाव हाइपरपैरेट ट्यूनिंग के लिए ग्रेडिएंट-फ्री तरीकों का उपयोग करना है, जैसे कि ग्रिड खोज, यादृच्छिक खोज या बेयसियन अनुकूलन-आधारित खोज । इन पद्धतियों का व्यापक रूप से अन्य मशीन लर्निंग एल्गोरिदम जैसे एसवीएम के अनुकूलन हाइपरपैरामीटर के लिए उपयोग किया जाता है।

मैं आपकी पहली कोशिश के लिए ग्रिड खोज का सुझाव देता हूं । आप मूल रूप से संभव हाइपरपरमेटर्स की एक तालिका (ग्रिड) बनाते हैं, हर एक को आज़माते हैं, और सर्वोत्तम सत्यापन प्रदर्शन (या सर्वोत्तम सीमांत संभावना) की तलाश करते हैं।

ग्रिड खोज से हाइपरपरमेटर्स का एक उप-समुच्चय सेट निकलेगा, और आपको खुद से ग्रिड निर्दिष्ट करना होगा। (टिप: लॉग स्केल में ग्रिड बनाएं) लेकिन अभी तक कम गणना की आवश्यकता है (और आप ढाल की जरूरत नहीं है!)

यदि आप ग्रिड खोज से परिचित नहीं हैं, तो आप विकिपीडिया: हाइपरपरमेट ऑप्टिमाइज़ेशन - ग्रिड सर्च देख सकते हैं

— सांगवॉंग यून
स्रोत