क्या RBF कर्नेल मेट्रिसेस बीमार होने की स्थिति में हैं?

मैं एक कर्नेल आधारित मशीन लर्निंग एल्गोरिदम (KLPP) को लागू करने के लिए RBF कर्नेल फ़ंक्शन का उपयोग करता हूं, जिसके परिणामस्वरूप कर्नेल मैट्रिक्स को अत्यंत दिखाया गया है। L2- मानक की शर्त संख्या आती है $K$

K (i, j) = \exp (\frac{- (x_{i} - x_{j})^{2}}{σ_{m}^{2}})

$K(i,j)= \exp\left({\frac{-(x_{i}-x_{j})^2}{ \sigma_{m}^2}}\right)$

10^{17} - 10^{64}

$10^{17}-10^{64}$

क्या इसे अच्छी तरह से वातानुकूलित करने का कोई तरीका है? मुझे लगता है कि पैरामीटर को ट्यून करने की आवश्यकता है, लेकिन मुझे नहीं पता कि वास्तव में कैसे। $\sigma$

धन्यवाद!

— ZeyuHu
स्रोत

ठीक है, यदि आप छोटा करते हैं तो आप हालत संख्या में सुधार करते हैं।

σ_{m}

$\sigma_m$

— user189035

जवाबों:

कर्नेल चौड़ाई को कम करने से आमतौर पर स्थिति संख्या कम हो जाएगी। $\sigma_m$

हालांकि, कर्नेल मेट्रिक्स किसी भी आधार फ़ंक्शन या बिंदु वितरण के लिए एकवचन, या एकवचन के करीब हो सकते हैं, बशर्ते आधार फ़ंक्शन ओवरलैप हो। इसका कारण वास्तव में काफी सरल है:

कर्नेल मैट्रिक्स तब एकवचन होता है जब इसका निर्धारक शून्य होता है। $K$ $\det(K)$
गमागमन दो अंक और अपने प्रक्षेप में में दो पंक्तियों का आदान प्रदान के बराबर है , अपने परीक्षण अंक स्थिर रहते हैं यह सोचते हैं। $x_i$ $x_j$ $K$
मैट्रिक्स में दो पंक्तियों को स्वैप करने से इसके निर्धारक का संकेत बदल जाता है।

अब दो बिंदु और लेने की कल्पना करें और धीरे-धीरे उन्हें ताकि वे स्थानों को स्विच करें। ऐसा करते समय, का निर्धारक साइन को स्विच कर देगा, बीच में कुछ बिंदु पर शून्य हो जाएगा। इस बिंदु पर, , परिभाषा के अनुसार, एकवचन है। $x_i$ $x_j$ $K$ $K$

— पेड्रो
स्रोत

क्या K मैट्रिसेस सममित नहीं हैं - दो बिंदु स्वैपिंग रो और कॉलम?

— डेनिस

@ डेनिस केवल यही मामला है यदि आपके नोड्स और ट्रायल पॉइंट समान हैं और आप दोनों को स्थानांतरित करते हैं। यही कारण है कि, दूसरी गोली में, मैंने लिखा है "यह मानते हुए कि आपके परीक्षण बिंदु स्थिर हैं।"

— पेड्रो

गाऊसी लोगों की कर्नेल मैट्रिक्स (ओपी का सवाल) वैसे भी सकारात्मक अर्ध-निश्चित है?

— डेनिस

@डेनिस: फिर, यह एक सवाल है कि आप अपनी आरबीएफ प्रक्षेप समस्या को कैसे परिभाषित करते हैं। सबसे सामान्य मामले पर विचार करें जहां आपने RBF को अंक , d पर केंद्रित किया है , और आप अंक , पर प्रक्षेप को कम करना चाहते हैं । पोस्टर का उदाहरण और मानता है । अगर हम शुरू में और , और फिर बस स्थानांतरित करते हैं , तो हम तुच्छ रूप से एकवचन उत्पन्न कर सकते हैं ।

N

$N$

x_{i}

$x_i$

i = 1 \dots N

$i=1\dots N$

M

$M$

ξ_{j}

$\xi_j$

j = 1 \dots M

$j=1\dots M$

M = N

$M=N$

ξ_{j} = x_{i}

$\xi_j=x_i$

M \leftarrow N

$M\leftarrow N$

ξ_{j} \leftarrow x_{i}

$\xi_j \leftarrow x_i$

x_{i}

$x_i$

K

$K$

— पेड्रो

सुझावों की एक जोड़ी:

औसत दूरी के लिए चुनें | यादृच्छिक - निकटतम । ( अंक के लिए एक सस्ता सन्निकटन , यूनिट में क्यूब में बांटे गए , 0.5 / ।) हमें पास के लिए बड़ा होना , पृष्ठभूमि शोर के लिए छोटा; कुछ यादृच्छिक लिए प्लॉट करें । $\sigma \sim$ $x$ $x_i$ $N$ $\mathbb{R}^d, d\ 2 .. 5$ $N^{1/d}$
$\phi( |x - x_i| )$ $x_i$ $x$ $x$
शिफ्ट दूर 0 से, , या तो; वह है, नियमित करना। $K$ $K \to K + \lambda I$ $\lambda \sim 10^{-6}$
हल से भार को देखें । यदि कुछ अभी भी विशाल हैं (स्थिति संख्या की परवाह किए बिना), तो बॉयड (नीचे) की पुष्टि करना चाहते हैं कि गॉसियन आरबीएफ मौलिक रूप से कमजोर है। $(K + \lambda I) w = f$

(RBF के लिए एक विकल्प उलटा-दूरी भारांक, IDW है। इसमें ऑटो-स्केलिंग का लाभ है, निकटतम दूरी 1 2 3 रूप में 100 200 300 भी है। मुझे का स्पष्ट उपयोगकर्ता विकल्प भी मिला है , संख्या निकट के पड़ोसियों पर विचार करने के लिए, ग्रिड खोज से अधिक स्पष्ट ।) $\dots$ $\dots$ $Nnear$ $\sigma, \lambda$

जॉन पी। बॉयड, गॉसियन रेडियल आधार फ़ंक्शन श्रृंखला के योग के लिए फास्ट गॉस ट्रांसफ़ॉर्म की बेकारता , कहते हैं

गाऊसी आरबीएफ इंटरपोलेंट इस अर्थ में अधिकांश श्रृंखला के लिए बीमार है कि इंटरपोलेंट घातीय रूप से बड़े गुणांक वाले शब्दों का छोटा अंतर है।

उम्मीद है की यह मदद करेगा; कृपया अपना अनुभव साझा करें।

— Denis
स्रोत