स्टोकेस्टिक मैट्रिस के लिए स्पार्सिटी-उत्प्रेरण नियमितिकरण

10

यह अच्छी तरह से जाना जाता है (उदाहरण के लिए संपीड़ित संवेदन के क्षेत्र में) कि मानदंड "स्पार्सिटी-उत्प्रेरण" है, इस अर्थ में कि यदि हम कार्यात्मक (निश्चित मैट्रिक्स और वेक्टर ) बड़ा पर्याप्त के लिए , हम , के कई विकल्पों के लिए संभावित हैं , और के परिणामस्वरूप में कई बिल्कुल-शून्य प्रविष्टियाँ हैं । $L_1$ $A$ $\vec{b}$

f_{A, \vec{b}} (\vec{x}) = ‖ A \vec{x} - \vec{b} ‖_{2}^{2} + λ ‖ \vec{x} ‖_{1}

$f_{A,\vec{b}}(\vec{x})=\|A\vec{x}-\vec{b}\|_2^2+\lambda\|\vec{x}\|_1$

λ > 0

$\lambda>0$

A

$A$

\vec{b}

$\vec{b}$

λ

$\lambda$

\vec{x}

$\vec{x}$

लेकिन अगर हम $f_{A,\vec{b}}$ को इस शर्त के अधीन करते हैं कि की प्रविष्टियां $\vec{x}$ सकारात्मक और योग हैं $1$ , तो $L_1$ शब्द का कोई प्रभाव नहीं पड़ता (क्योंकि $\|\vec{x}\|_1=1$ fiat द्वारा)। क्या इस मामले में काम करने वाले एक अनुरूप $L_1$ नियमित रूप से काम करने वाला है जो यह प्रोत्साहित करने के लिए काम करता है कि परिणामस्वरूप $\vec{x}$ विरल है?

— जस्टिन सोलोमन
स्रोत

क्या आप "फिर

L_{1}

$L_1$ शब्द का कोई प्रभाव नहीं है (क्योंकि

| | x | |_{1} = 1

$||x||_1 = 1$ fiat द्वारा) पर विस्तार से बता सकते हैं ?"

— Cam.Davidson.Pilon

2

@ Cam.Davidson.Pilon:

x_{i} \geq 0

$x_i \geq 0$ और

\sum_{i} x_{i} = 1

$\sum_i x_i = 1$ का तात्पर्य

‖ x ‖_{1} = 1

$\|x\|_1 = 1$ । :)

— कार्डिनल

1

जस्टिन: कुछ और विवरण उपयोगी उत्तर पर बेहतर मौका दे सकते हैं। यहाँ कुछ प्रश्न हैं जो आपके विवरण को पढ़ने पर तुरंत उठते हैं: ( 1 ) इस सब में "स्टोचस्टिक मैट्रिक्स" कहाँ है? आप केवल एक स्टोकेस्टिक वेक्टर से युक्त स्थिति का वर्णन करते हैं । ये आपके स्टोचस्टिक मैट्रिक्स की अलग-अलग पंक्तियाँ हो सकती हैं, या अधिक विवरण मौजूद होने पर अन्य संरचना स्पष्ट हो सकती है। ( २ ) आप चाहते हैं कि संभावनाएँ स्वयं विरल हों, या शायद, कुछ उपयुक्त आधारों में विरलता हो? यदि पहले, क्यों? (यह एक भारित (विरल) ग्राफ़ पर कुछ यादृच्छिक चलना है?)

— कार्डिनल

तुम क्यों की कि प्रविष्टियों की आवश्यकता होती है कर रहे हैं रहे सकारात्मक ? क्या आपको इसके बजाय यह अपेक्षा करनी चाहिए कि वे अप्रतिष्ठित हों ? इसके अलावा, क्या आपने बाधा को खत्म करने के लिए पुन: मापदंडों पर विचार किया है (यह मानते हुए कि आप गैर-नकारात्मक हैं)? दूसरे शब्दों में,

\vec{x}

$\vec x$

x_{i} = \frac{\exp (w_{i})}{\sum_{j} \exp (w_{j})}

$x_i = \frac{\exp(w_i)}{\sum_j \exp(w_j)}$

— jrennie

1

@ जेनी: संदर्भ को देखते हुए, सकारात्मक जस्टिन द्वारा निश्चित रूप से गैर- सकारात्मक था ।

— कार्डिनल

2

विरल समाधान बनाने के लिए एक सामान्य विधि एक अज्ञात विचरण के साथ सामान्य शून्य से पहले एमएपी अनुमान के माध्यम से है।

p (x_{i} | σ_{i}^{2}) \sim N (0, σ_{i}^{2})

$p(x_i|\sigma_i^2)\sim N(0,\sigma_i^2)$

यदि आप पहले को एक पूर्व असाइन करते हैं जिसमें शून्य पर एक मोड होता है तो पोस्टीरियर मोड आमतौर पर विरल होता है। एक घातीय मिश्रण वितरण लेने के द्वारा इस दृष्टिकोण से उठता है। $\sigma_i^2$ $L_1$

p (σ_{i}^{2} | λ) \sim E x p o (\frac{λ^{2}}{2})

$p(\sigma_i^2|\lambda)\sim Expo\left(\frac{\lambda^2}{2}\right)$

फिर आप प्राप्त करें

\log [p (x_{i} | λ)] = - λ | x_{i} | + \log [\frac{λ}{2}]

$\log[p(x_i|\lambda)]=-\lambda | x_i|+\log\left[\frac{\lambda}{2}\right]$

कुछ विकल्प सामान्यीकृत डबल पेरेटो, आधा कॉची, उल्टे बीटा हैं। कुछ अर्थों में ये लस्सो से बेहतर हैं क्योंकि ये बड़े मूल्यों को सिकोड़ते नहीं हैं। वास्तव में मुझे पूरा यकीन है कि सामान्यीकृत डबल पेरेटो को घातांक के मिश्रण के रूप में लिखा जा सकता है। यही कारण है कि हम और फिर एक गामा पूर्व । हमें मिला: $\lambda=\lambda_i$ $p(\lambda_i|\alpha\beta)$

p (x_{i} | α β) = \frac{α}{2 β} {(1 + \frac{| x_{i} |}{β})}^{- (α + 1)}

$p(x_i|\alpha\beta)=\frac{\alpha}{2\beta}\left(1+\frac{|x_i|}{\beta}\right)^{-(\alpha+1)}$

ध्यान दें कि मैंने स्थिरांक को सामान्य बनाना शामिल किया है, क्योंकि वे अच्छे वैश्विक मापदंडों को चुनने में मदद करते हैं। अब यदि हम सीमा प्रतिबंध लागू करते हैं तो हमारे पास एक अधिक जटिल समस्या है, क्योंकि हमें सिंप्लेक्स पर पुन: गणना करने की आवश्यकता है।

जुर्माने की एक और सामान्य विशेषता यह है कि वे शून्य पर भिन्न नहीं हैं। आमतौर पर ऐसा इसलिए होता है क्योंकि बाईं और दाईं सीमाएं विपरीत संकेत की होती हैं।

यह निकोलस पॉल्सन और जेम्स स्कॉट के शानदार काम पर आधारित है, जिसका मतलब है कि मिक्स प्रतिनिधित्व का उपयोग, जो वे TIRLS को विकसित करने के लिए करते हैं - हानि-दंड संयोजनों के एक बहुत बड़े वर्ग के लिए कम से कम वर्गों का एक विशाल विस्तार।

एक विकल्प के रूप में आप एक पूर्व का उपयोग कर सकते हैं जो सिम्प्लेक्स पर परिभाषित किया गया है, लेकिन शून्य पर सीमांत वितरण में मोड हैं। एक उदाहरण 0 और 1 के बीच सभी मापदंडों के साथ डिरिचलेट वितरण है। निहित जुर्माना इस तरह लगेगा:

- \sum_{i = 1}^{n - 1} (a_{i} - 1) \log (x_{i}) - (a_{n} - 1) \log (1 - \sum_{i = 1}^{n - 1} x_{i})

$-\sum_{i=1}^{n-1}(a_i-1)\log(x_i) - (a_n-1)\log(1-\sum_{i=1}^{n-1}x_i)$

जहां । हालाँकि आपको संख्यात्मक रूप से अनुकूलन करने में सावधानी बरतने की आवश्यकता होगी क्योंकि दंड में विलक्षणता है। एक और अधिक मजबूत अनुमान प्रक्रिया पश्च माध्य का उपयोग करना है। यद्यपि आप सटीक विरलता खो देते हैं, लेकिन आपको कई पोस्टीरियर साधन मिलेंगे जो शून्य के करीब हैं $0<a_i<1$

— probabilityislogic
स्रोत

यह एक बहुत ही दिलचस्प विचार लगता है, हालांकि हम विवरण को समझने के लिए काफी सुसज्जित नहीं हैं! अगर मैं सही ढंग से समझता हूं, तो विचार यह है कि पूर्व एक धारणा से आता है कि चर 0. के बारे में एक घातांक वितरण का अनुसरण करते हैं, इसलिए हमें 0 पर केंद्रित एक वितरण की आवश्यकता है जो हमारे चर के लिए बेहतर काम करता है। लेकिन, कोई स्पष्ट विजेता नहीं है, है ना? क्या "पॉजिटिव वेरिएबल्स पर वितरण होता है जो कि 1 तक होता है"? आपकी सहायताके लिए धन्यवाद!

L_{1}

$L_1$

— जस्टिन सोलोमन

स्पार्सिटी पाने के लिए आपको शून्य पर एक मोड के साथ एक वितरण की आवश्यकता होती है। और डाइरिक्लेट वितरण सिम्प्लेक्स के ऊपर है, जो कि ठीक से उन वितरणों का योग है, जो कि 1. के बराबर है। एक अन्य सामान्य वर्ग लॉजिस्टिक-सामान्य या लॉजिस्टिक टी है, जहां आपके पास लिए एक सामान्य / t वितरण है

\log [\frac{x_{i}}{x_{n}}]

$\log\left[\frac{x_i}{x_n}\right]$

— संभाव्यता

आह, Dirichlet काफी दिलचस्प लगता है कि यह हमारे द्वारा बताए गए सिंपलेक्स पर है! ऐसा लगता है कि अन्य दो जो आप उल्लेख करते हैं वे पर कुछ विषमता का परिचय दे सकते हैं , है ना? मेरे सहयोगी और मैं कल Dirichlet द्वारा निहित ऊर्जा समारोह के माध्यम से काम करेंगे और वापस रिपोर्ट करेंगे! आपके रोगी की मदद के लिए बहुत धन्यवाद इस प्रकार दूर - यह हमारे सामान्य क्षेत्र से बहुत दूर है लेकिन अगर हम इसे काम कर सकते हैं तो परिणाम ज्यामिति प्रसंस्करण में काफी आगे कदम प्रदान कर सकते हैं! [और निश्चित रूप से हम आपको उचित श्रेय प्रदान करेंगे!]

x_{n}

$x_n$

— जस्टिन सोलोमन

1

दो विकल्प:

पर दंड का उपयोग करें । स्पष्ट दोष यह है कि यह गैर-संवेदी है और इसलिए इसे अनुकूलित करना मुश्किल है। $L_0$ $\vec x$
, और नए (प्राकृतिक) पैरामीटर वेक्टर पर एक दंड का उपयोग करें,। यह घटनाओं को समान रूप से संभव होने के लिए प्रोत्साहित करेगा जब तक कि उनके न होने का एक अच्छा कारण है। $x_i = \frac{\exp(w_i)}{\sum_j \exp(w_j)}$ $\|\vec w\|$

— jrennie
स्रोत

क्या आप बता सकते हैं कि आपका पुनर्मूल्यांकन स्पार्सिटी को कैसे प्रोत्साहित करता है? बल्कि यह काफी विपरीत गारंटी देता है।

— कार्डिनल

यह में स्पार्सिटी को प्रोत्साहित करता है जो समान मान रखने के लिए की विभिन्न प्रविष्टियों को प्रोत्साहित करने से मेल खाता है ।

\vec{w}

$\vec w$

\vec{x}

$\vec x$

— ०४ पर ग्रेनी

हां मैं समझता हूं। लेकिन, वे मूल्य शून्य नहीं होंगे। यदि हम ओपी को शाब्दिक रूप से लेते हैं, तो यह मदद नहीं करेगा और वास्तव में "चोट" (एक अर्थ में) होगा। लेकिन, यह संभव है कि ओपी कुछ अन्य आधारों के संबंध में विरलता में रुचि रखते हैं, इस मामले में, यह उनमें से एक होगा। :)

— कार्डिनल

इसीलिए मैंने अपने उत्तर में दो विकल्प प्रदान किए --- मुझे लगता है कि जीरो को में प्रोत्साहित करने के लिए गैर-दंड दंड की आवश्यकता होगी । जैसा कि आपने उल्लेख किया है, जस्टिन की संभावना का शाब्दिक अर्थ नहीं है कि उन्होंने क्या कहा।

\vec{x}

$\vec x$

— jrennie

हां, दुर्भाग्य से हमें पहचान के आधार पर विरलता की आवश्यकता है। तो इस मामले में हम बराबरी के लिए जितना संभव हो उतना चाहते हैं ।

w_{i}

$w_i$

- \infty

$-\infty$

— जस्टिन सोलोमन

1

प्रश्न का आधार केवल आंशिक रूप से सही है। हालांकि यह सच है कि -norm एक अड़चन के तहत एक स्थिर है, बाधा अनुकूलन समस्या बहुत अच्छी तरह से एक विरल समाधान हो सकता है। $L_1$

हालाँकि, यह समाधान की पसंद से अप्रभावित है , इसलिए या तो एक विरल समाधान है या नहीं। एक और सवाल यह है कि वास्तव में समाधान कैसे खोजना है। रैखिक बाधाओं के तहत एक मानक द्विघात अनुकूलक, निश्चित रूप से इस्तेमाल किया जा सकता है, लेकिन लोकप्रिय समन्वित वंश एल्गोरिदम का उपयोग नहीं किया जा सकता है। $\lambda$

एक सुझाव एक सकारात्मकता निरोधक के तहत अलग-अलग लिए अनुकूलन करने के लिए हो सकता है , और फिर का समाधान करने के लिए इसका बदलें बाधा। $\lambda$ $L_1$

— NRH
स्रोत

0

मैं तीन तरीके सोच सकता हूं।

बायेसियन विधि: मापदंडों और हाइपर मापदंडों का अनुमान लगाने के लिए शून्य-माध्य पूर्व वितरण और प्रकार II संभावना का उपयोग करें।
का प्रयोग करें बजाय नियमितीकरण के रूप में। हालांकि यह अलग नहीं है। आप इसे अनुमानित करने के लिए एक उच्च-क्रम मानदंड का उपयोग कर सकते हैं। $\Vert\cdot\Vert_{\infty}$
का प्रयोग करें । $-\sum_{i=1}\log x_i$

वास्तव में, पहले और तीसरे तरीके समान हैं।

— हान जांग
स्रोत