निहारिका का उद्धार करना। फँस गया हूँ

तो, यह सवाल कुछ हद तक शामिल है, लेकिन मैंने श्रमसाध्य रूप से इसे सीधे-सीधे संभव बनाने की कोशिश की है।

लक्ष्य: लंबी कहानी संक्षेप में, नकारात्मकता की एक व्युत्पत्ति है जिसमें उच्च आदेश सहकर्मी शामिल नहीं हैं, और मैं यह समझने की कोशिश कर रहा हूं कि यह कैसे व्युत्पन्न हुआ था।

पृष्ठभूमि: (मैं यह सब समझता हूँ)

मैं यहां पाई गई पुस्तक 'स्वतंत्र घटक विश्लेषण' का स्व-अध्ययन कर रहा हूं । (यह प्रश्न धारा 5.6 से है, यदि आपके पास पुस्तक है - 'अप्रार्थी क्रियाओं द्वारा प्रवेश की स्वीकृति)।'

हमारे पास , जो एक यादृच्छिक चर है, और जिसकी नकारात्मकता का हम अनुमान लगाना चाहते हैं, कुछ टिप्पणियों से। की पीडीएफ द्वारा दिया जाता है । न्येन्ट्रॉपी केवल एक मानकीकृत गौसियन यादृच्छिक चर के अंतर एन्ट्रापी और के अंतर एन्ट्रापी के बीच का अंतर है । यहाँ अंतर एन्ट्रापी द्वारा दिया गया है , जैसे कि: $x$ $x$ $p_x(\zeta)$ $x$ $H$

H (x) = - \int_{- \infty}^{\infty} p_{x} (ζ) l o g (p_{x} (ζ)) d ζ

$H(x) = -\int_{-\infty}^{\infty} p_x(\zeta) \: log(p_x(\zeta)) \: d\zeta$

और इसलिए, नकारात्मकता द्वारा दी गई है

J (x) = H (v) - H (x)

$J(x) = H(v) - H(x)$

जहां , एक मानकीकृत गाऊसी आर.वी. है द्वारा दिए गए पीडीएफ के साथ । $v$ $\phi(\zeta)$

अब, इस नई विधि के हिस्से के रूप में, मेरी पुस्तक में के पीडीएफ का अनुमान लगाया गया है , जिसके द्वारा दिया गया है: $x$

p_{x} (ζ) = ϕ (ζ) [1 + \sum_{i} c_{i} F^{i} (ζ)]

$p_x(\zeta) = \phi(\zeta) [1 + \sum_{i} c_i \; F^{i}(\zeta)]$

(कहाँ । वैसे, है नहीं एक शक्ति है, लेकिन बजाय एक सूचकांक)। $c_i = \mathbb{E}\{F^i(x)\}$ $i$

अभी के लिए, मैं इस नए पीडीएफ फॉर्मूले को 'स्वीकार' करूंगा, और इसके बारे में दूसरे दिन पूछूंगा। यह मेरा मुख्य मुद्दा नहीं है। हालांकि वह अब क्या करता है, के पीडीएफ के इस संस्करण को नकारात्मक समीकरण में वापस प्लग करता है, और इसके साथ समाप्त होता है: $x$

J (x) \approx \frac{1}{2} \sum_{i} E {F^{i} (x)}^{2}

$J(x) \approx \frac{1}{2}\sum_i\mathbb{E} \{F^i(x)\}^2$

ध्यान में रखते हुए, सिग्मा (यहां और बाकी पोस्ट के लिए), बस इंडेक्स चारों ओर लूप होता है । उदाहरण के लिए, यदि हमारे पास केवल दो कार्य हैं, तो संकेत और लिए लूप होगा । बेशक, मुझे आपको उन कार्यों के बारे में बताना चाहिए जिनका वह उपयोग कर रहा है। तो जाहिर है, उन कार्यों इस प्रकार परिभाषित कर रहे हैं: $i$ $i=2$ $i=2$ $F^i$

फ़ंक्शंस इस मामले में बहुपद कार्य नहीं हैं। (हम मानते हैं कि आरवी शून्य का मतलब है, और इकाई विचरण का है)। अब, हम कुछ अड़चनें बनाते हैं और उन कार्यों के गुण देते हैं: $F^i$ $x$

$F^{n + 1} (ζ) = ζ, c_{n + 1} = 0$ $F^{n+1}(\zeta) = \zeta, \: \: c_{n+1} = 0$
$F^{n + 2} (ζ) = ζ^{2}, c_{n + 1} = 1$ $F^{n+2}(\zeta) = \zeta^2, \: \: c_{n+1} = 1$
कार्य: सरल गणना करने के लिए, हमें एक और, विशुद्ध रूप से तकनीकी धारणा बनाते हैं , इस तरह के रूप में एक असामान्य प्रणाली बनाने के लिए: $F^i, i = 1, ... n$

$\int ϕ (ζ) F^{i} (ζ) F^{j} (ζ) d ζ = {\begin{cases} 1, if i = j \\ 0, if i \neq j \end{cases}$ $\int \phi(\zeta) F^i(\zeta)F^j(\zeta)d\zeta= \begin{cases} 1, \quad \text{if } i = j \\ 0, \quad \text{if } i \neq j \end{cases}$
तथा

$\int ϕ (ζ) F^{i} (ζ) ζ^{k} d (ζ) = 0, for k = 0, 1, 2$ $\int \phi(\zeta)F^i(\zeta)\zeta^k d(\zeta) = 0, \quad \text{for } k = 0,1,2$

$H(x)$

यह परिणाम है:

$(1+\epsilon)log(1+\epsilon) = \epsilon + \frac{\epsilon^2}{2} + o(\epsilon^2)$ $H(x)$

H (x) = - \int ϕ (ζ) (1 + \sum c_{i} F^{i} (ζ)) (l o g (1 + \sum c_{i} F^{i} (ζ) + l o g (ζ)) d (ζ) = - \int ϕ (ζ) l o g (ζ) - \int ϕ (ζ) \sum c_{i} F^{i} (ζ) l o g (ϕ (ζ)) - \int ϕ (ζ) [\sum c_{i} F^{i} (ζ) + \frac{1}{2} (\sum c_{i} F^{i} (ζ))^{2} + o ((\sum c_{i} F^{i} (ζ))^{2})]

$H(x) = -\int \phi(\zeta) \; (1 + \sum c_i F^i(\zeta)) \; (log(1 + \sum c_i F^i(\zeta) + log(\zeta)) \; d(\zeta) \\ = -\int \phi(\zeta) log(\zeta) -\int \phi(\zeta) \sum c_i F^i(\zeta) log(\phi(\zeta)) -\int \phi(\zeta) \; [\sum c_i F^i(\zeta) + \frac{1}{2}(\sum c_i F^i(\zeta))^2 + o((\sum c_i F^i(\zeta))^2)]$

इसलिए

H (x) = H (v) - 0 - 0 - \frac{1}{2} \sum c_{i}^{2} + o ((\sum c_{i})^{2}

$H(x) = H(v) - 0 - 0 -\frac{1}{2}\sum c_i^2 + o((\sum c_i)^2$

$H(v)$

धन्यवाद!!!!

संपादित करें:

मैं आगे बढ़ा हूं और जिस पुस्तक को मैं पढ़ रहा हूं, उससे छवियों को जोड़ा है, यह बहुत कुछ कहता है जो मैंने ऊपर कहा था, लेकिन सिर्फ मामले में किसी को अतिरिक्त संदर्भ की आवश्यकता होती है।

यहाँ छवि विवरण दर्ज करें

$c_i^2$

— स्पेसी
स्रोत

\log ϕ (x)

$\log \phi(x)$

\neq

$\neq$

@कार्डिनल ओके, टाइपो को ठीक किया, धन्यवाद। यह कहा जा रहा है, मैं इस बारे में स्पष्ट नहीं हूं कि वह रद्दीकरण कैसे कर रहा है। मैंने वास्तविक छवियों को जोड़ा है btw, पुस्तक से ही।

— स्पेसी

ईमानदारी से, मुझे पता नहीं है कि यह कैसे या क्यों गणित स्थल से विस्थापित हो गया है। किसी भी दर पर, मुझे यह यहाँ खुशी है, जहाँ यह घर पर समान रूप से है। आपने प्रश्न में अच्छी कोशिश की है। :-)

— कार्डिनल

@ कार्डिनल यह मुझे इतना भाता है कि आप यह कहते हुए सुन सकते हैं। :-) हाँ, उम्मीद है कि यह स्व-अध्ययन निवेश किसी दिन भुगतान करेगा। ;-)

— स्पेसी

यह, @ मोहम्मद, यह होगा! ICA एक बहुत ही रोचक विषय है :-)।

— नेस्टर

$c_i$

c_{i} = \int p_{0} (ξ) G^{i} (ξ) d ξ .

$c_i=\int p_0(\xi)G^i(\xi)d\xi.$

ξ

$\xi$

ξ^{'}

$\xi'$

c_{i}

$c_i$

>> शून्य शब्द प्राप्त करने के लिए:

$\varphi(\xi)=\exp(-\xi^2/2)/\sqrt{2\pi}$ $\log\varphi(\xi)$

\log φ (ξ) = - ξ^{2} / 2 - \log \sqrt{2 π} .

$\log\varphi(\xi)=-\xi^2/2-\log\sqrt{2\pi}.$

c_{i} \int φ (ξ) G^{i} (ξ) \log φ (ξ) = - \frac{1}{2} c_{i} \int φ (ξ) G^{i} (ξ) ξ^{2} - \log \sqrt{2 π} c_{i} \int φ (ξ) G^{i} (ξ), (1)

$c_i\int\varphi(\xi)G^i(\xi)\log \varphi(\xi)=-\frac{1}{2}c_i\int\varphi(\xi)G^i(\xi)\xi^2-\log\sqrt{2\pi}c_i\int\varphi(\xi)G^i(\xi),\ \ \ (1)$

$\int \varphi(\xi)F^i(\xi)\xi^k$ $0$ $k=0,1,2$ $(1)$ $k=2$ $k=0$

$\sum c_i^2$

\int φ (ξ) {(\sum_{i = 1}^{n} c_{i} G^{i} (ξ))}^{2} d ξ .

$\int \varphi(\xi)\left(\sum_{i=1}^{n} c_iG^i(\xi)\right)^2d\xi.$

\int φ (ξ) \sum_{k_{1} + k_{2} + . . . k_{n} = 2} \frac{2!}{k_{1}! k_{2}! . . . k_{n}!} \prod_{1 \leq t \leq n} (c_{t} G^{t} (ξ))^{k_{t}} d ξ .

$\int \varphi(\xi)\sum_{k_1+k_2+...k_n=2} \frac{2!}{k_1! k_2!...k_n!}\prod_{1\leq t \leq n}(c_tG^t(\xi))^{k_t}d\xi.$

\int φ (ξ) G^{i} (ξ) G^{j} (ξ) d ξ

$\int \varphi(\xi)G^{i}(\xi)G^{j}(\xi)d\xi$

i \neq j

$i\neq j$

i = j

$i=j$

\int φ (ξ) {(\sum c_{i} G^{i} (ξ))}^{2} d ξ = \sum c_{i}^{2} .

$\int \varphi(\xi)\left(\sum c_iG^i(\xi)\right)^2d\xi=\sum c_i^2.$

$o(\text{whatever})$

$\text{whatever}$ $o(\text{whatever})$

पुनश्च: यह एक शानदार किताब है। इस विषय पर लेखकों के कागजात भी बहुत अच्छे हैं और यदि आप आईसीए को समझने और लागू करने की कोशिश कर रहे हैं तो इसे अवश्य पढ़ें।

— Néstor
स्रोत

(+1) अच्छा जवाब। यदि रकम अनंत है, तो हमें उन्हें अभिन्न के साथ इंटरचेंज करने के बारे में अधिक सावधान रहना होगा। यदि वे परिमित हैं (जैसा कि ओपी सुझाव देता है, लेकिन मैंने छवियों को निकट से नहीं देखा) तो सब कुछ सीधा है, जैसा कि आपने दिखाया है। :-)

— कार्डिनल

c_{i}^{2}

$c_i^2$

@कार्डिनल: ओह हाँ! वे परिमित हैं (मुझे नहीं पता कि मैंने उन्हें क्यों लिखा है जहां अनंत ...)। मैंने अपने जवाब पर उसे बदल दिया।

— नेस्टर

@ मोहम्मद, मैं अपने उत्तर आपके अन्य दो प्रश्नों ;-) पर लिख रहा हूँ।

— नेस्टर

@ Neststor, +1 इस उत्तर पर फिर से: आपकी अंतिम टिप्पणी, मुझे लगता है कि बड़े-ओ और छोटे-ओ संकेतन के बीच अंतर है।

— मैक्रो