अधिक से अधिक डेटा एकत्र होने की संभावना अनुपात क्या होता है?

Question

चलो , और घनत्व हो सकता है और लगता है कि आपके पास , । क्या होता है संभावना अनुपात रूप में ? (यह क्या करता है?$f$$g$$h$$x_i \sim h$$i \in \mathbb{N}$

$$\prod_{i=1}^n \frac{f(x_i)}{g(x_i)}$$ $n \rightarrow \infty$

उदाहरण के लिए, हम मान सकते हैं । सामान्य मामला भी रुचि का है।$h = g$

Comments

सूचना सिद्धांत के बिना कुल्बैक-लीब्लर विचलन के

— शीआन

@ शीआन। मुझे लगता है कि एसई के लिए इस प्रश्न को जोड़ने से उत्तर में प्रश्नों के कनेक्शन को खींचने की अनुमति मिलती है। हालांकि उत्तर में समानता हो सकती है लेकिन प्रश्न समान नहीं हैं।

— जॉन

लिंक के लिए धन्यवाद। प्रश्न डुप्लिकेट नहीं है, भले ही मेरे प्रश्न के उत्तर में कुल्बैक-लिबलर विचलन शामिल हो सकता है।

— ओलिवियर

Answer 1

यदि कोई इस उत्पाद का लघुगणक लेता है, तो और इसे एक औसत में बदल बड़ी संख्याओं का कानून लागू होता है, इसलिए किसी को लगभग निश्चित अभिसरण यह अभिन्न मानते हैं कि यह अच्छी तरह से परिभाषित है [काउंटर-उदाहरणों द्वारा आना आसान है]।ˉ आर एन=

$${\mathfrak{r}}=\log \prod_{i=1}^n \frac{f(x_i)}{g(x_i)} = \sum_{i=1}^n \log\frac{f(x_i)}{g(x_i)}$$ ˉ आर एन a.s. ⟶ ईएच[लॉगएफ(एक्स $$\bar{\mathfrak{r}}_n=\frac{1}{n}\sum_{i=1}^n \log\frac{f(x_i)}{g(x_i)}$$ $$\bar{\mathfrak{r}}_n\stackrel{\text{a.s.}}{\longrightarrow}\mathbb{E}_h\left[\log \frac{f(X)}{g(X)}\right]=\int_\mathfrak{X} \log\frac{f(x)}{g(x)}\,h(x)\,\text{d}x$$

उदाहरण के लिए, यदि , और , सामान्य वितरण के लिए घनत्व हैं , जिसका अर्थ है , , और शून्य, क्रमशः, सभी एक से भिन्न, का मान is छ ज μ 1 μ 2 ∫ एक्स लॉग च ( एक्स $f$$g$$h$$\mu_1$$\mu_2$

$$\int_\mathfrak{X} \log\frac{f(x)}{g(x)}\,h(x)\,\text{d}x$$ $$\int_\mathfrak{X} \{(x-\mu_1)^2-(x-\mu^2_2)\}\,\varphi(x)\,\text{d}x= \mu_1^2-\mu^2_2\,.$$

ध्यान दें कि, औसत के बिना, उत्पाद लगभग निश्चित रूप से शून्य में परिवर्तित हो जाता है (जब ) । जबकि उत्पाद लगभग निश्चित रूप से शून्य या अनंत में परिवर्तित होता है, इस पर निर्भर करता है कि क्या या , कुल्बैक-लीब्लर डाइवर्जेंस सेंस में करीब है (जब )।

$$\prod_{i=1}^n \frac{f(x_i)}{h(x_i)}$$ $x_i\sim h(x)\,$ $$\prod_{i=1}^n \frac{f(x_i)}{g(x_i)}$$ $g$$f$$h$$x_i\sim h(x)\,$

Comments

क्या आप इसका जवाब दे सकते हैं? क्या अंतिम अभिन्न गैर-शून्य है (जब कहें )? $g=h$

— ओलिवियर

यह शून्य क्यों होना चाहिए? यदि शून्य है; अगर और यह सकारात्मक है। और अगर और यह ऋणात्मक है। यह , , और लिए शून्य हो सकता है यदि और , से समान दूरी पर हों । $f=g$$f=h$$g\ne h$$g=h$$f\ne h$$f\ne h$$f\ne g$$g \ne h$$f$$g$$h$

— शीआन

से समान दूरी पर आपका क्या मतलब है ? क्या आप विस्तृत कर सकते हैं? आपका जवाब दिलचस्प है, लेकिन यह (अभी तक) सीधे सवाल का जवाब नहीं देता है। $h$

— ओलिवियर

मुख्य प्रश्न। क्योंकि , यह अंतिम अभिन्न का संकेत है जो अनुपात के असममित व्यवहार को निर्धारित करता है। $\mathfrak{r}= n \mathfrak{r}_n$

— ओलिवियर

Answer 2

चलो । मात्रा पर विचार करें सशक्त कानून के लिए बड़ी संख्या में, $Z_n = \prod^n_i \frac{p(x)}{q(x)}$

$$W_n = \frac{1}{n}log(Z_n) = \frac{1}{n}\sum_i^n log(\frac{p(x)}{q(x)})$$ $$\lim_{n \rightarrow \infty} W_n = E_{q(x)}[log(\frac{p(x)}{q(x)})] = \int_\mathcal{X} log(\frac{p(x)}{q(x)})q(x)dx$$

चूँकि और that ,$log(a) < a-1 \ \forall a > 0$ $a \neq 1$$\frac{p(x)}{q(x)} > 0$$p(x) \neq q(x)$

$$W_n \rightarrow \int_\mathcal{X} log(\frac{p(x)}{q(x)})q(x)dx < \int_\mathcal{X} (\frac{p(x)}{q(x)} - 1)q(x)dx = \int_\mathcal{X} p(x)dx - \int_\mathcal{X} q(x)dx = 1 - 1 = 0$$ यह हमें देता है $$\lim_{n \rightarrow \infty} W_n < 0 \implies \lim_{n \rightarrow \infty} \frac{1}{n}log(Z_n) < 0 \implies \lim_{n \rightarrow \infty} n \cdot \frac{1}{n}log(Z_n) = -\infty \\ \implies \lim_{n \rightarrow \infty} log(Z_n) = -\infty \\ \implies \lim_{n \rightarrow \infty} Z_n = 0 \ \blacksquare$$