Hoeffding असमानता में प्रयुक्त एक लेम्मा के प्रमाण को समझना

मैं सांख्यिकी पर लैरी वासरमैन के व्याख्यान नोट्स का अध्ययन कर रहा हूं जो कैसला और बर्जर को इसके प्राथमिक पाठ के रूप में उपयोग करता है। मैं उनके व्याख्यान नोट्स 2 के माध्यम से काम कर रहा हूं और होफेडिंग की असमानता (पीपी .2-3) में इस्तेमाल किए गए लेम्मा की व्युत्पत्ति में फंस गया हूं। मैं नीचे दिए गए नोट्स में प्रमाण को पुन: प्रस्तुत कर रहा हूं और प्रमाण के बाद मैं इंगित करूंगा कि मैं कहां फंस गया हूं।

लेम्मा

मान लीजिए कि और वह । उसके बाद । $\mathbb{E}(X) = 0$ $a \le X \le b$ $\mathbb{E}(e^{tX}) \le e^{t^2 (b-a)^2/8}$

सबूत

के बाद से , हम लिख सकते वाला उत्तल संयोजन के रूप में और , अर्थात् जहां । फंक्शन उत्तलता तक हमारे पास है $a \le X \le b$ $X$ $a$ $b$ $X = \alpha b + (1 - \alpha) a$ $\alpha = \frac{X-a}{b-a}$ $y \to e^{ty}$

$e^{tX} \le \alpha e^{tb} + (1 - \alpha) e^{ta} = \frac{X-a}{b-a} e^{tb} + \frac{b-X}{b-a} e^{ta}$

दोनों पक्षों की अपेक्षाएँ लें और पाने के लिए तथ्य का उपयोग करें $\mathbb{E}(X) = 0$

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$

जहाँ , और । ध्यान दें कि । इसके अलावा सभी । $u = t(b-a)$ $g(u) = -\gamma u + \log(1-\gamma + \gamma e^{u})$ $\gamma = -a /(b-a)$ $g(0) = g^{'}(0) = 0$ $g^{''}(u) \le 1/4$ $u > 0$

टेलर के प्रमेय के द्वारा, एक $\varepsilon \in (0, u)$ ऐसा होता है कि $g(u) = g(0) + u g^{'}(0) + \frac{u^2}{2} g^{''}(\varepsilon) = \frac{u^2}{2} g^{''}(\varepsilon) \le \frac{u^2}{8} = \frac{t^2(b-a)^2}{8}$

इसलिए $\mathbb{E}(e^{tX}) \le e^{g(u)} \le e^{\frac{t^2(b-a)^2}{8}}$ ।

मैं तब तक प्रमाण का पालन कर सकता था

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$ लेकिन मैं यह पता लगाने में असमर्थ हूं कि आप कैसे । $u, g(u), \gamma$

probability probability-inequalities

— आनंद
स्रोत

यह दिलचस्प है कि का अधिकतम मान और इस प्रकार परिणाम प्रभावी रूप से जो बहुत दूर तक जाने वाली है जो कि सरासर संयोग से उत्पन्न होती है। मुझे संदेह है कि एक और, संभवतः आसान हो सकता है, एक संभावित तर्क के माध्यम से परिणाम प्राप्त करने का तरीका।

var (X)

$\text{var}(X)$

σ_{max}^{2} = (b - a)^{2} / 4

$\sigma_{\max}^2 = (b-a)^2/4$

E [e^{t X}] \leq e^{σ_{max}^{2} t^{2} / 2}

$E[e^{tX}] \leq e^{\sigma_{\max}^2t^2/2}$

— दिलीप सरवटे

@DilipSarwate मेरी समझ यह है कि अधिकतम भिन्नता एक समान यादृच्छिक चर । का विचरण । क्या आप यह बता सकते हैं कि आपको कैसे मिला ?

X \sim U (a, b)

$X \sim \mathcal{U}(a,b)$

X

$X$

V a r (X) = \frac{(b - a)^{2}}{12}

$\mathsf{Var}(X) = \frac{(b-a)^2}{12}$

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

— आनंद

एंडपॉइंट पर द्रव्यमान को केंद्रित करके ...

— एल्विस

@DilipSarwate मैंने सबूत में कुछ टिप्पणियां जोड़ दीं, जो एक झूठा सा स्पष्ट कर सकता है कि सबसे खराब स्थिति अधिकतम विचलन क्यों है।

— एल्विस

@DilipSarwate - लेम्मा 1 देखें और 1 व्यायाम यहाँ करें: terrytao.wordpress.com/2010/01/03/… । ऐसा लगता है कि जेनसन की असमानता और टेलर के विस्तार पर निर्भर एक सरल व्युत्पत्ति है। फिर भी इसका विवरण मेरे लिए अस्पष्ट है। शायद कोई इसका बोध करा सके। (9) की व्युत्पत्ति (10) और व्यायाम 1)

— सिंह

मुझे यकीन नहीं है कि मैंने आपके सवाल को सही ढंग से समझा। मैं उत्तर देने का प्रयास करूंगा: लिखने की कोशिश करूँगा एक समारोह के रूप में : यह जैसा कि आप में बाउंड होना चाहते हैं, स्वाभाविक है ।

- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$-\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

u = t (b - a)

$u = t(b-a)$

e^{\frac{u^{2}}{8}}

$e^{u^2 \over 8}$

अनुभव से मदद मिलेगी, आपको पता चल जाएगा कि इसे फॉर्म में लिखना बेहतर है । फिर ओर से with । $e^{g(u)}$

e^{g (u)} = - \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$e^{g(u)} = -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

\begin{aligned} g (u) & = \log (- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}) \\ = \log (e^{t a} (- \frac{a}{b - a} e^{t (b - a)} + \frac{b}{b - a})) \\ = t a + \log (γ e^{u} + (1 - γ)) \\ = - γ u + \log (γ e^{u} + (1 - γ)), \end{aligned}

$\begin{align*} g(u) &= \log\left( -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} \right)\\ &= \log\left( e^{ta} \left( -\frac{a}{b-a} e^{t(b-a)} + \frac{b}{b-a} \right)\right)\\ &= ta + \log\left( \gamma e^u + (1-\gamma) \right)\\ &= -\gamma u + \log\left( \gamma e^u + (1-\gamma) \right),\\ \end{align*}$

γ = - \frac{a}{b - a}

$\gamma = - {a \over b-a}$

क्या आप जिस तरह की चीज मांग रहे थे?

संपादित करें: सबूत पर कुछ टिप्पणियां

पहली चाल को ध्यान से देखने के योग्य है: अगर एक उत्तल कार्य है, और एक केंद्रित यादृच्छिक चर है, तो जहां असतत चर को द्वारा परिभाषित किया गया है परिणामस्वरूप, आपको प्राप्त है। में समर्थन के साथ केंद्रित चर जिसमें सबसे अधिक विचरण है: ध्यान दें कि यदि हम समर्थन चौड़ाई तय करते हैं $\phi$ $a\le X\le b$ $E (ϕ (X)) \leq - \frac{a}{b - a} ϕ (b) + \frac{b}{b - a} ϕ (a) = E (ϕ (X_{0})),$ $\mathbb{E}(\phi(X)) \le -{a\over b-a} \phi(b) + {b \over b-a} \phi(a) = \mathbb{E}(\phi(X_0)),$ $X_0$ $\begin{aligned} P (X_{0} = a) & = \frac{b}{b - a} \\ P (X_{0} = b) & = - \frac{a}{b - a} . \end{aligned}$ $\begin{align*} \mathbb P(X_0=a) &= {b \over b-a}\\ \mathbb P(X_0=b) &= -{a \over b-a}.\end{align*}$ $X_0$ $[a,b]$ $V a r (X) = E (X^{2}) \leq E (X_{0}^{2}) = \frac{b a^{2} - a b^{2}}{b - a} = - a b .$ $\mathsf{Var} (X) = \mathbb{E}(X^2) \le \mathbb{E}(X_0^2) = {ba^2 - ab^2 \over b-a } = - ab.$ $(b-a)$ , यह से कम है क्योंकि दिलीप टिप्पणियों में कहते हैं, यह इसलिए है क्योंकि ; लिए बाध्य है । $(b-a)^2\over 4$ $(b-a)^2 + 4ab \ge 0$ $a=-b$
अब हमारी समस्या की ओर। केवल आधार पर बाउंड प्राप्त करना क्यों संभव है ? सहज रूप से, यह केवल के पुनर्जीवन की बात है : यदि आपके पास बाउंड लिए एक , तो सामान्य बाउंड है। लेकर प्राप्त किया जा सकता है । अब चौड़ाई 1 के समर्थन के साथ केंद्रित चर के सेट के बारे में सोचें: इतनी अधिक स्वतंत्रता नहीं है, इसलिए तरह एक बाउंड मौजूद होना चाहिए। एक अन्य दृष्टिकोण केवल यह कहना है कि उपरोक्त लेम्मा द्वारा , फिर अधिक सामान्यतः , जो केवल और पर निर्भर करता है $u = t(b-a)$ $X$ $\mathbb{E}\left( e^{tX} \right) \le s(t)$ $b-a=1$ $s( t(b-a) )$ $s(t)$

$\mathbb{E}(\phi(X))$ $\mathbb{E}(\phi(tX)) \le \mathbb{E}(\phi(tX_0))$ $u$ $\gamma$ : यदि आप और , और भिन्न करते हैं, तो स्वतंत्रता की केवल एक डिग्री है और , , । हम प्राप्त करते हैं आपको बस एक बाउंड ढूंढना होगा जिसमें केवल ही शामिल हो । $u = u_0 = t_0 (b_0 - a_0)$ $\gamma = \gamma_0 = - {a_0 \over b_0-a_0}$ $t, a, b$ $t = {t_0 \over \alpha}$ $a = \alpha a_0$ $b = \alpha a_0$
$- \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) = - \frac{a_{0}}{b_{0} - a_{0}} ϕ (t b_{0}) + \frac{b_{0}}{b_{0} - a_{0}} ϕ (a_{0}) .$ $-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) = -{a_0\over b_0-a_0} \phi(tb_0) + {b_0 \over b_0-a_0} \phi(a_0).$ $u$
अब हम आश्वस्त हैं कि यह किया जा सकता है, यह बहुत आसान होना चाहिए! आप जरूरी करने के लिए नहीं लगता है कि के साथ शुरू। मुद्दा यह है कि आपको और कार्य के रूप में सब कुछ लिखना होगा । पहले ध्यान दें कि , , और । फिर अब हम विशेष मामले में हैं ... I लगता है कि आप खत्म कर सकते हैं। $g$ $u$ $\gamma$

$\gamma = -{a\over b-a}$ $1 -\gamma = {b\over b-a}$ $at = -\gamma u$ $bt = (1-\gamma)u$
$\begin{aligned} E (ϕ (t X)) \leq & - \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) \\ = & γ ϕ ((1 - γ) u) + (1 - γ) ϕ (- γ u) \end{aligned}$ $\begin{align*} \mathbb{E}(\phi(tX)) \le &-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) \\ = & \gamma \phi((1-\gamma)u) + (1-\gamma) \phi(-\gamma u) \end{align*}$

$\phi=\exp$

मुझे उम्मीद है कि मैंने इसे थोड़ा स्पष्ट किया।

— एल्विस
स्रोत

ठीक वैसा ही जैसा मैं देख रहा था। बहुत बहुत धन्यवाद।

— आनंद

@ और मुझे पता है कि यह सलाह का पालन करना कठिन है, लेकिन मुझे लगता है कि आपको तकनीकी विवरणों पर ध्यान केंद्रित करके शुरू नहीं करना चाहिए, बल्कि यह जानने की कोशिश करनी चाहिए कि ऐसा क्यों हो सकता है ... फिर प्रमाण आसान दिखना चाहिए। मैंने आपको दूसरे भाग में क्यों दिखाने की कोशिश की , आज सुबह जोड़ा (आपको इस तरह के प्रश्न पर सोने की ज़रूरत है - कम से कम मुझे ज़रूरत है)। मुझे लगता है कि यह भयानक है कि इस तरह के अंतर्ज्ञान अधिकांश पाठ्यपुस्तकों में दिखाई नहीं देते हैं ... भले ही आपको तकनीकी हिस्सा मिल जाए, जब तक आपके पास विचार नहीं हैं सब कुछ जादू दिखता है। इस विवरण में मुझे सोचने का अवसर देने के लिए धन्यवाद और क्रॉसवी!

— एल्विस

वाह! संपादित करने के लिए +1। धन्यवाद। लेकिन यह अच्छा नहीं होगा अगर जैसा कुछ प्राप्त करना संभव हो।

E [e^{t X}] \leq e^{E [t^{2} X^{2} / 2]} = e^{(t^{2} / 2) E [X^{2}]} = e^{(t^{2} / 2) var (X)} \leq e^{t^{2} σ_{max}^{2} / 2} ?

$E[e^{tX}] \leq e^{E[t^2X^2/2]} = e^{(t^2/2)E[X^2]} = e^{(t^2/2)\text{var}(X)} \leq e^{t^2\sigma_{\max}^2/2}?$

— दिलीप सरवटे

@Elvis सलाह के लिए और सहज ज्ञान युक्त भाग को लिखने के लिए समय निकालने के लिए धन्यवाद। मुझे इसे समझने के लिए कुछ समय बिताने की ज़रूरत है!

— आनंद

@Elvis अंतर्ज्ञान के बारे में लेते हुए, मैं अपनी समझ को स्पष्ट करना चाहता हूं। तेज सीमा पाने के लिए उच्च क्षणों की आवश्यकता होती है। मार्कोव पहले क्षण का उपयोग करता है, चेबीशेव दूसरे क्षण का और होफडिंग एमजीएफ का उपयोग करता है। क्या ये सही है? यदि कोई इस हिस्से का विस्तार और स्पष्टीकरण कर सकता है तो यह बहुत अच्छा होगा।

— आनंद