रिवर्स चेर्नॉफ बाध्य

31

क्या कोई रिवर्स चेर्नॉफ बाध्य है जो पूंछ करता है कि पूंछ की संभावना कम से कम इतनी है।

यदि $X_1,X_2,\ldots,X_n$ स्वतंत्र द्विपद यादृच्छिक चर और $\mu=\mathbb{E}[\sum_{i=1}^n X_i]$ । फिर हम साबित कर सकते हैं $Pr[\sum_{i=1}^n X_i\geq (1+\delta)\mu]\geq f(\mu,\delta,n)$ कुछ समारोह के लिए $f$ ।

pr.probability chernoff-bound

— अश्विनकुमार बी.वी.
स्रोत

1

p = n^{- 2 / 3}

$p=n^{-2/3}$

Pr [| T \cap S_{1} | \geq \sqrt{1.1} n^{1 / 3}]

$\Pr[|T\cap S_1| \geq \sqrt{1.1}n^{1/3}]$

Pr [| T \cap S_{2} | \sqrt{1.1} \leq n^{1 / 3}]

$\Pr[|T\cap S_2|\sqrt{1.1}\leq n^{1/3}]$

\exp (- c n^{1 / 3})

$\exp(-cn^{1/3})$

c

$c$

आप सही कह रहे हैं, मैं इस बात को लेकर उलझन में था कि चेरनॉफ बाउंड में किस पद का वर्ग है। मैंने एक कमजोर बाध्यता को प्रतिबिंबित करने के लिए प्रश्न को बदल दिया है। मुझे नहीं लगता कि यह मेरे वर्तमान आवेदन में मेरी मदद करेगा, लेकिन यह अन्य कारणों से दिलचस्प हो सकता है।

— अश्विनकुमार BV

28

यहाँ एक स्पष्ट प्रमाण है कि एक मानक चेरनॉफ बाउंड पैरामीटर की एक विशेष श्रेणी के लिए घातांक में निरंतर कारकों तक सीमित है। (विशेष रूप से, जब भी चर 0 या 1 हो, और 1 प्रायिकता 1/2 या उससे कम हो, और , और चेरनॉफ़ ऊपरी सीमा एक स्थिर से कम है।) $\epsilon\in(0,1/2)$

अगर आपको कोई गलती लगती है, तो कृपया मुझे बताएं।

लेम्मा 1. (Chernoff की तंगी बाध्य) Let की औसत होना स्वतंत्र, 0/1 यादृच्छिक परिवर्तनीय (आर वी)। किसी भी और , मानकर , $X$ $k$ $\epsilon\in(0,1/2]$ $p\in(0,1/2]$ $\epsilon^2 p k \ge 3$

(i) यदि प्रत्येक rv अधिकांश पर प्रायिकता के साथ 1 है , तो $p$

Pr [X \leq (1 - ϵ) p] \geq \exp (- 9 ϵ^{2} p k) .

$\displaystyle \Pr[X\le (1-\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$

(ii) यदि प्रत्येक आरवी कम से कम साथ संभावना 1 है , तो $p$

Pr [X \geq (1 + ϵ) p] \geq \exp (- 9 ϵ^{2} p k) .

$\displaystyle \Pr[X\ge (1+\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$

प्रमाण। हम निम्नलिखित अवलोकन का उपयोग करते हैं:

दावा 1. यदि , तो $1\le \ell \le k-1$ $\displaystyle {k \choose \ell} ~\ge~ \frac{1}{e\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}$

दावे का प्रमाण 1. स्टर्लिंग के सन्निकटन से, जहां $i!=\sqrt{2\pi i}(i/e)^ie^\lambda$ $\lambda\in[1/(12i+1),1/12i].$

इस प्रकार, , जो , कम से कम QED $k\choose \ell$ $\frac{k!}{\ell! (k-\ell)!}$

\frac{\sqrt{2 π k} (\frac{k}{e})^{k}}{\sqrt{2 π ℓ} (\frac{ℓ}{e})^{ℓ} \sqrt{2 π (k - ℓ)} (\frac{k - ℓ}{e})^{k - ℓ}} \exp (\frac{1}{12 k + 1} - \frac{1}{12 ℓ} - \frac{1}{12 (k - ℓ)})

$\frac{\sqrt{2\pi k}\,(\frac{k}{e})^k} { \sqrt{2\pi \ell}\,(\frac{\ell}{e})^\ell ~~\sqrt{2\pi (k-\ell)}\,(\frac{k-\ell}{e})^{k-\ell} } \exp\Big(\frac{1}{12k+1} - \frac{1}{12\ell} - \frac{1}{12(k-\ell)}\Big)$

\geq \frac{1}{\sqrt{2 π ℓ}} (\frac{k}{ℓ})^{ℓ} (\frac{k}{k - ℓ})^{k - ℓ} e^{- 1} .

$~\ge~ \frac{1}{\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}e^{-1}.$

लेम्मा 1 भाग (i) का प्रमाण। व्यापकता की हानि के बिना मान राशि में प्रत्येक 0/1 यादृच्छिक चर संभावना के साथ 1 है वास्तव में । नोट सम राशि योग , और बराबर होता है । $X$ $p$ $\Pr[X\le (1-\epsilon)p]$ $\sum_{i = 0}^{\lfloor(1-\epsilon)pk\rfloor} \Pr[X=i/k]$ $\Pr[X=i/k] = {k \choose i} p^i (1-p)^{k-i}$

फिक्स । राशि में शब्द बढ़ रहे हैं, इसलिए इंडेक्स वाले शब्दों का मूल्य कम से कम , इसलिए उनकी राशि का कम से कम कुल मूल्य । प्रमाण को पूरा करने के लिए, हम दिखाते हैं कि $\ell = \lfloor(1-2\epsilon)pk\rfloor+1$ $i\ge\ell$ $\Pr[X=\ell/k]$ $(\epsilon pk - 2) \Pr[X=\ell/k]$

(ϵ p k - 2) Pr [X = ℓ / k] \geq \exp (- 9 ϵ^{2} p k) .

$(\epsilon pk - 2) \Pr[X=\ell/k] ~\ge~ \exp({-9\epsilon^2 pk}).$

मान्यताओं और दे , इसलिए ऊपर वाला बाएं हाथ कम से कम । क्लेम 1 का उपयोग करते हुए, को बाध्य करने के लिए , यह कम से कम जहां और $\epsilon^2pk\ge 3$ $\epsilon\le 1/2$ $\epsilon pk \ge 6$ $\frac{2}{3}\epsilon pk\, {k \choose \ell} p^\ell(1-p)^{k-\ell}$ $k\choose \ell$ $A\, B$ $A = \frac{2}{3e}\epsilon p k/ \sqrt{2\pi \ell}$ $B= \big(\frac{k}{\ell}\big)^\ell \big(\frac{k}{k-\ell}\big)^{k-\ell} p^\ell (1-p)^{k-\ell}.$

समाप्त करने के लिए हम और । $A\ge \exp(-\epsilon^2pk)$ $B \ge \exp(-8\epsilon^2 pk)$

दावा 2. $A \ge \exp({-\epsilon^2 pk})$

दावे का प्रमाण 2. मान्यताओं और imply (i) । $\epsilon^2 pk \ge 3$ $\epsilon\le 1/2$ $pk\ge 12$

परिभाषा के अनुसार, । द्वारा (i), । इस प्रकार, (ii) । $\ell \le pk + 1$ $p k \ge 12$ $\ell \,\le\, 1.1 pk$

के लिए (ii) के दाएँ हाथ की ओर स्थानापन्न में (iii) देता है । $\ell$ $A$ $A \ge \frac{2}{3e} \epsilon \sqrt{p k / 2.2\pi}$

धारणा, , तात्पर्य , जिसके साथ (iii) देता है (iv) । $\epsilon^2 pk \ge 3$ $\epsilon\sqrt{ pk} \ge \sqrt 3$ $A \ge \frac{2}{3e}\sqrt{3/2.2\pi} \ge 0.1$

से यह है कि (v) इस प्रकार है । $\epsilon^2pk \ge 3$ $\exp(-\epsilon^2pk) \le \exp(-3) \le 0.04$

(iv) और (v) एक साथ दावा देते हैं। QED

दावा 3. । $B\ge \exp({-8\epsilon^2 pk})$

दावा 3. का प्रमाण फिक्स ऐसी है कि । की पसंद का अर्थ है , इसलिए दावा रूप में लंबे समय तक । इस बाद की असमानता के प्रत्येक पक्ष को शक्ति और सरलीकृत करते हुए, यह बराबर है सब्स्टीट्यूशन और सरलीकरण, यह $\delta$ $\ell=(1-\delta)pk$
$\ell$ $\delta\le 2\epsilon$ $B \ge \exp(-2\delta^2pk)$ $-1/\ell$

\frac{ℓ}{p k} (\frac{k - ℓ}{(1 - p) k})^{k / ℓ - 1} \leq \exp (\frac{2 δ^{2} p k}{ℓ}) .

$\frac{\ell}{p k} \Big(\frac{k-\ell}{(1-p) k}\Big)^{k/\ell-1} ~\le~ \exp\Big(\frac{2\delta^2 pk}{\ell}\Big).$

ℓ = (1 - δ) p k

$\ell= (1-\delta)pk$

(1 - δ) (1 + \frac{δ p}{1 - p})^{\frac{1}{(1 - δ) p} - 1} \leq \exp (\frac{2 δ^{2}}{1 - δ}) .

$(1-\delta) \Big(1+\frac{\delta p}{1-p}\Big)^{\displaystyle \frac{1}{(1-\delta)p}-1} ~\le~ \exp\Big(\frac{2\delta^2}{1-\delta}\Big).$ दोनों पक्षों का लघुगणक लेना और दो बार , यह तब तक रहेगा जब तक ऊपर वाला बायां हाथ को सरल करता है, जो क्योंकि । QED

\ln (1 + z) \leq z

$\ln(1+z)\le z$

- δ + \frac{δ p}{1 - p} (\frac{1}{(1 - δ) p} - 1) \leq \frac{2 δ^{2}}{1 - δ} .

$-\delta\, +\,\frac{\delta p}{1-p}\Big(\frac{1}{(1-\delta)p}-1\Big) ~\le~ \frac{2\delta^2}{1-\delta}.$

δ^{2} / (1 - p) (1 - δ)

$\delta^2/\,(1-p)(1-\delta)$

2 δ^{2} / (1 - δ)

$2\delta^2/(1-\delta)$

p \leq 1 / 2

$p\le 1/2$

दावों 2 और 3 का मतलब है । इसका तात्पर्य लेम्मा के भाग (i) से है। $A B \ge \exp({-\epsilon^2pk})\exp({- 8\epsilon^2pk})$

लेम्मा 1 भाग (ii) का प्रमाण। सामान्यता की हानि के बिना प्रत्येक यादृच्छिक चर संभावना के साथ है बिल्कुल । $1$ $p$

नोट । फिक्स । $\Pr[X\ge (1+\epsilon)p] = \sum_{i = \lceil(1-\epsilon)pk\rceil}^n \Pr[X=i/k]$ $\hat\ell = \lceil (1+2\epsilon)pk \rceil - 1$

कुल योग में अंतिम शब्द कम से कम , जो कम से कम । (इसका प्रमाण (i) के समान है (i), इसके स्थान पर स्थान पर और द्वारा प्रतिस्थापित किया गया जैसे कि ।) QED $\epsilon pk$ $(\epsilon pk-2)\Pr[X=\hat\ell/k]$ $\exp({-9\epsilon^2 pk})$ $\ell$ $\hat\ell$ $\delta$ $-\hat\delta$ $\hat\ell = (1+\hat\delta)pk$

— नील जवान
स्रोत

कई [गणित प्रसंस्करण त्रुटि] s - उन्हें ठीक करने का कोई मौका?

— आर्येह

उन गणित अभिव्यक्तियों का उपयोग ठीक-ठाक करने के लिए किया जाता था। किसी कारण से \ _ कमांड का चयन मैथजैक्स में काम नहीं कर रहा है। न तो \ binom है। उदा $ a \ choose b $ देता । संभवतः यह मैथजैक्स कॉन्फ़िगरेशन में एक बग है। उम्मीद है कि इसे जल्द ही ठीक कर लिया जाएगा। इस बीच के परिशिष्ट में लेम्मा 5.2 देखें arxiv.org/pdf/cs/0205046v2.pdf या cs.ucr.edu/~neal/Klein15Number ।

(\binom{a}{b})

$a \choose b$

— नील यंग

22

बेरी-Esseen प्रमेय लंबे समय के रूप के रूप में वे की तुलना में अधिक कर रहे हैं, पूंछ संभावना कम सीमा दे सकते हैं । $n^{-1/2}$

एक और उपकरण जिसका आप उपयोग कर सकते हैं वह है पैली-ज़िग्मंड असमानता । तात्पर्य यह है कि किसी भी पूर्णांक , और किसी भी वास्तविक-मूल्यवान यादृच्छिक चर , $k$ $X$

Pr [| X | >= \frac{1}{2} (E [X^{k}])^{1 / k}] \geq \frac{E [X^{k}]^{2}}{4 E [X^{2 k}]}

$\Pr[|X| >= \frac{1}{2}(\mathbb{E}[X^k])^{1/k}] \geq \frac{\mathbb{E}[X^k]^2}{4\mathbb{E}[X^{2k}]}$

साथ में, बहुराष्ट्रीय प्रमेय के साथ, लिए रेडेमचेर यादृच्छिक चर पैले-ज़िगमुंड का एक योग आपको बहुत मजबूत कम सीमाएं प्राप्त कर सकता है। इसके अलावा यह बंधे-स्वतंत्रता यादृच्छिक चर के साथ काम करता है। उदाहरण के लिए, आपको आसानी से पता चलता है कि निरंतर संभाव्यता के साथ 4-वार इंडिपेंडेंट रैंडम वैरिएबल का योग है। $X$ $n$ $n$ $\pm 1$ $\Omega(\sqrt{n})$

— साशो निकोलोव
स्रोत

14

यदि आप वास्तव में बर्नौली परीक्षणों के बंधे हुए योगों के साथ ठीक हैं (और नहीं, कहते हैं, रैंडम वेरिएबल्स को सीमित करते हैं), तो निम्नलिखित बहुत तंग है।

कीचड़ की असमानता *। Let be iid एक बर्नौली आरवी से से खींचता है , और पूर्णांक दिया जाना चाहिए। यदि या तो (a) और , या (b) , तो जहां एक मानक सामान्य का cdf है। $\{X_i\}_{i=1}^n$ $\mathbb{E}(X_1) = p$ $k\leq n$ $p\leq 1/4$ $np \leq k$ $np \leq k \leq n(1-p)$
$Pr [\sum_{i} X_{i} \geq k] \geq 1 - Φ (\frac{k - n p}{\sqrt{n p (1 - p)}}),$ $\text{Pr}\big[\sum_i X_i \geq k\big] \geq 1 - \Phi\left(\frac{k-np}{\sqrt{np(1-p)}}\right),$ $\Phi$

( मानक सामान्य को रूपांतरित करने के तर्क को रूप में मानने से, यह वास्तव में सीएलटी द्वारा बताई गई बातों से सहमत है, वास्तव में, यह हमें बताता है कि प्रमेय की शर्तों को पूरा करने वाले बिनोमियल ऊपरी पूंछ पर अपने संबंधित गॉसियन पर हावी होंगे।) $\Phi$

यहाँ से, आप कुछ अच्छा पाने के लिए पर सीमा का उपयोग कर सकते हैं । उदाहरण के लिए, फेलर की पहली पुस्तक में, गौसियों के खंड में, यह हर लिए दिखाया गया है कि जहां एक मानक सामान्य का घनत्व है। "क्यू-फंक्शन" के लिए विकिपीडिया लेख में भी इसी तरह की सीमाएँ हैं। $\Phi$ $z>0$

\frac{z}{1 + z^{2}} φ (z) < 1 - Φ (z) < \frac{1}{z} φ (z),

$\frac{z}{1+z^2}\varphi(z) < 1-\Phi(z) < \frac{1}{z}\varphi(z),$

φ

$\varphi$

इसके अलावा, और अन्य लोगों ने क्या कहा है, आप सीधे बाइनोमियल का उपयोग करने का भी प्रयास कर सकते हैं, शायद कुछ स्टर्लिंग के साथ।

(*) सल्ड की असमानता के कुछ नए बयान इनमें से कुछ शर्तों को छोड़ देते हैं; मैंने Slud के पेपर में एक का पुनरुत्पादन किया है।

— Matus
स्रोत

7

De Moivre-Laplace प्रमेय से पता चलता है कि चर जैसे, उपयुक्त रूप से सामान्यीकृत होने और कुछ शर्तों के तहत, वितरण के लिए एक सामान्य वितरण में परिवर्तित हो जाएगा। यदि आप लगातार कम सीमा चाहते हैं तो यह पर्याप्त है। $|T\cap S_1|$

जैसे कम सीमा के लिए , आपको थोड़ा महीन उपकरण चाहिए। यहां एक संदर्भ मुझे पता है (लेकिन केवल दुर्घटना से - मुझे कभी ऐसी असमानता का उपयोग करने का अवसर नहीं मिला)। द्विपद वितरण की पूंछ संभावनाओं पर कोई अमर्यादित कम सीमा प्रमेय 1.5 के रूप में दिया जाता है किताब रैंडम रेखांकन बेला बोलोबस, कैम्ब्रिज, 2 संस्करण, जहां आगे के संदर्भ के लिए दिया जाता द्वारा संभावना और इसके अनुप्रयोगों के लिए एक परिचय पेड़ काटने वाला द्वारा और संभाव्यता की नींव Rényi द्वारा। $n^{-c}$

— कॉलिन मैकक्लिअन
स्रोत

4

सामान्यीकृत Littlewood-Offord प्रमेय बिल्कुल वैसा नहीं है जैसा आप चाहते हैं, लेकिन यह वही देता है जो मैं एक "रिवर्स चेर्नॉफ़" के रूप में सोचता हूं जो यह दर्शाता है कि यादृच्छिक चर का योग किसी विशेष मूल्य के आसपास एक छोटी सी सीमा के भीतर गिरने की संभावना नहीं है (सहित अपेक्षा)। शायद यह उपयोगी होगा।

औपचारिक रूप से, प्रमेय इस प्रकार है।

सामान्यीकृत Littlewood-Offord प्रमेय : Let , और वास्तविक संख्याएँ ऐसी हों के लिए और जाने स्वतंत्र यादृच्छिक चर है कि मूल्यों को शून्य और एक हो। के लिए , कि लगता है सभी के लिए । फिर, किसी भी , जहाँ केवल पर निर्भर एक स्थिरांक है । $a_1, \ldots, a_n$ $s>0$ $|a_i| \ge s$ $1 \le i \le n$ $X_1, \ldots, X_n$ $0 < p \le \frac{1}{2}$ $p \le \Pr[X_i = 0] \le 1-p$ $1 \le i \le n$ $r \in \mathcal{R}$

Pr [r \leq \sum_{i = 1}^{n} a_{i} X_{i} < r + s] \leq \frac{c_{p}}{\sqrt{n}}

$\Pr \left[ r \le \sum_{i=1}^{n}{a_iX_i} < r+s\right] \le \frac{c_p}{\sqrt{n}}$

c_{p}

$c_p$

p

$p$

— लेव रेइज़िन
स्रोत

3

दूसरों के लिए यह जानना उपयोगी हो सकता है कि इस प्रकार के परिणाम को "छोटी गेंद असमानता" के रूप में भी जाना जाता है और गुयेन और वू का एक भयानक सर्वेक्षण लोग करते हैं। pm.osu.edu/nguyen.1261/cunk/lo-survey.pdf । यहां मेरा नजरिया आपसे अलग है। मैं एक "रिवर्स चेर्नॉफ़" के बारे में सोचता हूं, जो कि छोटी गेंद के आस-पास के द्रव्यमान द्रव्यमान का लगभग 0. का अनुमान देता है। मैं एक छोटी सी गेंद की असमानता के बारे में सोचता हूं, जैसा कि गुणात्मक रूप से कहा जाता है कि छोटी गेंद की संभावना 0. गेंद पर अधिकतम होती है। इसमें 0. अर्थ रिवर्स चेर्नॉफ सीमाएं आमतौर पर छोटी गेंद की असमानताओं की तुलना में आसान साबित होती हैं।

— साशो निकोलेव

3

मानक चेर्नॉफ में प्रतिपादक जैसा कि विकिपीडिया पर कहा गया है कि 0/1-मूल्यवान यादृच्छिक चर के लिए तंग है। आज्ञा दें और जाने स्वतंत्र यादृच्छिक चर का एक क्रम है जैसे कि प्रत्येक , और । फिर प्रत्येक , $0<p<1$ $X_1,X_2,\ldots$ $i$ $\Pr[X_i=1]=p$ $\Pr[X_i=0]=1-p$ $\varepsilon>0$

\frac{2^{- D (p + ε ‖ p) \cdot n}}{n + 1} \leq Pr [\sum_{i = 1}^{n} X_{i} \geq (p + ε) n] \leq 2^{- D (p + ε ‖ p) \cdot n} .

$\begin{equation} \frac{2^{-D(p+\varepsilon\| p)\cdot n}}{n+1}\leq \Pr\left[ \sum_{i=1}^n X_i \geq (p+\varepsilon)n\right]\leq 2^{-D(p+\varepsilon\| p)\cdot n}. \end{equation}$

यहां, , जो कि बर्नौली यादृच्छिक से कुल्बैक-लीब्लर विचलन है चर और साथ चर । $D(x\| y)=x \log_2(x/y)+(1-x)\log_2((1-x)/(1-y))$ $x$ $y$

जैसा कि उल्लेख किया गया है, ऊपर असमानता की ऊपरी सीमा विकिपीडिया ( https://en.wikipedia.org/wiki/Chernoff_bound ) पर "चेरोफ़-होफ़डिंग प्रमेय, योगात्मक रूप" नाम से सिद्ध होती है। निम्न प्रकार को "प्रकार की पद्धति" का उपयोग करके साबित किया जा सकता है। [1] में लेम्मा II.2 देखें। इसके अलावा, यह कवर और थॉमस द्वारा सूचना सिद्धांत पर क्लासिक पाठ्यपुस्तक में कवर किया गया है।

[१] इमरे सेसज़ोर: प्रकार की विधि। सूचना सिद्धांत (1998) पर IEEE लेनदेन। http://dx.doi.org/10.1109/18.720546

— JWM
स्रोत

यह भी ध्यान देने योग्य है कि , और के सामान्य मामले के लिए यह । इससे पता चलता है कि जब ठेठ बाध्य तेज होता है। (और जब के लिए )।

D (p + δ p ‖ p) = \frac{p}{2 - 2 p} δ^{2} + O (δ^{3})

$D(p+\delta p\|p)=\frac{p}{2-2p}\delta^2+O(\delta^3)$

p = 1 / 2

$p=1/2$

\frac{1}{2} δ^{2} + O (δ^{4})

$\frac{1}{2}\delta^2+O(\delta^4)$

δ = O (n^{- 1 / 3})

$\delta=O(n^{-1/3})$

e^{- C δ^{2}}

$e^{-C \delta^2}$

δ = O (n^{- 1 / 4})

$\delta=O(n^{-1/4})$

p = 1 / 2

$p=1/2$

— थॉमस अहले