अज़ुमा की असमानता के इस अमानवीय संस्करण का प्रमाण क्या है?

Dwork एट अल द्वारा बूस्टिंग और डिफरेंशियल प्राइवेसी के परिशिष्ट बी में , लेखक बिना सबूत के निम्नलिखित परिणाम बताते हैं और इसे अज़ुमा की असमानता के रूप में संदर्भित करते हैं:

चलो $C_1, \dots, C_k$ वास्तविक मूल्य जा यादृच्छिक परिवर्तनीय ऐसी है कि हर एक के लिए $i \in [k]$ ,

$\Pr[|C_i| \leq \alpha] = 1$ , और

प्रत्येक के लिए $(c_1, \dots, c_{i - 1}) \in \text{Supp}(C_1, \dots, C_{i - 1})$ , हमारे पास $\text{E}[C_i \mid C_1 = c_1, \dots, C_{i - 1} = c_{i - 1}] \leq \beta$ ।

फिर हर $z > 0$ , हमारे पास $\Pr[\sum_{i = 1}^k C_i > k\beta + z \sqrt{k} \cdot \alpha] \leq e^{-z^2/2}$ ।

मुझे यह साबित करने में परेशानी हो रही है। Azuma की असमानता के मानक संस्करण का कहना है:

मान लें कि $\{X_0, X_1, \dots, X_k\}$ एक मार्टिंगेल है, और $|X_i - X_{i - 1}| \leq \gamma_i$ लगभग निश्चित रूप से। फिर सभी $t > 0$ , हमारे पास $\Pr[X_k \geq t] \leq \exp(-t^2/(2 \sum_{i = 1}^k \gamma_i^2))$ ।

Dwork et al। द्वारा बताई गई Azuma की असमानता के संस्करण को साबित करने के लिए, मुझे लगा कि हमें $X_0 = 0$ और $X_i = X_{i - 1} + C_i - \text{E}[C_i \mid C_1, C_2, \dots, C_{i - 1}]$ । इस तरह, मुझे लगता है कि $\{X_0, \dots, X_k\}$ एक मार्टिंगेल है। लेकिन हम सभी कह सकते हैं कि $|X_i - X_{i - 1}| \leq 2\alpha$ लगभग निश्चित रूप से, सही? दो कारकों का वह कारण परेशानी का कारण बनता है, क्योंकि इसका अर्थ है कि प्रतिस्थापन के बाद, हम केवल उस $\Pr[\sum_{i = 1}^k C_i > k\beta + z\sqrt{k} \cdot 2\alpha] \leq e^{-z^2/2}$ 2/2 , जो कि Dwork et al द्वारा बताए गए निष्कर्ष से कमजोर है।

क्या कोई साधारण ट्रिक मुझे याद आ रही है? Dwork एट अल द्वारा बयान है। दो का एक पहलू याद आ रहा है?

pr.probability

— विलियम होजा
स्रोत

कागज में बयान सत्य है, लेकिन अज़ुमा की असमानता के "सामान्य" संस्करण से पालन नहीं करता है। मुद्दा यह है कि सामान्य कथन मानता है लेकिन समान लंबाई का कोई अंतराल करेगा; सममित अंतराल को मानने का कोई कारण नहीं है।

X_{i} - X_{i - 1} \in [- a, a]

$X_i-X_{i-1}\in[-a,a]$

— थॉमस

मुझे एक संदर्भ नहीं मिल रहा है, इसलिए मैं यहां केवल प्रमाण लिखूंगा।

प्रमेय। चलो असली यादृच्छिक परिवर्तनीय हो। चलो स्थिरांक हो। मान लीजिए कि, सभी के लिए और सभी के समर्थन में , हमारे पास है $X_1, \cdots, X_n$ $a_1, \cdots, a_n, b_1, \cdots, b_n$ $i \in \{1,\cdots,n\}$ $(x_1,\cdots,x_{i-1})$ $(X_1, \cdots, X_{i-1})$

$\mathbb{E}[X_i | X_1=x_1, \cdots, X_{i-1}=x_{i-1}] \leq 0$ और

$\mathbb{P}[X_i \in [a_i,b_i]]=1$ ।

फिर, सभी , $t\geq0$
$P [\sum_{i = 1}^{n} X_{i} \geq t] \leq \exp (\frac{- 2 t^{2}}{\sum_{i = 1}^{n} (b_{i} - a_{i})^{2}}) .$ $\mathbb{P}\left[\sum_{i=1}^n X_i \geq t\right] \leq \exp\left(\frac{-2t^2}{\sum_{i=1}^n (b_i-a_i)^2}\right).$

सबूत। परिभाषित करें । हम दावा करते हैं कि सभी और , हम धारणा के द्वारा, और सभी । (ध्यान दें कि $Y_i = \sum_{j=1}^i X_j$

\begin{matrix} (*) & \forall i \in {1, \dots, n} \forall λ \geq 0 E [e^{λ Y_{i}}] \leq e^{\frac{1}{8} λ^{2} \sum_{j = 1}^{i} (b_{j} - a_{j})^{2}} . \end{matrix}

$\forall i \in \{1,\cdots,n\}~\forall \lambda \geq 0 ~~~~~ \mathbb{E}\left[e^{\lambda Y_i}\right] \leq e^{\frac18 \lambda^2 \sum_{j=1}^i (b_j-a_j)^2}.\tag*{(*)}$

i

$i$

λ

$\lambda$

E [e^{λ Y_{i}}] = E [e^{λ Y_{i - 1}} \cdot e^{λ X_{i}}] = E [e^{λ Y_{i - 1}} \cdot E [e^{λ X_{i}} | Y_{i - 1}]] .

$\mathbb{E}\left[e^{\lambda Y_i}\right] = \mathbb{E}\left[e^{\lambda Y_{i-1}}\cdot e^{\lambda X_i}\right] = \mathbb{E}\left[e^{\lambda Y_{i-1}}\cdot \mathbb{E}\left[e^{\lambda X_i}\middle|Y_{i-1}\right]\right].$

μ (y_{i - 1}) := E [X_{i} | Y_{i - 1} = y_{i - 1}] \leq 0

$\mu(y_{i-1}):=\mathbb{E}[X_i|Y_{i-1}=y_{i-1}]\leq 0$

P [X_{i} \in [a_{i}, b_{i}]] = 1

$\mathbb{P}[X_i \in [a_i,b_i]] =1$

y_{i - 1}

$y_{i-1}$ के समर्थन में

Y_{i - 1}

$Y_{i-1}$

Y_{i - 1} = X_{1} + \dots + X_{i - 1}

$Y_{i-1}=X_1+\cdots+X_{i-1}$ ।) इस प्रकार, होफिंग के लेम्मा द्वारा , सभी के लिए और सभी । चूंकि , हमारे पास सभी , -

E [e^{λ X_{i}} | Y_{i - 1} = y_{i - 1}] \leq e^{λ μ (y_{i - 1}) + \frac{1}{8} λ^{2} (b_{i} - a_{i})^{2}}

$\mathbb{E}\left[e^{\lambda X_i}\middle|Y_{i-1}=y_{i-1}\right] \leq e^{\lambda\mu(y_{i-1})+\frac18 \lambda^2(b_i-a_i)^2}$

y_{i - 1}

$y_{i-1}$

Y_{i - 1}

$Y_{i-1}$

λ \in R

$\lambda \in \mathbb{R}$

μ (y_{i - 1}) \leq 0

$\mu(y_{i-1})\leq 0$

λ \geq 0

$\lambda \geq 0$

E [e^{λ Y_{i}}] \leq E [e^{λ Y_{i - 1}} \cdot e^{0 + \frac{1}{8} λ^{2} (b_{i} - a_{i})^{2}}] .

$\mathbb{E}\left[e^{\lambda Y_i}\right] \leq \mathbb{E}\left[e^{\lambda Y_{i-1}}\cdot e^{0+\frac18 \lambda^2(b_i-a_i)^2}\right].$ अब प्रेरण उपर्युक्त दावा (*) देता है।

अब हम मार्कोव की असमानता को और अपने दावे (*) का उपयोग करते हैं। सभी , अंत में, दाहिने हाथ की अभिव्यक्ति को कम करने और परिणाम प्राप्त करने के लिए करें। $e^{\lambda Y_n}$ $t, \lambda > 0$

P [\sum_{i = 1}^{n} X_{i} \geq t] = P [Y_{n} \geq t] = P [e^{λ Y_{n}} \geq e^{λ t}] \leq \frac{E [e^{λ Y_{n}}]}{e^{λ t}} \leq \frac{e^{\frac{1}{8} λ^{2} \sum_{i = 1}^{n} (b_{i} - a_{i})^{2}}}{e^{λ t}} .

$\mathbb{P}\left[\sum_{i=1}^n X_i \geq t\right]=\mathbb{P}[Y_n \geq t] = \mathbb{P}\left[e^{\lambda Y_n} \geq e^{\lambda t}\right] \leq \frac{\mathbb{E}\left[e^{\lambda Y_n}\right]}{e^{\lambda t}} \leq \frac{e^{\frac18 \lambda^2 \sum_{i=1}^n (b_i-a_i)^2}}{e^{\lambda t}}.$

λ = \frac{4 t}{\sum_{i = 1}^{n} (b_{i} - a_{i})^{2}}

$\lambda=\frac{4t}{\sum_{i=1}^n (b_i-a_i)^2}$

\begin{matrix} ◼ \end{matrix}

$\tag*{$\blacksquare$}$

मैं अपने टिप्पणी में उल्लेख किया है, यह और "सामान्य" Azuma की असमानता के बयान के बीच मुख्य अंतर की आवश्यकता होती है के बजाय । पूर्व अधिक लचीलेपन की अनुमति देता है और यह कुछ मामलों में 2 का कारक बचाता है। $X_i \in [a_i,b_i]$ $X_i \in [-a,a]$

ध्यान दें कि सबूत में यादृच्छिक चर एक सुपरमार्टिंगेल हैं। आप एक मार्टिंगेल , और (जहाँ सेट करके अज़ुमा की असमानता का सामान्य संस्करण प्राप्त कर सकते हैं। ), और फिर उपरोक्त परिणाम को लागू करना। $Y_i$ $Y_1, \cdots, Y_n$ $X_i=Y_i-Y_{i-1}$ $[a_i,b_i]=[-c_i,c_i]$ $\mathbb{P}[|Y_i-Y_{i-1}|\leq c_i]=1$

— थॉमस
स्रोत

सबूत की पहली पंक्ति में, यह शायद होना चाहिए (ऊपरी के रूप में राशि के लिए बाध्य बजाय ) ....

Y_{i} = \sum_{j = 1}^{i} X_{j}

$Y_i = \sum_{j=1}^i X_j$

i

$i$

n

$n$

— Dougal

इसका प्रमाण भी दूबशाही और पंचोंसी द्वारा मोनोग्राफ में दिया गया है।

— क्रिस्टोफर अर्नसेफेल्ट हैनसेन

@ क्रिस्तोफ़रअर्न्सफ़ेल्टहेनसेन: महान। क्या आपके पास एक लिंक है?

— थॉमस