मोंटे कार्लो एल्गोरिदम पर याओ का मिनीमाक्स सिद्धांत

$P$ $\mathcal{X}$ $\mathcal{A}$ $P$ $\mathcal{D}$ $\mathcal{R}$ $\mathcal{A}$

min_{A \in A} E c o s t (A, D) \leq max_{x \in X} E c o s t (R, x) for all D and R .

$\min_{A\in\mathcal{A}}\quad\mathbb{E} cost(A,\mathcal{D}) \leq \max_{x\in\mathcal{X}}\quad\mathbb{E} cost(\mathcal{R},x) \quad\quad\text{for all $\mathcal{D}$ and $\mathcal{R}$}.$ यह सबूत सीधे शून्य-राशि खेलों के लिए वॉन न्यूमैन के अल्पमहिष्ठ प्रमेय से इस प्रकार है।

ज्यादातर याओ का सिद्धांत केवल लास वेगास एल्गोरिदम से संबंधित है , लेकिन इसे मोंटे कार्लो एल्गोरिदम के लिए सामान्यीकृत किया जा सकता है। जहां मोंटे कार्लो एल्गोरिदम की लागत को दर्शाता है जो प्रायिकता पर संभावना को ।

\frac{1}{2} min_{A \in A} E c o s t_{2 ϵ} (A, D) \leq max_{x \in X} E c o s t_{ϵ} (R, x) for all D, R and ϵ \in [0, 1 / 2]

$\frac12 \min_{A\in\mathcal{A}}\quad\mathbb{E} cost_{2\epsilon}(A,\mathcal{D}) \leq \max_{x\in\mathcal{X}}\quad\mathbb{E} cost_{\epsilon}(\mathcal{R},x)\quad\quad\text{for all $\mathcal{D}$, $\mathcal{R}$ and $\epsilon\in [0,1/2]$}$

c o s t_{ϵ} (\cdot, \cdot)

$cost_\epsilon(\cdot,\cdot)$

ϵ

$\epsilon$

में याओ के मूल कागज , मोंटे कार्लो एल्गोरिदम के लिए संबंध प्रमाण के बिना प्रमेय 3 पर दिया जाता है। इसे साबित करने के लिए कोई संकेत?

randomized-algorithms

— फेडेरिको मैग्लानेज़
स्रोत

जवाबों:

यह मार्कोस के जवाब पर सिर्फ एक विस्तारित टिप्पणी है, उनके अंकन का उपयोग करते हुए। मैं उनके तर्क के विवरण का पालन करने में सक्षम नहीं हूं, और नीचे वाला बहुत छोटा और आसान है।

औसतन, द्वारा

\sum_{A} q (A) \sum_{x} d (x) ϵ (A, x) = \sum_{x} d (x) \sum_{A} q (A) ϵ (A, x) \leq λ .

$\sum_A{q(A)\sum_x{d(x)\epsilon(A, x)}} = \sum_x{d(x)\sum_A{q(A)\epsilon(A, x)}} \leq \lambda.$

तथ्य यह है ऊपर और मार्कोव की असमानता मतलब । $\sum_{A \in \beta(2\lambda)}{q(A)} \geq 1/2$

तो हमें मिलता है:

\begin{aligned} max_{x} \sum_{A} q (A) r (A, x) & \geq \sum_{x} d (x) \sum_{A} q (A) r (A, x) \\ = \sum_{A} q (A) \sum_{x} d (x) r (A, x) \\ \geq \sum_{A \in β (2 λ)} q (A) \sum_{x} d (x) r (A, x) \\ \geq (\sum_{A \in β (2 λ)} q (A)) min_{A \in β (2 λ)} \sum_{x} d (x) r (A, x) \\ \geq \frac{1}{2} min_{A \in β (2 λ)} \sum_{x} d (x) r (A, x) \end{aligned}

$\begin{align*} \max_x \sum_A{q(A)r(A,x)} &\geq \sum_x{d(x)\sum_A{q(A)r(A, x)}}\\ &= \sum_A{q(A)\sum_x{d(x)r(A, x)}}\\ &\geq \sum_{A \in \beta(2\lambda)}{q(A)\sum_x{d(x)r(A, x)}}\\ &\geq \left(\sum_{A \in \beta(2\lambda)}{q(A)}\right) \min_{A \in \beta(2\lambda)}{\sum_x{d(x)r(A, x)}}\\ &\geq \frac{1}{2}\min_{A \in \beta(2\lambda)}{\sum_x{d(x)r(A, x)}} \end{align*}$

— निकोलेव को दर्शाता है
स्रोत

मैं इस पर कोशिश करूँगा। मैं याओ के मूल अंकन का उपयोग करने जा रहा हूं। इस तरह उसके कागज और उसकी परिभाषाओं के विपरीत करना आसान हो जाएगा।

चलो आदानों की एक परिमित सेट हो, और नियतात्मक एल्गोरिदम कि कुछ इनपुट के लिए एक सही जवाब देने के लिए विफल हो सकता है की एक परिमित सेट हो। भी करते हैं अगर के लिए सही जवाब देता है , और अन्यथा। इसके अलावा द्वारा पर इनपुट , या समकक्ष, की गहराई से किए गए प्रश्नों की संख्या को निरूपित करें $\mathcal{I}$ $\mathcal{A}_0$ $\epsilon(A,x)=0$ $A$ $x$ $\epsilon(A,x)=1$ $r(A,x)$ $A$ $x$ $A$ निर्णय का पेड़।

औसत मूल्य: को देखते हुए एक प्रायिकता वितरण पर , औसत लागत एक एल्गोरिथ्म के है । $d$ $\mathcal{I}$ $A\in \mathcal{A}_0$ $C(A,d)=\sum_{x\in\mathcal{I}} d(x)\cdot r(A,x)$

वितरणात्मक जटिलता: Let । किसी भी वितरण के लिए इनपुट पर, जाने हो के सबसेट द्वारा दिए गए $\lambda\in[0,1]$ $d$ $\beta(\lambda)$ $\mathcal{A}_0$ $\beta(\lambda)=\{A : A\in \mathcal{A}_0, \sum_{x\in\mathcal{I}} d(x)\cdot \epsilon(A,x)\leq \lambda\}$ . The distributional complexity with error $\lambda$ for a computational problem $P$ is defined as $F_{1,\lambda}(P)=\max_{d} \min_{A\in \beta(\lambda)} C(A,d)$ .

$\lambda$ -tolerance: A distribution $q$ on the family $\mathcal{A}_0$ is $\lambda$ -tolerant if $\max_{x\in \mathcal{I}} \sum_{A\in\mathcal{A}_0} q(A)\cdot \epsilon(A,x)\leq \lambda$ .

Expected Cost: For a randomized algorithm $R$ , let $q$ be a probability distribution that is $\lambda$ -tolerant on $\mathcal{A}_0$ . The expected cost of $R$ for a given input $x$ is $E(R,x)=\sum_{A\in \mathcal{A}_0} q(A)\cdot r(A,x)$ .

Randomized Complexity: Let $\lambda\in[0,1]$ . The randomized complexity with error $\lambda$ is $F_{2,\lambda}=\min_R \max_{x\in\mathcal{I}} E(R,x)$ .

Now we are ready to go into business. What we want to prove is given a distribution $d$ on the inputs and a randomized algorithm $R$ (i.e., a distribution $q$ on $\mathcal{A}_0$ )

Yao's Minimax Principle for Montecarlo Algorithms
$max_{x \in I} E (R, x) \geq \frac{1}{2} min_{A \in β (2 λ)} C (A, d)$ $\begin{equation}\max_{x\in\mathcal{I}} E(R,x)\geq \frac{1}{2}\min_{A\in \beta(2\lambda)} C(A,d) \end{equation}$ for $\lambda\in[0,1/2]$ .

I will follow an approach given by Fich, Meyer auf der Heide, Ragde and Wigderson (see Lemma 4). Their approach does not yield a characterization for Las Vegas algorithms (only the lower bound), but it is sufficient for our purposes. From their proof, it easy to see that for any $\mathcal{A}_0$ and $\mathcal{I}$

Claim 1. $\max_{x\in \mathcal{I}} E(R,x)\geq \min_{A\in \mathcal{A}_0} C(A,d)$ .

To get the correct numbers there, we'll do something similar. Given that the probability distribution $q$ given by the randomized algorithm $R$ is $\lambda$ -tolerant on $\mathcal{A}_0$ we have that

\begin{aligned} λ & \geq max_{x \in I} {\sum_{A \in A_{0}} q (A) \cdot ϵ (A, x)} \\ \geq \sum_{x \in I} d (x) \sum_{A \in A_{0}} q (a) \cdot ϵ (A, x) \\ = \sum_{A \in A_{0}} q (a) \sum_{x \in I} d (x) \cdot ϵ (A, x) \\ \geq min_{A \in A_{0}} {\sum_{x \in I} d (x) \cdot ϵ (A, x)} . \end{aligned}

$\begin{align*} \lambda &\geq \max_{x\in \mathcal{I}}\left\{ \sum_{A\in\mathcal{A}_0} q(A)\cdot \epsilon(A,x) \right\}\\ &\geq \sum_{x\in\mathcal{I}} d(x) \sum_{A\in \mathcal{A}_0} q(a)\cdot \epsilon(A,x)\\ &= \sum_{A\in \mathcal{A}_0} q(a)\sum_{x\in\mathcal{I}} d(x) \cdot \epsilon(A,x)\\ &\geq \min_{A\in \mathcal{A}_0}\left\{ \sum_{x\in\mathcal{I}} d(x) \cdot \epsilon(A,x) \right\}. \end{align*}$ If we replace the family

A_{0}

$\mathcal{A}_0$ with

β (2 λ)

$\beta(2\lambda)$ we see that

\begin{aligned} λ & \geq max_{x \in I} {\sum_{A \in A_{0}} q (A) \cdot ϵ (A, x)} \\ \geq max_{x \in I} {\sum_{A \in β (2 λ)} q (A) \cdot ϵ (A, x)} \\ \geq \sum_{x \in I} d (x) \sum_{A \in β (2 λ)} q (a) \cdot ϵ (A, x) \\ = \sum_{A \in β (2 λ)} q (a) \sum_{x \in I} d (x) \cdot ϵ (A, x) \\ \geq min_{A \in β (2 λ)} {\frac{1}{2} \sum_{x \in I} d (x) \cdot ϵ (A, x)}, \end{aligned}

$\begin{align*} \lambda &\geq \max_{x\in \mathcal{I}}\left\{ \sum_{A\in\mathcal{A}_0} q(A)\cdot \epsilon(A,x) \right\}\\ &\geq \max_{x\in \mathcal{I}}\left\{ \sum_{A\in\beta(2\lambda)} q(A)\cdot \epsilon(A,x) \right\}\\ &\geq \sum_{x\in\mathcal{I}} d(x) \sum_{A\in \beta(2\lambda)} q(a)\cdot \epsilon(A,x)\\ &= \sum_{A\in \beta(2\lambda)} q(a)\sum_{x\in\mathcal{I}} d(x) \cdot \epsilon(A,x)\\ &\geq \min_{A\in \beta(2\lambda)}\left\{ \frac{1}{2}\sum_{x\in\mathcal{I}} d(x) \cdot \epsilon(A,x) \right\}, \end{align*}$

where the second inequality follows because $\beta(2\lambda) \subseteq \mathcal{A}_0$ , and the last inequality is given by the definition of $\beta(2\lambda)$ where the summation divided by 2 cannot be greater than $\lambda$ . Hence,

max_{x \in I} {\sum_{A \in A_{0}} q (A) \cdot ϵ (A, x)} \geq \frac{1}{2} min_{A \in β (2 λ)} {\sum_{x \in I} d (x) \cdot ϵ (A, x)} .

$\begin{equation}\max_{x\in \mathcal{I}}\left\{ \sum_{A\in\mathcal{A}_0} q(A)\cdot \epsilon(A,x) \right\}\geq\frac{1}{2} \min_{A\in \beta(2\lambda)}\left\{ \sum_{x\in\mathcal{I}} d(x) \cdot \epsilon(A,x) \right\}. \end{equation}$

By noting that $\epsilon$ maps to $\{0,1\}$ and $r$ maps to $\mathbb{N}$ and Claim 1 above, now we can safely replace the function $\epsilon$ in the inequality above by $r(A,x)$ to obtain the desired inequality.

— Marcos Villagra
स्रोत

Is there a short explanation for where the factor of 2 comes from?

— Robin Kothari

in short, it comes from the definition of

β (2 λ)

$\beta(2\lambda)$ . The summation in the definition divided by 2 is at most

λ

$\lambda$ .

— Marcos Villagra

something seems strange to me. by definition,

max_{A \in β (2 λ))} {\frac{1}{2} \sum_{x \in I} d (x), ϵ (A, x)} \leq λ

$\max_{A \in \beta(2\lambda))} \left\{\frac{1}{2} \sum_{x \in \mathcal{I}}{d(x), \epsilon(A,x)}\right\} \leq \lambda$ so why the min?

— Sasho Nikolov

and i don't understand the last sentence. how did you make an entire argument about

ϵ

$\epsilon$ and then replaced it with

r

$r$ ?

— Sasho Nikolov

regarding your first question, I added more details.

— Marcos Villagra