प्लॉटकिन-शमॉयस-टार्डोस और अरोरा-काले सॉल्वर के लिए खिलौना उदाहरण

मैं यह समझना चाहूंगा कि अरोरा-काले एसडीपी सॉल्वर ने लगभग रेखीय समय में गोमांस-विलियमसन विश्राम को कैसे अंजाम दिया, कैसे प्लोटकिन-शमॉयस-टार्डोस सॉल्वर ने आंशिक "पैकिंग" और "लगभग रैखिक समय में" और "एल्गोरिदम" इन समस्याओं को कवर किया। अमूर्त ढांचे के "विशेषज्ञों से सीखने" की तात्कालिकता है।

केल की थीसिस की एक उत्कृष्ट प्रस्तुति है, लेकिन मुझे सीधे अमूर्त ढांचे में कूदना बहुत मुश्किल लगता है, और मैं एक साधारण समस्या के उदाहरण से शुरू करना पसंद करूंगा, जिसके लिए यह बिल्कुल स्पष्ट है कि क्या करना है, और फिर अधिक सामान्य समस्याओं की ओर बढ़ना , क्रमिक रूप से एल्गोरिथ्म और इसके विश्लेषण के लिए "सुविधाओं" को जोड़ना।

उदाहरण के लिए:

प्लॉटकिन-शमॉयज़ अनवीटेड वर्टेक्स कवर के रैखिक प्रोग्रामिंग विश्राम को कैसे हल करता है? भारित शीर्ष कवर? कवर सेट करें? द्विदलीय मिलान?

सबसे सरल उदाहरण क्या है जिसमें अरोड़ा-कली एल्गोरिथम कुछ दिलचस्प कर रहा है? यह एक ग्राफ के लाप्लासियन के सबसे बड़े प्रतिध्वनि की गणना कैसे करता है?

(लाप्लासियन के सबसे बड़े प्रतिध्वनि की गणना, मैक्स कट के गोएम्स-विलियमसन एसडीपी छूट के एक कमजोर संस्करण को हल करने की समस्या के बराबर है, जिसमें प्रत्येक वेक्टर को लंबाई एक होने की आवश्यकता के बजाय, आप वर्गों का योग चाहते हैं। मानदंडों का होना | V | |

— लुका ट्रेविसन
स्रोत

यह एक अच्छा सवाल है।

— सुरेश वेंकट

पैकिंग समस्याओं के लिए पीएसटी-शैली एल्गोरिदम को समझने के लिए यह बहुविकल्पी प्रवाह समस्या को हल करने के लिए एल्गोरिदम को देखना अच्छा है जो कि पीएसटी कहां से विकसित हुआ है। नील यंग के पेपर में सेट कवर का विस्तार से वर्णन किया गया है। Ihttp: //www.cs.ucr.edu/~neal/non_arxiv/SODA_1995_170.pdf। मैंने सोचा कि अरोड़ा-काले-हज़ान का सर्वेक्षण विशेषज्ञों के बीच संबंध बनाने और सॉल्वर को ढंकने / ढंकने के बीच संबंध बनाता है।

— चंद्रा चकुरी

@CraraChekuri: यह बल्कि देरी हो रही है, लेकिन मैं सोच रहा हूं कि क्या आपको इसका जवाब देना चाहिए?

— सुरेश वेंकट

FWIW, सोडा पेपर @ChandraChekuri पर कुछ नोटों के विस्तार के लिए, greedyalgs.info/blog/about देखें ।

— नील युवा

अपडेटेड लिंक: algnotes.info/on/obliv

— Neal Young

लुका, एक साल बीत जाने के बाद, आपने शायद अपने खुद के जवाब पर शोध किया है। मैं आपके कुछ सवालों के जवाब यहां सिर्फ रिकॉर्ड के लिए दे रहा हूं। मैं आपके द्वारा बताई गई समस्याओं के लिए कुछ Lagrangian-Relaxing एल्गोरिदम की समीक्षा करता हूं, और सीखने के लिए कनेक्शन स्केच करता हूं (विशेष रूप से, विशेषज्ञ की सलाह के बाद)। मैं यहाँ SDP एल्गोरिदम पर टिप्पणी नहीं करता।

ध्यान दें कि आपके द्वारा उल्लिखित विशेष एल्गोरिदम लगभग रैखिक समय में नहीं चलते हैं। ( स्पष्ट रूप से दी गई पैकिंग या कवरिंग समस्याओं के लिए लगभग रैखिक समय का एल्गोरिथ्म है। फ्रैक्शनल पैकिंग और कवरिंग प्रोग्राम्स के लिए बीटिंग सिम्प्लेक्स देखें ।) आपके पास मौजूद एल्गोरिदम में आमतौर पर ऐसे वेरिएंट होते हैं जो लगभग रैखिक संख्या में पुनरावृत्तियों में चलते हैं , लेकिन प्रत्येक पुनरावृत्ति के लिए आमतौर पर कम से कम रैखिक समय की आवश्यकता होती है। मैं इनमें से कुछ एल्गोरिदम के बारे में नीचे चर्चा करता हूं।

कुछ उपयोगी कार्य

$y$ $\mbox{Lmax}(y)$ $\ln \sum_i \exp(y_i)$ $\max_i y_i$

max_{i} y_{i} \leq Lmax (y) \leq max_{i} y_{i} + \ln m .

$\max_i y_i ~\le~ \mbox{Lmax}(y) ~\le~ \max_i y_i + \ln m.$

Lmin (y)

$\mbox{Lmin}(y)$

- Lmax (- y)

$-\mbox{Lmax}(-y)$

min_{i} y_{i}

$\min_i y_i$

इस प्रकार की सुविधा के लिए, हम के ग्रेडिएंट को दर्शाने के लिए का उपयोग करते हैं । हम के ग्रेडिएंट को दर्शाने के लिए का उपयोग करते हैं । $g(y)$ $\nabla \mbox{Lmin}(y)$ $G(y)$ $\nabla \mbox{Lmax}(y)$

स्पष्ट रूप से, is जबकि is । $g_i(y)$ $\exp(-y_i)/\sum_{i'} \exp(-y_{i'})$ $G_i(y)$ $\exp(y_i)/\sum_{i'} \exp(y_{i'})$

Lmin और Lmax निम्नलिखित अर्थों में सुचारू हैं : किसी भी वैक्टर और , और $d\in[0,\varepsilon]^n$ $y\in R^n$

Lmin (y + d) \geq Lmin (y) + (1 - O (ε)) d \cdot g (y)

$\mbox{Lmin}(y+d) ~\ge~ \mbox{Lmin}(y) ~+~ (1-O(\varepsilon))\, d \cdot g(y)$

Lmax (y + d) \leq Lmax (y) + (1 + O (ε)) d \cdot G (y) .

$\mbox{Lmax}(y+d) ~\le~ \mbox{Lmax}(y) ~+~ (1+O(\varepsilon))\, d \cdot G(y).$

ध्यान दें कि दोनों ग्रेडिएंट्स का 1-मान 1: बराबर है । (हम पूरे उपयोग करते हैं -1-मान को निरूपित करने के लिए।) $|G(y)| = |g(y)| = 1$ $|z|$

यह भी ध्यान दें कि, एक मैट्रिक्स के लिए , समारोह की ढाल के संबंध में है (श्रृंखला शासन द्वारा) । अधिक स्पष्ट रूप से, सम्मान के साथ समारोह का आंशिक व्युत्पन्न को है । इसी तरह, Lmax का आंशिक व्युत्पन्न सम्मान के साथ करने के लिए है । $A$ $x\mapsto \mbox{Lmin}(Ax)$ $x$ $(g(Ax))^T A$ $x_j$ $\sum_i A_{ij} \exp(-A_i x) / \sum_i \exp(-A_i x)$ $(Ax)$ $x_j$ $\sum_i A_{ij} \exp(A_i x)/\sum_i \exp(A_i x)$

आंशिक सेट कवर

सेट-कवर आवृत्ति को ठीक करें। आइए तत्व को निर्धारित करें / घटना मैट्रिक्स सेट करें। इस प्रकार, यदि , और 0, और वह सीमा है जिसमें आंशिक कवर तत्व को कवर करता है । $A$ $A_{es} = 1$ $e\in s$ $A_e x$ $x$ $e$

एल.पी. । दिए गए , एल्गोरिथ्म है $\min\{ |x| : A x \ge 1; x \ge 0\}$ $\varepsilon\in (0,1)$

सभी प्रारंभ करें । चलो । $x_s = 0$ $N=\log(n)/\varepsilon$
दोहराएं जब तक : $\min_e A_e x \ge N$

2.1। चुनें lmin का आंशिक व्युत्पन्न को अधिकतम wrt । (स्पष्ट रूप से, चुनें अधिकतम ।) $s$ $(Ax)$ $x_s$
$s$ $\sum_{e\in s} \exp(-\sum_{s'\ni e} x_{s'})$

2.2। को बढ़ाएं । $x_s$ $\varepsilon$
वापसी । $x/\min_{e} A_e x$

एल्गोरिथ्म एक में अनुमानित समाधान देता है पुनरावृत्तियों, जहां तत्वों की संख्या है और इष्टतम है? आंशिक सेट कवर (तुच्छ रूप से )। (एक समान एल्गोरिथ्म का उल्लेख चंद्रा के कागज में दिखाई देता है । वर्टेक्स कवर निश्चित रूप से एक विशेष मामला है।) $(1+O(\varepsilon))$ $O(|x^*|\log(n)/\varepsilon^2)$ $n$ $x^*$ $|x^*|\le n$

( टिप्पणी: ध्यान दें कि बाउंड्रीज बाउंड सेट की संख्या पर निर्भर नहीं करता है, बस तत्वों की संख्या है। इस प्रकार, एल्गोरिथ्म को एक निहित परिभाषित सेट सिस्टम के साथ इस्तेमाल किया जा सकता है, जब तक कि तत्वों पर भार दिया जाता है, कोई कुशलता से कर सकता है। अधिकतम वजन (या निकट-अधिकतम) कुल वजन का एक सेट खोजें। इस तरह का एक प्रकार का अलंकार है, जो अंडाकार एल्गोरिथ्म को दोहरी समस्या पर लागू करने के लिए आवश्यक जुदाई के लिए है। सेट की पैकिंग जैसी समस्याओं के लिए, आपको एक दाना चाहिए। तत्वों पर दिए गए भार, कुल वजन को कम करने वाला एक सेट लौटाता है । बहु-वस्तु प्रवाह जैसी समस्याओं के लिए, उदाहरण के लिए, आपको कुछ दिए गए किनारे के भार के योग को कम करने के लिए एक मार्ग खोजने की आवश्यकता होगी।)

यहां प्रदर्शन गारंटी के प्रमाण का एक स्केच है। प्रत्येक पुनरावृत्ति में, आंशिक व्युत्पन्न wrt चुना हुआ कम से कम, जहां इष्टतम आंशिक सेट कवर है। $s$ $1/|x^*|$ $x^*$

(क्यों देखने के लिए, याद है कि lmin की ढाल के संबंध में है अगर हम एक सेट का चयन करने के लिए गए थे। वितरण से यादृच्छिक पर संबंध में आंशिक व्युत्पन्न का अपेक्षित मूल्य इस प्रकार होगा | चूंकि , यह कम से कम है । के बाद से , इस कम से कम है । कुछ इस प्रकार, वहाँ मौजूद होना चाहिए कम से कम आंशिक व्युत्पन्न दे रही है | चूंकि एल्गोरिथ्म चुनता है $(Ax)$ $x$ $(g(Ax))^T A$ $s'$ $x^*/|x^*|$ $x_{s'}$ $(g(Ax))^T \,A x^*/|x^*|$ $Ax^* \ge 1$ $|g(Ax)|/|x^*|$ $|g(Ax)|=1$ $1/|x^*|$ $s$ $1/|x^*|$ $x_s$ आंशिक व्युत्पन्न को अधिकतम करने के लिए प्रत्येक पुनरावृत्ति में , यह कम से कम का आंशिक व्युत्पन्न प्राप्त करता है।) $1/|x^*|$

फिर, चरण आकार को केवल इतना छोटा चुना जाता है कि का कोई समन्वय से अधिक न बढ़े । इस प्रकार, Lmin की चिकनाई के कारण, को बढ़ाने से कम से कम बढ़ जाता है । $\varepsilon$ $A x$ $\varepsilon$ $x_s$ $x_s+\varepsilon$ $\mbox{Lmin}(Ax)$ $(1-O(\varepsilon))\varepsilon/|x^*|$

इस तरह, एल्गोरिथ्म अपरिवर्तनीय बनाए रखता है (ध्यान दें कि Lmin बराबर ।)

Lmin (A x) \geq (1 - O (ε)) | x | / | x^{*} | - \ln n .

$\mbox{Lmin}(Ax) \ge (1-O(\varepsilon)) |x|/|x^*| - \ln n.$

(\bar{0})

$(\overline 0)$

\ln n

$\ln n$

समाप्ति के समय, इनवेरिएंट में, टर्म बार-बार बाईं ओर होता है, इसलिए गणना के द्वारा एक को। एल्गोरिथ्म की अंतिम पंक्ति में सामान्यीकरण के बाद, इसका तात्पर्य है। $\ln n$ $O(\varepsilon)$ $\min_e A_e x \ge (1-O(\varepsilon)) |x|/|x^*|$ $|x| \le (1+O(\varepsilon))|x^*|$

एफडब्ल्यूआईडब्ल्यू, आक्रमणकारी साबित करने में शामिल असमानताएं अनिवार्य रूप से वही हैं जो चेर्नॉफ बाध्य साबित करने में शामिल हैं। (वास्तव में, इस एल्गोरिथ्म एक यादृच्छिक-गोलाई योजना को सशर्त संभावनाओं की विधि लगाने से प्राप्त किया जा सकता है कि बार-बार वितरण से नमूने सेट (प्रतिस्थापन के साथ), बढ़ती प्रत्येक नमूना सेट के लिए । इसका व्युत्पन्न एल्गोरिथ्म देता है: अंतर्निहित अपरिवर्तनीय बस यह है कि निराशावादी अनुमानक नीचे रहता है। निराशावादी अनुमानक में घातांक दंड गोलाई योजना के विश्लेषण में बंधे चेरनॉफ का उपयोग करने से आता है। इस मूल विचार को आगे समझाया गया है। में कागज चंद्र उल्लेख किया ।) $x^*/|x^*|$ $x_s$ $s$

आंशिक भारित सेट कवर (और सामान्य आंशिक आवरण)

भारित सेट कवर जैसी समस्याओं को कुशलतापूर्वक संभालने के लिए , हम गैर-समान वेतन वृद्धि ( गर्ग और कोनेमैन के कारण एक विचार ) का उपयोग करने के लिए एल्गोरिदम को संशोधित करते हैं ।

एल.पी. है , जहां तत्वों से अधिक श्रृंखला, गैर सेट पर होती है, और सभी चर रहे हैं -नकारात्मक। एल्गोरिथ्म को पेश करने के लिए, पहले समस्या को सामान्य कवरिंग समस्या के रूप में फिर से लिखें। आज्ञा दें कि लिए और अन्यथा। तब (चर के परिवर्तन के साथ, द्वारा प्रत्येक को ), LP , जिसे हम सामान्य कवरिंग LP के रूप में देख सकते हैं। यहाँ एल्गोरिथ्म है: $\min\{ c\cdot x : (\forall e) \sum_{s\ni e} x_s \ge 1\}$ $e$ $s$ $A_{es} = 1/c_s$ $e\in s$ $A_{es} = 0$ $x_s$ $c_s$ $\min\{ |x| : A x \ge 1; x \ge 0\}$

सभी प्रारंभ करें । चलो । $x_s = 0$ $N=\log(n)/\varepsilon$
तब तक दोहराएं जब तक कि सभी कवरिंग बाधाओं को हटा नहीं दिया गया हो:

2.1। चुनें lmin का आंशिक व्युत्पन्न को अधिकतम wrt । (स्पष्ट रूप से, चुनें अधिकतम ।) $s$ $(Ax)$ $x_s$
$s$ $\sum_{e\in s} \exp({-\sum_{s'\ni e} x_{s'}})/c_s$

2.2। को बढ़ाएं , जहां को अधिकतम रूप से चुना जाता है, जैसे कि हर शेष कवरिंग बाधा , में वृद्धि अधिकांश । $x_s$ $\delta$ $\delta$ $e$ $A_e \cdot x$ $\varepsilon$

2.3 सभी हटाएं कवर की कमी है कि इस तरह । $e$ $A_e\cdot x \ge N$
वापसी । $x/\min_e A_e\cdot x$

एल्गोरिथ्म पुनरावृत्तियों में एक -approximate समाधान लौटाता है , जहां को कवर करने की संख्या में कमी है। (प्रत्येक पुनरावृत्ति कुछ शेष को ; यह नष्ट होने से पहले केवल एक बाधा के लिए बार ही हो सकता है ।) शुद्धता का प्रमाण अनिवार्य रूप से सेट कवर के समान ही अपरिवर्तनीय है। $(1+O(\varepsilon))$ $O(n\log(n)/\varepsilon^2)$ $n$ $A_e x$ $\varepsilon$ $N/\varepsilon$

भारित वर्टेक्स कवर एक विशेष मामला है।

अधिकतम भिन्नात्मक द्विदलीय मिलान

ग्राफ को देखते हुए समस्या के लिए प्राकृतिक LP । $G=(U,W,E)$ $\max\{|x| : \forall v.\, \sum_{e\ni v} x_e \le 1\}$

मैट्रिक्स प्रतिनिधित्व में, यह एक पैकिंग एलपी गुणांक के साथ ( अगर )। इस तरह की समस्याओं के लिए गैर-समान वेतन वृद्धि की आवश्यकता नहीं होती है, इसलिए अनलिमिटेड सेट कवर एल्गोरिथ्म (लेकिन पैकिंग के लिए) के अनुरूप एक सरल एल्गोरिथ्म होगा: $\max\{|x| : Ax \le 1; x \ge 0\}$ $A_{ve} = 1$ $v\in e$

सभी प्रारंभ करें । चलो । $x_e = 0$ $N=\log(n)/\varepsilon$
जबकि : $A x < N$

2.1। Lmax wrt के आंशिक व्युत्पन्न को कम करने के लिए चुनें । (स्पष्ट रूप से, को ।) $e$ $(Ax)$ $x_e$
$e$ $\sum_{v\in e} \exp(\sum_{e'\ni v} x_{e'})$

2.2। को बढ़ाएं । $x_e$ $\varepsilon$
वापसी । $x/\max_{v} A_v x$

एल्गोरिथ्म पुनरावृत्तियों में -approximate समाधान देता है । (ऐसा इसलिए है क्योंकि प्रत्येक पुनरावृत्ति बढ़ती है by , और अंत में, सामान्य होने से पहले ।) $(1-O(\varepsilon))$ $O(n\log(n)/\varepsilon^2)$ $|x|$ $\varepsilon$ $|x| = O(N n)$

बस मज़े के लिए, यहाँ परफेक्ट बिपर्टाइट मैचिंग के लिए एक जिज्ञासु वैकल्पिक एल्गोरिदम है। याद है कि । चलो। $G=(U,W,E)$ $n=|U|=|W|$

सभी प्रारंभ करें । आज्ञा देना । $x_e = 0$ $N=4\ln(n)/\varepsilon$
दोहराएँ बार: $n\,N$

2.1। चुनें से यादृच्छिक पर समान रूप से । 2.2। ऐसे चुनें कम करके । 2.3। द्वारा बढ़ाएँ । $u$ $U$
$w$ $(u,w)\in E$ $\sum_{e\ni w} x_e$
$x_{uw}$ $\varepsilon$
वापसी । $x/N$

यदि का पूर्ण मिलान होता है, तो एल्गोरिथ्म एक लौटाता है जैसे कि , और, उच्च संभावना के साथ, सभी कोने , , और सभी कोने में , । यदि आप प्रमाण के विवरण में रुचि रखते हैं, तो कृपया पूछें ... $G$ $x$ $|x|=n$ $u\in U$ $1-O(\varepsilon) \le \sum_{e\ni u} x_e \le 1+O(\varepsilon)$ $w\in W$ $\sum_{e\ni w} x_e \le 1+O(\varepsilon)$

मिश्रित पैकिंग और कवरिंग

आपने एक मिश्रित पैकिंग और कवरिंग समस्या के उदाहरण के लिए द्विदलीय मिलान के बारे में पूछा हो सकता है , अर्थात फॉर्म ऐसी समस्याओं के लिए एक एल्गोरिथ्म है। सबसे पहले, सामान्य करें ताकि और ।

\exists x ? P x \leq p; C x \geq c; x \geq 0.

$\exists x?~ Px \le p; Cx \ge c; x \ge 0.$

p = \bar{1}

$p=\overline 1$

c = \bar{1}

$c=\overline 1$

आज्ञा देना की संख्या की कमी (पंक्तियों में प्लस पंक्तियों में )। $m$ $P$ $C$

सभी प्रारंभ करें । चलो । $x_j = 0$ $N=2\ln(m)/\varepsilon$
जबकि : $P x < N$

2.1। चुनें ताकि Lmax का आंशिक व्युत्पन्न के संबंध में ज्यादा से ज्यादा lmin का आंशिक व्युत्पन्न है के संबंध में । (स्पष्ट रूप से, चुनें जैसे कि $j$ $(Px)$ $x_j$ $(Cx)$ $x_j$ $j$
$\frac{\sum_{i} P_{i j} \exp (P_{i} x)}{\sum_{i} \exp (P_{i} x)} \leq \frac{\sum_{i} C_{i j} \exp (- C_{i} x)}{\sum_{i} \exp (- C_{i} x)} .)$ $\frac{\sum_i P_{ij} \exp(P_i x)}{\sum_{i}\exp(P_i x)} \le \frac{\sum_i C_{ij} \exp(-C_i x)}{\sum_{i}\exp(-C_i x)}.)$

2.2। को बढ़ाएं , जहां को अधिकतम चुना जाता है जैसे कि कोई बाधा या शेष बाधा से अधिक नहीं बढ़ती है । $x_j$ $\delta$ $\delta$ $P_i x$ $C_i x$ $\varepsilon$

2.3। सभी को कवर बाधाओं को हटाना ऐसा है कि । $i$ $C_i x \ge N$
वापसी । $x/\max_i P_i x$

दी गई समस्या को संभव मानते हुए, एल्गोरिथ्म एक लौटाता है जैसे कि और । पुनरावृत्तियों की संख्या , क्योंकि प्रत्येक पुनरावृत्ति में द्वारा कुछ बाधाएँ बढ़ जाती हैं , और यह अधिकांश पर प्रत्येक बाधा के लिए हो सकता है । $x$ $Px\le 1$ $Cx\ge 1-O(\varepsilon)$ $O(m\ln(m)/\varepsilon^2)$ $\varepsilon$ $N$

शुद्धता का प्रमाण अपरिवर्तनीय अपरिवर्तनीय का तात्पर्य समाप्ति पर बाईं ओर प्रदर्शन की गारंटी साबित करते हुए, ।

Lmax (P x) \leq 2 \ln (m) + (1 + O (ε)) Lmin (C x) .

$\mbox{Lmax}(Px) \le 2\ln(m) + (1+O(\varepsilon)) \mbox{Lmin}(Cx).$

max P x \leq 2 \ln (m) + (1 + O (ε)) min C x .

$\max Px \le 2\ln(m) + (1+O(\varepsilon)) \min Cx.$

Ω (\log (m) / ε)

$\Omega(\log(m)/\varepsilon)$

चरण 2.1 में, वांछित तब तक मौजूद होना चाहिए जब तक कि मूल समस्या संभव न हो। (यह इसलिए है, क्योंकि किसी भी व्यवहार्य , और किसी भी , अगर हम वितरण से एक यादृच्छिक चुनना चाहते थे, तो Lmax के आंशिक व्युत्पन्न का अपेक्षित मूल्य। संबंध में अधिकतम (सेट कवर के पिछले प्रमाण देखें)। इसी तरह, संबंध में Lmin के आंशिक व्युत्पन्न का अपेक्षित मान। कम से कम इस प्रकार, एक $j$ $x^*$ $x$ $j'$ $x^*/|x^*|$ $(Px)$ $x_{j'}$ $1/|x^*|$ $(Cx)$ $x_{j'}$ $1/|x^*|$ $j$ ऐसे कि x_ संबंध में Lax का आंशिक व्युत्पन्न, Lmin अधिकांश आंशिक व्युत्पन्न में है ।) $(Px)$ $x_{j'}$ $(Cx)$

तब प्रत्येक पुनरावृत्ति में इनवेरिएंट बनाए रखा जाता है, क्योंकि और की पसंद से , और Lmin और Lmax की चिकनाई, को बढ़ाकर Lmax को सबसे अधिक समय तक बढ़ा देता है Lmin में वृद्धि । $x_j$ $\delta$ $x_j$ $x_j+\delta$ $(Px)$ $1+O(\varepsilon)$ $(Cx)$

सीखना (विशेषज्ञों का अनुसरण करना)

इस संबंध को समझने के लिए एक संदर्भ एडाप्टिव गेम है , जो फ्रंड और शेपायर द्वारा गुणा वज़न का उपयोग करके खेला जाता है। तकनीकी विचार देने के लिए यहां एक त्वरित सारांश दिया गया है।

निम्नलिखित दोहराया खेल पर विचार करें। प्रत्येक दौर में : $t$

आप ( तथाकथित विशेषज्ञों ) पर प्रायिकता वितरण चुनते हैं । $p^t$ $[n]$ $n$
जानने के बाद, विरोधी एक भुगतान वेक्टर का चयन करता है । $p^t$ $a^t\in [0,1]^{n}$
आप राउंड के लिए अदायगी प्राप्त करते हैं। $p^t\cdot a^t$

कुछ राउंड्स के बाद खेल रुक गया। अपने लक्ष्य किसी एक विशेषज्ञ (यानी, शुद्ध रणनीति) की तुलना में अपने अफसोस कम करने के लिए है । यही है, आपका लक्ष्य कम से कम । $i$ $(\max_i \sum_t a^t_i) - \sum_t p^t\cdot a^t$

किसी भी ठीक करें । वेक्टर निरूपित करें , अर्थात, , वेक्टर का भुगतान समय-समय पर वैक्टर के समय तक । स्मरण करो कि Lmax का ढाल है । $\varepsilon>0$ $y^t$ $\varepsilon \sum_{s \le t} a^s$ $\varepsilon$ $t$ $G(y)$ $(y)$

यहां हम मूल रणनीति का विश्लेषण करेंगे: गोल , टू । $t$ $p^t$ $G(y^{t-1})$

निरीक्षण से, यह आपको राउंड में का भुगतान करता । $a^t \cdot G(y^{t-1})$ $t$

, की चिकनाई गुण के कारण अर्थात्, प्रत्येक दौर में, आपके भुगतान से अधिक बार से अधिक नहीं बढ़ सकता है । चूँकि , यह इस बात को बनाए रखता है कि आपके कुल भुगतान समय में सबसे अधिक है , प्लस दूसरी ओर, सबसे अच्छा विशेषज्ञ की तुलना में आपके अफसोस। है , यानी, $F$

Lmax (y^{t}) \leq Lmax (y^{t - 1}) + (1 + O (ε)) ε a^{t} \cdot G (y^{t - 1}) .

$\mbox{Lmax}(y^t) \le \mbox{Lmax}(y^{t-1}) + (1+O(\varepsilon)) \varepsilon a^t \cdot G(y^{t-1}).$

Lmax (y^{t})

$\mbox{Lmax}(y^t)$

ε (1 + O (ε))

$\varepsilon(1+O(\varepsilon))$

Lmax (\bar{0}) = \ln n

$\mbox{Lmax}(\overline 0) = \ln n$

Lmax (y^{t})

$\mbox{Lmax}(y^t)$

ε (1 + O (ε)

$\varepsilon(1+O(\varepsilon)$

\ln (n)

$\ln(n)$

i

$i$

max_{i} \sum_{t} a_{i}^{t}

$\max_i \sum_t a^t_i$

ε^{- 1} max_{i} y_{i}^{t}

$\varepsilon^{-1} \max_i y^t_i$ , जो अधिकांश ।

ε^{- 1} Lmax (y^{t})

$\varepsilon^{-1} \mbox{Lmax}(y^t)$

इस प्रकार, आपका पछतावा अधिकांश , प्लस आपके कुल भुगतान का होता है। $\varepsilon^{-1} \ln(n)$ $O(\varepsilon)$

टिप्पणी: मुझे लगता है, जैसा कि फ्रायंड और शेपायर बताते हैं, एक "बूस्टिंग" एल्गोरिथम (सीखने के सिद्धांत में) भी इस विश्लेषण में निहित है। अधिक जानकारी के लिए उनका पेपर देखें।

कुल अदायगी न्यूनतम करना

आप सेटिंग के लिए एक समान रणनीति प्राप्त कर सकते हैं, जहां लक्ष्य अधिकतम भुगतान के बजाय, न्यूनतम करना है । आपका पछतावा, जिसे आप अभी भी कम करना चाहते हैं, is । उस स्थिति में, संबंधित रणनीति का ग्रेडिएंट होने के लिए को चुनना है । इस कार्यनीति के साथ आपका पछतावा पुन: अधिकांश plus आपके कुल भुगतान का होता है। $\sum_t p^t\cdot a^t - \min_i a^t_i$ $p^t$ $\mbox{Lmin}(y^t)$ $\varepsilon^{-1} \ln n$ $O(\varepsilon)$

Lagrangian- विश्राम एल्गोरिदम के लिए कनेक्शन

Lagrangian- रिलैक्सिंग एल्गोरिदम से कनेक्शन देखने के लिए, सेट-कवर इंस्टेंस को ठीक करें। खेल के उत्तरार्द्ध प्रकार, जहां विशेषज्ञों के तत्वों अनुरूप (कम से कम पैसे मिलते हैं के लक्ष्य के साथ) पर विचार करें अपने सेट प्रणाली की। प्रत्येक दौर में, ऊपर के रूप में Lmin की प्रवणता होने के लिए प्रायिकता वितरण का चयन करें और विरोधी को poff वेक्टर रूप में कार्य के रूप में निम्नानुसार चुनें : सेट अधिकतम , तो चलो यदि , और अन्यथा। $e$ $p^t$ $(y^t)$ $a^t$ $p^t$ $s^t$ $\sum_{e\in s} p^t_e$ $a^t_e = 1$ $e\in s^t$ $a^t_e = 0$

सही स्टॉपिंग कंडीशन (नीचे चर्चा की गई) को देखते हुए, यह प्रक्रिया आपको शुरू में चर्चा की गई सेट-कवर एल्गोरिथ्म बिल्कुल प्रदान करती है।

एल्गोरिथ्म की प्रदर्शन गारंटी निम्नानुसार खेद बाउंड से होती है। चलो बार विरोधी सेट चुना की संख्या हो खेलने के दौरान। आज्ञा देना इष्टतम आंशिक सेट कवर हो। Letखेले जाने वाले राउंड की संख्या हो। अफसोस बाध्यता का तात्पर्य $X_s$ $s$ $x^*$ $T=|X_s|$

\sum_{t} a^{t} \cdot p^{t} \leq ε^{- 1} \ln (m) + min_{e} \sum_{t} a_{e}^{t} .

$\textstyle \sum_t a^t\cdot p^t \le \varepsilon^{-1}\ln(m) + \min_e \sum_t a_e^t.$

की परिभाषा का उपयोग करते हुए , th अदायगी ( बाईं ओर राशि में th शब्द) बराबर होती है । इस भुगतान को कम करने के लिए विरोधी ने को चुना । यदि विरोधी ने इसके बजाय वितरण से यादृच्छिक रूप से को चुना है की उम्मीद (ऊपर हम सभी लिए उस करते हैं , और ) चूंकि प्रत्येक भुगतान कम से कम है। $a^t$ $t$ $t$ $\sum_{e\in s^t} p^t_e$ $s^t$ $s^t$ $x^*/|x^*|$

\sum_{s} \frac{x_{s}^{*}}{| x^{*} |} \sum_{e \in s} p_{e}^{t} = \frac{1}{| x^{*} |} \sum_{e} p_{e}^{t} \sum_{s ∋ e} x_{s}^{*} \geq \frac{1}{| x^{*} |} \sum_{e} p_{e}^{t} = \frac{1}{| x^{*} |} .

$\sum_s \frac{x^*_s}{|x^*|} \sum_{e\in s} p^t_e ~=~ \frac{1}{|x^*|} \sum_e p^t_e \sum_{s\ni e} x^*_s ~\ge~ \frac{1}{|x^*|} \sum_e p^t_e ~=~ \frac{1}{|x^*|}.$

\sum_{s ∋ e} x_{s}^{*} \geq 1

$\sum_{s\ni e} x^*_s \ge 1$

e

$e$

| p^{t} | = 1

$|p^t| = 1$

1 / | x^{*} |

$1/|x^*|$ पछतावा होने का तात्पर्य की परिभाषा से , हमारे पास (प्रत्येक राउंड एक सेट चुनता है), और , हम उस प्रक्रिया को रोक देते हैं जब , तो फिर (शब्दों को पुन: व्यवस्थित करना) अर्थात, को सामान्य करने से अधिकतम आकार का एक भिन्नात्मक सेट कवर मिलता है समय इष्टतम।

\frac{T}{| x^{*} |} \leq ε^{- 1} \ln (m) + min_{e} \sum_{t} a_{e}^{t} .

$\frac{T}{|x^*|} \le \varepsilon^{-1}\ln(m) + \min_e \sum_t a_e^t.$

X

$X$

| X | = T

$|X| = T$

\sum_{t} a_{e}^{t} = \sum_{e} [e \in s^{t}] = \sum_{s ∋ e} X_{s}

$\sum_t a_e^t = \sum_e [e\in s^t] = \sum_{s\ni e} X_s$

\frac{| X |}{| x^{*} |} \leq ε^{- 1} \ln (m) + min_{e} \sum_{s ∋ e} X_{s} .

$\frac{|X|}{|x^*|} \le \varepsilon^{-1}\ln(m) +\min_e \sum_{s\ni e} X_s.$

min_{e} \sum_{s ∋ e} X_{s} = Ω (ε^{- 2} \ln m)

$\min_e \sum_{s\ni e} X_s = \Omega(\varepsilon^{-2}\ln m)$

\frac{| X |}{min_{e} \sum_{s ∋ e} X_{s}} \leq (1 + O (ε) | x^{*} | .

$\frac{|X|}{\min_e \sum_{s\ni e} X_s}~ \le~ (1+O(\varepsilon)|x^*|.$

X

$X$

(1 + O (ε))

$(1+O(\varepsilon))$

टिप्पणी: एक अर्थ में, यह शिक्षण सिद्धांत व्याख्या एल्गोरिथम व्याख्या को सामान्य करता है। हालांकि, दक्षता के लिए आवश्यक कुछ एल्गोरिदम तकनीक (जैसे गैर-समान वेतन वृद्धि और संतुष्ट कवरिंग बाधाओं को छोड़ना) स्वाभाविक रूप से सीखने के सिद्धांत को स्थापित करने में सक्षम नहीं लगती हैं। इसी तरह, मिश्रित पैकिंग और एलपी को कवर करने के लिए एल्गोरिदम (जैसे ये ) सीखने-सिद्धांत सेटिंग में प्राकृतिक एनालॉग नहीं लगते हैं।

— नील जवान
स्रोत

यह काफी जवाब है !!

— सुरेश वेंकट

धन्यवाद। संभवत: इसे ओवरडाइड करें। प्रतिक्रिया में दिलचस्पी है: इन विचारों को कैसे प्रस्तुत किया जाए, और क्या शामिल किया जाए ...

— नील युवा