समन्वित वंश विधियों का सैद्धांतिक अध्ययन

Question

मैं अनुकूलन के लिए सांख्यिकी पर कुछ पाठ्यक्रम सामग्री तैयार कर रहा हूं, और समन्वित वंश विधियों को देख रहा हूं। सेटिंग यहाँ एक मल्टीवेरेट फंक्शन जिसे आप ऑप्टिमाइज़ करना चाहते हैं। f के पास ऐसी संपत्ति है जो किसी एकल चर तक ही सीमित है, इसे अनुकूलित करना आसान है। तो निर्देशांक के माध्यम से साइकिल द्वारा वंश आय को समन्वित करें, सभी को ठीक करना लेकिन चुने हुए एक और उस समन्वय के साथ न्यूनतम करना। आखिरकार, सुधार थोड़ा रुक जाता है, और आप समाप्त कर देते हैं।$f$$f$

मेरा प्रश्न है: क्या समन्वित वंश विधियों का कोई सैद्धांतिक अध्ययन है जो अभिसरण दर, और गुणों के बारे में बात करता है जो विधि को अच्छी तरह से काम करता है, और इसी तरह? जाहिर है, मैं पूरी तरह से सामान्य उत्तरों की उम्मीद नहीं कर रहा हूं, लेकिन जवाब देता है कि उन मामलों को रोशन करता है जहां हेयुरिस्टिक अच्छा करता है।$f$

एक तरफ: बारी अनुकूलन के लिए इस्तेमाल तकनीक -means वंश समन्वय का एक उदाहरण के रूप में देखा जा सकता है, और फ्रैंक-वोल्फ एल्गोरिथ्म संबंधित लगता है (लेकिन ढांचे का एक प्रत्यक्ष उदाहरण नहीं है)$k$

Comments

कम से कम जैसा कि केन क्लार्कसन के पेपर kenclarkson.org/sga/p.pdf में वर्णित है , फ्रैंक-वोल्फ बहुत समान है। फर्क सिर्फ इतना है कि परिवार कल्याण में आप नीचे उतरने के लिए सबसे अच्छा समन्वय चुनते हैं। इसमें वही स्पार्सिटी प्रॉपर्टी है जिसमें मैट का उल्लेख है।

— साशो निकोलेव

सेबेस्टियन ब्यूबेक में उत्तल अनुकूलन और विभिन्न तरीकों के लिए पुनरावृत्ति जटिलता पर एक हालिया मोनोग्राफ है। देखने के लिए उपयोगी जगह हो सकती है। blogs.princeton.edu/imabandit/2014/05/16/…

— चन्द्र चकुरी

Answer 1

(नोटों को संपादित करें: मैंने इसकी लंबाई को कम करने के बाद इसे पुनर्गठित किया है।)

समन्वय वंश पर साहित्य नीचे ट्रैक करने के लिए थोड़ा मुश्किल हो सकता है। इसके कुछ कारण इस प्रकार हैं।

1. $l^p$

2. नामकरण मानक नहीं है। यहां तक ​​कि "स्टीपेस्ट डिसेंट" शब्द भी मानक नहीं है। आपके पास "चक्रीय समन्वय वंश", "समन्वय वंश", "गॉस-सीडेल", "गॉस-साउथवेल" जैसे शब्दों में से किसी को भी प्राप्त करने में सफलता मिल सकती है। उपयोग सुसंगत नहीं है।

3. $n$$n$

$\mathcal O(\ln (1/\epsilon))$$l^p$

प्रतिबन्ध। मजबूत उत्तलता के बिना, आपको थोड़ा सावधान रहना शुरू करना होगा। आपने बाधाओं के बारे में कुछ नहीं कहा, और इस तरह सामान्य रूप से, असीम प्राप्य नहीं हो सकता है। मैं बाधाओं के विषय पर संक्षेप में कहूंगा कि मानक दृष्टिकोण (मूल तरीकों के साथ) अपने बाधा पर प्रोजेक्ट करने के लिए व्यवहार्यता बनाए रखने के लिए प्रत्येक पुनरावृत्ति सेट करना है, या बाधाओं को अपने उद्देश्य फ़ंक्शन में रोल करने के लिए उपयोग करना है। पूर्व के मामले में, मुझे नहीं पता कि यह समन्वित वंश के साथ कैसे खेलता है; उत्तरार्द्ध के मामले में, यह समन्वित वंश के साथ ठीक काम करता है, और इन बाधाओं को दृढ़ता से उत्तल किया जा सकता है।

विशेष रूप से निर्देशन के तरीकों को समन्वित करने के बजाय, प्रोजेक्ट करने के बजाय, कई लोग बस समन्वय अद्यतन को व्यवहार्यता बनाए रखते हैं: उदाहरण के लिए यह फ्रैंक-वोल्फ एल्गोरिथ्म और इसके वेरिएंट (यानी, एसडीपी को हल करने के लिए इसका उपयोग करके) के मामले में ठीक है।

मैं यह भी संक्षेप में बताऊंगा कि SVM के लिए SMO एल्गोरिदम को एक समन्वित वंश विधि के रूप में देखा जा सकता है, जहाँ आप एक साथ दो चर अपडेट कर रहे हैं, और ऐसा करते समय एक व्यवहार्यता बाधा बनाए रख सकते हैं। इस पद्धति में चरों की पसंद विधमान है, और इसलिए गारंटी वास्तव में चक्रीय गारंटी है। मुझे यकीन नहीं है कि यह कनेक्शन मानक साहित्य में दिखाई देता है; मैंने एंड्रयू Ng के पाठ्यक्रम नोट्स से एसएमओ पद्धति के बारे में सीखा, और उन्हें काफी साफ पाया।

$n$

$\mathcal O(\ln(1/\epsilon))$

समन्वय वंश पर कुछ और हालिया परिणाम हैं, मैंने arXiv पर सामान देखा है। इसके अलावा, लू और tseng कुछ नए कागजात हैं। लेकिन यह मुख्य सामान है।

$\sum_{i=1}^m g(\langle a_i, \lambda\rangle)$$g$$(a_i)_1^m$$\lambda$$\exp(1/\epsilon^2)$$\mathcal O(1/\epsilon)$

सटीक अद्यतन के साथ समस्या। साथ ही, यह अक्सर ऐसा होता है कि आपके पास एक बंद प्रपत्र एकल समन्वय अपडेट नहीं होता है। या सटीक समाधान मौजूद नहीं हो सकता है। लेकिन सौभाग्य से, बहुत सारे और बहुत सारे लाइन खोज तरीके हैं जो मूल रूप से सटीक समाधान के रूप में समान गारंटी प्राप्त करते हैं। इस सामग्री को मानक नॉनलेयर प्रोग्रामिंग ग्रंथों में पाया जा सकता है, उदाहरण के लिए बर्टसेकस या नोकेडल एंड राइट में ऊपर उल्लेख किया गया है।

अपने दूसरे पैराग्राफ को विज़ करें: जब ये अच्छी तरह से काम करते हैं। सबसे पहले, समन्वित वंश के लिए ढाल कार्य के लिए उपर्युक्त विश्लेषणों में से कई। तो हमेशा समन्वित वंश का उपयोग क्यों न करें? इसका उत्तर यह है कि कई समस्याओं के लिए जहां ढाल मूल लागू है, आप न्यूटन विधियों का भी उपयोग कर सकते हैं, जिसके लिए बेहतर अभिसरण साबित हो सकता है। मैं समन्वय वंश के साथ न्यूटन लाभ प्राप्त करने का एक तरीका नहीं जानता। इसके अलावा, न्यूटन विधियों की उच्च लागत को क्वासिनवटन अपडेट (उदाहरण के लिए एलबीएफजीएस) के साथ कम किया जा सकता है।

$l^0$$k$$k$$k$$k$$f$

Comments

वाह। यह वास्तव में व्यापक जवाब है। धन्यवाद !

— सुरेश वेंकट

Answer 2

मैं यहाँ देख रहा हूँ, हमने इस क्षेत्र में कुछ काम किया है:

http://arxiv.org/abs/1107.2848

चियर्स

पीटर

Answer 3

हमने अभी arXiv ( http://arxiv.org/abs/1201.1214 ) पर एक पेपर डाला है, जो अनुकूलन समस्याओं के लिए "सांख्यिकीय एल्गोरिदम" के लिए सामान्य निम्न सीमा साबित करता है, प्रत्येक "समस्या" के आधार पर इसकी अपनी निम्न सीमा होती है विभिन्न गुण।

समन्वित वंश (और बहुत कुछ और जो हम सोच सकते हैं) हमारे ढांचे में एक सांख्यिकीय एल्गोरिथ्म के रूप में देखे जा सकते हैं, इसलिए उम्मीद है कि इस पेपर में कुछ परिणाम हैं जो आपके लिए रुचि के होंगे।

Comments

ठंडा। इस पर गौर करेंगे।

— सुरेश वेंकट

Answer 4

ध्यान दें कि अनुकूलन में, "अभिसरण दर" का अर्थ आमतौर पर स्पर्शोन्मुखी व्यवहार होता है। यही है, दर केवल इष्टतम समाधानों के पड़ोस पर लागू होती है। उस अर्थ में, लुओ और त्सेंग ने पेपर में "उत्तल विभेदी न्यूनता के लिए समन्वय वंश विधि के अभिसरण पर" कुछ गैर-दृढ़ता से उत्तल उद्देश्य कार्यों के लिए रैखिक अभिसरण दर साबित की।

गैर-स्पर्शोन्मुख अभिसरण दर, उर्फ ​​"पुनरावृत्ति जटिलता", सामान्यतः मिनिमाइज़िंग एल्गोरिदम की संख्या को बाउंड करने में अधिक उपयोगी है। जोरदार उत्तल उद्देश्य कार्यों के लिए, चक्रीय समन्वित वंश तरीकों की पुनरावृत्ति जटिलता पहले से ही लुओ और त्सेंग की त्रुटि सीमा और व्यवहार्य वंश विधियों के अभिसरण विश्लेषण में दिखाई गई है: यदि वैश्विक त्रुटि का उपयोग किया जाता है तो एक सामान्य दृष्टिकोण । गैर-दृढ़ता से उत्तल समस्याओं के लिए, हमारे पास कॉन्टेक्स ऑप्टिमाइज़ेशन के लिए व्यवहार्य वंश विधियों की Iteration जटिलता में कुछ नए परिणाम हैं। विशिष्ट होने के लिए, हमने चक्रीय समन्वय साधना विधियों के लिए पुनरावृति जटिलता को दिखाया है जैसे कि एसवीएम और गॉस-सेडेल विधियों के दोहरे रूप। इसके अलावा, परिणाम ग्रेडिएंट वंश और दोस्तों सहित अन्य व्यवहार्य वंश तरीकों को भी कवर करते हैं।