क्या यह सर्वविदित है कि कुछ अनुकूलन समस्याएं समय-कदम के बराबर हैं?

19

एक वांछित राज्य और एक नियमितीकरण पैरामीटर को देखते हुए, एक राज्य और एक नियंत्रण खोजने की समस्या पर विचार करें, जो एक कार्यात्मक को कम बाधा के अधीन जहाँ सादगी के लिए हम और बारे में सोच सकते हैं । $y_0$ $\beta \in \mathbb R$ $y$ $u$

\frac{1}{2} ‖ y - y_{0} ‖^{2} + \frac{β}{2} ‖ यू ‖^{2}

$\begin{equation} \frac{1}{2} \| y - y_0 \|^2 + \frac{\beta}{2} \| u \|^2 \end{equation}$

ए y = यू ।

$\begin{equation} Ay = u. \end{equation}$

y, y_{0}, u \in R^{n}

$y, y_0, u \in \mathbb R^n$

A \in R^{n \times n}

$A \in \mathbb R^{n \times n}$

Lagrangian का गठन, स्थिर बिंदुओं की तलाश करना, और नियंत्रण समाप्त करना, $u$ हमें पहले-क्रम की स्थितियाँ मिलती है पहले समीकरण में

\begin{aligned} ए^{टी} λ & = y_{0} - y \\ ए y & = \frac{1}{β} λ \end{aligned}

$\begin{align*} A^T \lambda &= y_0 - y \\ Ay &= \frac{1}{\beta} \lambda \end{align*}$ द्वारा प्रेमफल और दूसरे में

, हम सामान्य समीकरणों को

लिख सकते हैं

हम अंतर समीकरणों के लिए पिछड़े यूलर सन्निकटन के एकल चरणों के रूप में इनकी व्याख्या कर सकते हैं

A

$A$

A^{T}

$A^T$

\begin{aligned} (I + β A A^{T}) λ & = β A y_{0} \\ (I + β A^{T} A) y & = y_{0} \end{aligned}

$\begin{align} (I + \beta A A^T) \lambda &= \beta A y_0 \\ (I + \beta A^T A) y &= y_0 \end{align}$

\begin{aligned} \frac{\partial λ}{\partial b} & = - A A^{T} λ + A y_{0}, λ (0) = 0 \\ \frac{\partial y}{\partial b} & = - A^{T} A y, y (0) = y_{0} \end{aligned}

$\begin{align} \frac{\partial \lambda}{\partial b} &= -A A^T \lambda + A y_0, \quad \lambda(0) = 0 \\ \frac{\partial y}{\partial b} &= -A^T A y, \quad y(0) = y_0 \end{align}$ pseudotimestep

β

$\beta$ ।

मेरा प्रश्न: क्या यह संबंध अच्छी तरह से जाना जाता है? क्या यह टाइमस्टैपिंग या अनुकूलन के मानक उपचारों पर चर्चा की गई है? (मेरे लिए, यह उनके बीच किसी तरह का सहज संबंध प्रदान करता है।)

यह विचार काफी सरल लगता है कि इसे अच्छी तरह से जाना जाता है, लेकिन न तो साहित्य की खोज और न ही लोगों से बात करने से मुझे एक अच्छा स्रोत मिल गया है जहां इस पर चर्चा की जाती है। निकटतम मैंने पाया है कि ओ। शेज़र और जे। वीचर्ट (जे। मठ इमेजिंग विज़न 12 (2000) पीपी। 43-63) का एक पेपर है, जो अमूर्त (!) के पहले वाक्य में कनेक्शन बताता है लेकिन ऐसा नहीं करता है। किसी भी संदर्भ प्रदान करें या किसी भी गहराई में कनेक्शन का पता लगाएं।

आदर्श रूप से मैं एक संदर्भ की तलाश कर रहा हूं जो न केवल कनेक्शन बताता है, बल्कि कुछ परिणामों की भी खोज करता है (उदाहरण के लिए, एक सस्ते फॉरवर्ड यूलर कदम के साथ अनुकूलन समस्या की पूर्व शर्त लगाने की कल्पना कर सकता है)।

optimization reference-request time-integration

— एंड्रयू टी। बार्कर
स्रोत

1

मोटे तौर पर (और जैसा कि आप शायद पहले से ही जानते हैं), छद्म-समय के कदम दृष्टिकोण बीजीय समीकरणों को हल करने के लिए अच्छी तरह से ज्ञात तरीके हैं (जैसे कि केकेटी प्रणाली जो आप वर्णन करते हैं), ओडीई के एक सेट की स्थिर स्थिति को खोजने के रूप में समस्या का कास्टिंग करके। समय चर वास्तव में एक छद्म समय है। हालाँकि, मैं किसी भी विशिष्ट कनेक्शन से संबंधित नहीं हूँ जो कि KKT स्थितियों के एक एकल पिछड़े यूलर कदम से संबंधित है।

— ज्योफ ऑक्सीबेरी

एक तरफ के रूप में, आपको केवल दो ओडीई में से एक को हल करने की आवश्यकता है , क्योंकि आप गणना करने के लिए पहले-क्रम की आवश्यक शर्तों में से एक का उपयोग कर सकते हैं, उदाहरण के लिए, from ।

y

$y$

λ

$\lambda$

— क्रिश्चियन क्लैसन

17

जैसा कि जेड ब्राउन ने उल्लेख किया है, नॉनलाइनियर ऑप्टिमाइज़ेशन में ग्रेडिएंट डिसेंट के बीच कनेक्शन और डायनेमिक सिस्टम को समय पर कदम रखने से कुछ आवृत्ति के साथ फिर से खोजा जाता है (जाहिर है, क्योंकि यह गणितीय मन से बहुत संतोषजनक कनेक्शन है क्योंकि यह दो अलग-अलग क्षेत्रों को जोड़ता है)। हालांकि, यह शायद ही कभी एक उपयोगी संबंध बन जाता है, विशेष रूप से आपके द्वारा वर्णित संदर्भ में।

उलटा समस्याओं में, लोगों को (बीमार उत्पन्न) ऑपरेटर समीकरण को हल करने में रुचि रखने वाले कर रहे हैं के साथ की सीमा में नहीं । (आपकी इष्टतम नियंत्रण समस्या को और । के साथ इसके एक उदाहरण के रूप में देखा जा सकता है ।) कई नियमितीकरण रणनीतियों (जैसे कि Tikhonov या Landweber) को एक छद्म समय के रूप में व्याख्या किया जा सकता है। एक निश्चित वर्ग का कदम। तब यह विचार है कि पैरामीटर के लिए कुछ (अनुकूली, एक पश्च) विकल्प नियमों को प्राप्त करने के लिए नियमितीकरण पैरामीटर की व्याख्या का उपयोग चरण लंबाई के रूप में किया जाता है - व्युत्क्रम समस्याओं में एक मौलिक समस्या - और संभवतः कई छद्म समय चरणों को बनाने के लिए। सही, अनियमित समाधान (इसी तरह) के लिए संपर्क करें $F(u)=y^\delta$ $y^\delta$ $F$ $F=A^{-1}$ $y^\delta = y_0$ संख्यात्मक निरंतरता )। इसे कभी-कभी निरंतर नियमितीकरण कहा जाता है , और आमतौर पर स्तर सेट विधियों के संदर्भ में चर्चा की जाती है; उदाहरण के लिए, Kaltenbacher, Scherzer, Neubauer का अध्याय 6.1, Nonlinear Ill-Posed Problems (de Gruyter, 2008) के लिए Iterative Regularization Methods ।

एक दूसरा संदर्भ यह विचार बार-बार क्रॉप करता है कि अनुकूलन है: यदि आप , लिए एक वंश चरण तो आप इसे डायनेमिक सिस्टम लिए आगे यूलर स्टेप के रूप में व्याख्या कर सकते हैं जैसा कि जेड ब्राउन ने कहा, यह पहली नज़र में केवल बहुत ही आश्चर्यजनक अवलोकन नहीं देता है जो इस पद्धति को परिवर्तित करता है, बशर्ते कि छद्म समय के चरण काफी छोटे हैं। दिलचस्प हिस्सा तब आता है जब आप गतिशील प्रणाली को देखते हैं और अपने आप से पूछते हैं कि तथाकथित ढाल प्रवाह के निरंतर समाधान के क्या गुण हैं $\min_x f(x)$

{एक्स}^{क + 1} = {एक्स}^{क} - γ_{क} \nabla च ({एक्स}^{क}),

$x^{k+1} = x^k - \gamma_k \nabla f(x^k),$

\dot{एक्स} (टी) = - \nabla च (एक्स (टी)), एक्स (0) = {एक्स}^{0} ।

$\dot x(t) = -\nabla f(x(t)),\qquad x(0) = x^0.$

γ_{k}

$\gamma_k$

x (t)

$x(t)$ (या होना चाहिए), ढाल वंश से स्वतंत्र है, और है कि मानक Euler की तुलना में अधिक उपयुक्त समय कदम (और इसलिए अनुकूलन) के तरीकों के लिए नेतृत्व नहीं हो सकता है। मेरे सिर के ऊपर से कुछ उदाहरण:

क्या एक प्राकृतिक कार्य स्थान है जिसमें ढाल प्रवाह रहता है? यदि ऐसा है, तो आपके ग्रेडिएंट कदम को उसी स्थान से लिया जाना चाहिए (यानी, विवेकाधिकार अनुरूप होना चाहिए)। यह, उदाहरण के लिए, विभिन्न आंतरिक उत्पादों (कभी-कभी सोबोलेव ग्रेडिएटर्स कहा जाता है ) के संबंध में रेज़ेज़ के अभ्यावेदन की गणना करने के लिए , और व्यवहार में, पूर्वगामी पुनरावृत्तियों के लिए जो बहुत तेज़ी से परिवर्तित होते हैं।
हो सकता है कि का संबंध किसी सदिश स्थान से नहीं, बल्कि कई गुना (जैसे, सममित सकारात्मक निश्चित मैट्रिक्स) से हो, या क्रमिक प्रवाह से का एक निश्चित मानदंड संरक्षित होना चाहिए । इस मामले में, आप संरचना-संरक्षण टाइम-स्टेपिंग योजनाओं को लागू करने का प्रयास कर सकते हैं (उदाहरण के लिए, एक उपयुक्त लाई समूह या एक ज्यामितीय इंटीग्रेटर के संबंध में पुल-बैक शामिल करना)। $x$ $x$
यदि अलग नहीं है, लेकिन उत्तल है, तो आगे का Euler कदम एक सबग्रेडिएंट डिसेंट विधि से मेल खाता है जो स्टेप साइज प्रतिबंध के कारण बहुत धीमा हो सकता है। दूसरी ओर, एक निहित यूलर कदम समीपस्थ बिंदु विधि से मेल खाता है , जिसके लिए इस तरह के कोई प्रतिबंध लागू नहीं होते हैं (और जो इस प्रकार बहुत लोकप्रिय हो गए हैं, जैसे, छवि प्रसंस्करण)। $f$
एक समान नस में, ऐसे तरीकों को एक्सट्रपलेशन चरणों द्वारा काफी तेज किया जा सकता है। इनको प्रेरित करने का एक तरीका यह है कि मानक प्रथम-क्रम विधियाँ कई छोटे कदमों को न्यूनतम करने के करीब लाने से ग्रस्त हैं, क्योंकि ढाल दिशाओं "दोलन" (मानक चित्रण के लिए क्यों संयुग्म ग्रेडिएटर्स स्टीपेस्ट डिसेंट करते हैं)। इसे , कोई पहले क्रम की डायनेमिक प्रणाली को हल न करके पुनरावृत्ति को "कम" कर सकता है, लेकिन एक दूसरे क्रम वाले सिस्टम: उपयुक्त रूप से चुने गए लिए । उचित विवेक के साथ, यह एक पुनरावृत्ति ( पॉलिक की भारी गेंद विधि के रूप में जाना जाता है ) की ओर जाता है
$ए_{1} \ddot{एक्स} (टी) + ए_{2} \dot{एक्स} (टी) = - \nabla च (एक्स (टी))$ $a_1 \ddot x(t) + a_2 \dot x(t) = -\nabla f(x(t))$ $a_1,a_2$ ${एक्स}^{क + 1} = {एक्स}^{क} - γ_{क} \nabla च ({एक्स}^{क}) + α_{क} ({एक्स}^{क} - {एक्स}^{क - 1})$ $x^{k+1} = x^k - \gamma_k \nabla f(x^k) + \alpha_k (x^k - x^{k-1})$ (साथ के आधार पर )। समरूप बिंदु तरीकों के लिए समान विचार मौजूद हैं, उदाहरण के लिए, पेपर http://arxiv.org/pdf/1403.3522.pdf डिर्क लोरेंज और थॉमस पॉक द्वारा। $\gamma_k,\alpha_k$ $a_1,a_2$

(मुझे अपने ज्ञान में इसे जोड़ना चाहिए, इनमें से ज्यादातर मामलों में एक गतिशील प्रणाली के रूप में व्याख्या व्युत्पत्ति या एल्गोरिथ्म के अभिसरण प्रमाण के लिए कड़ाई से आवश्यक नहीं थी; कोई यह तर्क दे सकता है कि "निहित बनाम स्पष्ट" या लाई डेरिवेटिव जैसे विचार वास्तव में डायनेमिक सिस्टम या ग्रेडिएंट डीसेंट मेथड्स की तुलना में अधिक मौलिक हैं। फिर भी, किसी समस्या को देखने के लिए किसी अन्य दृष्टिकोण को देखने के लिए कभी भी दर्द नहीं होता है।)

संपादित करें: मैं सिर्फ दूसरे संदर्भ से एक उत्कृष्ट उदाहरण पर ठोकर खाई, जहां ODE व्याख्या का उपयोग नस्टेरोव के एक्सट्रैग्रैडिएंट विधि के गुणों को कम करने और सुधार का सुझाव देने के लिए किया जाता है: http://arxiv.org/pdf/1503.01243.pdf (ध्यान दें कि यह भी है) जेड ब्राउन के बिंदु का एक उदाहरण, जिसमें लेखक अनिवार्य रूप से पॉलीक के एल्गोरिथ्म के बारे में पता चले बिना ऊपर के बिंदु 4 को फिर से खोज लेते हैं।)

EDIT 2: और एक संकेत के रूप में कि आप इसे कितनी दूर ले जा सकते हैं, http://arxiv.org/pdf/1509.03616v1.pdf के पेज 5 देखें ।

— ईसाई क्लैसन
स्रोत

मैं इस उत्तर को स्वीकार कर रहा हूं क्योंकि दूसरा पैराग्राफ सबसे सीधे उस प्रश्न का उत्तर देता है जो मैं पूछने की कोशिश कर रहा था, लेकिन मुझे जेड ब्राउन का उत्तर भी पसंद आया।

— एंड्रयू टी। बार्कर

13

हालांकि मैंने आपके द्वारा लिखे गए सटीक फॉर्मूलेशन को नहीं देखा है, मैं उन वार्ताओं को देखता रहता हूं जिनमें लोग कुछ क्षणिक प्रणाली को एकीकृत करने के लिए "रिडिजाइन" करते हैं, और एक एल्गोरिथ्म को लिखने के लिए आगे बढ़ते हैं जो बीजगणितीय-समतुल्य एक रूप में या मौजूदा ग्रेडिएंट डिसेंट या न्यूटन जैसी विधि में से एक और किसी और का हवाला देने में विफल। मुझे लगता है कि यह बहुत उपयोगी नहीं है क्योंकि निष्कर्ष मूल रूप से है कि "जब तक आप छोटे पर्याप्त कदम उठाते हैं, विधि अंततः एक स्थानीय न्यूनतम में परिवर्तित हो जाती है"। खैर, 2014 फिलिप फिलिप के कागज की 45 वीं वर्षगांठ को दर्शाता है कि यह कैसे राजसी तरीके से करना है। स्यूडोट्रांसेन्ट निरंतरता और लेवेनबर्ग-मार्क्वार्ड जैसे संबंधित तरीकों से क्यू-द्विघात या क्यू-सुपरलाइनियर अभिसरण प्राप्त करने के लिए अच्छा सिद्धांत भी है।

यदि आप एक गणितज्ञ से 600 से अधिक कागजात के साथ बीजीय समीकरणों को हल करने के लिए न्यूटन की तरह सूत्रीकरण (यानी, शास्त्रीय छद्मपत्रीय निरंतरता) का उपयोग करके इस पुनर्निर्देशन का एक उदाहरण चाहते हैं (तो शायद वह आपको दिलचस्प साबित करेगा), "देखें डायनामिकल सिस्टम विधि "एजी राम द्वारा [1]।

यदि एक क्षणिक प्रणाली पर विचार करके प्राप्त अंतर्ज्ञान व्यावहारिक एल्गोरिदम के कारण होता है जो या तो तेज या अधिक विश्वसनीय था, मुझे लगता है कि हम उस विषय पर अत्यधिक उद्धृत लेख देखेंगे। मुझे लगता है कि यह कोई रहस्य नहीं है कि नोकेडल और राइट में 13000 से अधिक उद्धरण हैं जबकि राम की पुस्तक में लगभग 80 (ज्यादातर आत्म-उद्धरण) हैं।

[१] मैं आपको सलाह दे सकता हूं कि प्रो। राम को सूचित न करें कि उनका DSM बीजगणित के बराबर है जो दशकों से अनगिनत इंजीनियरिंग पैकेजों में है या आप खुद को कमरे से बाहर निकाल सकते हैं। #gradstudentmemories

— जेड ब्राउन
स्रोत

3

यह देखने के लिए और अधिक दिलचस्प हो सकता है कि आप उसे बताएं कि अब, जेड!

— बिल बर्थ

0

यदि ODE विधियां अनुकूलन में योगदान कर सकती हैं, तो क्या यह दिखाने के लिए वास्तव में सरल उदाहरण समस्या है?
एक पुआल आदमी: एक ODE सॉल्वर है जो एक उचित काम करता है
$\qquad \dot{ x } = - \nabla f( x )$
$\quad \ddot{ x } = \beta \dot{ x } - \alpha \nabla f( x ) \ \$
$f$

व्यवहार में, "बहुत बड़े" कदम "बहुत छोटे" की तुलना में बहुत अधिक समस्याग्रस्त हैं - दोलन गड़बड़ हैं।
मैंने भोलेपन से सोचा था कि नियंत्रण सिद्धांत मदद कर सकता है। संख्यात्मक व्यंजनों पी। 915 में
पीआई अनुकूली नियंत्रण ओडीई के लिए नियंत्रण का वर्णन करता है , लेकिन मुझे नहीं पता कि यह व्यवहार में उपयोग किया जाता है।

— Denis
स्रोत

ऐसा प्रतीत होता है कि आप उत्तर के रूप में एक नया प्रश्न पोस्ट कर रहे हैं ... दिए गए उत्तरों के लिए अलग-अलग प्रश्न या टिप्पणी में तात्कालिक रूप से संबंधित प्रश्न पोस्ट किए जाने चाहिए।

— पॉल

@Paul, क्या इसका कोई मतलब है? यदि हां, तो क्या आप एक नए प्रश्न के लिए शीर्षक सुझा सकते हैं?

— डेनिस

मैं भ्रमित हूं ... मैं गलत हो सकता हूं, लेकिन ऐसा लगता है कि आपकी प्रतिक्रिया वास्तव में ओपी का सवाल नहीं है। वास्तव में आप क्या संदेश देना चाह रहे हैं और यह मूल प्रश्न से कैसे संबंधित है?

— पॉल

@Paul, क्षमा करें मैं स्पष्ट नहीं हूं। जैसा कि मैंने समझा कि यह एक विशेष अनुकूलन समस्या और समय-कदम उर्फ ODE सॉल्वर के बीच संबंध के लिए कहता है। क्रिस्चियन क्लैसन क्रमिक वंश और एक विशेष ODE सॉल्वर (फॉरवर्ड-यूलर) के बीच सीधा संबंध बताते हैं। मैं टिप्पणी करता हूं, एक साधारण परीक्षण फ़ंक्शन f () है जो एक ODE सॉल्वर को f (न्यूनतम) की ओर बढ़ते हुए दिखाता है ?

— डेनिस