Pde- विवश अनुकूलन के लिए सहायक विधि की लागत को समझना

11

मैं यह समझने की कोशिश कर रहा हूं कि एक पीडीई विवश अनुकूलन के लिए आसन्न-आधारित अनुकूलन विधि कैसे काम करती है। विशेष रूप से, मैं यह समझने की कोशिश कर रहा हूं कि समस्याओं के लिए आसन्न विधि अधिक कुशल क्यों है जहां डिजाइन चर की संख्या बड़ी है, लेकिन "समीकरणों की संख्या छोटी है"।

मैं क्या समझता हूँ:

निम्न PDE पर विचार करें अनुकूलन समस्या के कारण:

min_{β} I (β, u (β)) s . t . R (u (β)) = 0

$\min_\beta \text{ } I(\beta,u(\beta))\\ s.t. R(u(\beta))=0$

जहाँ वेक्टर डिज़ाइन वेरिएबल का एक (पर्याप्त रूप से निरंतर) वस्तुनिष्ठ कार्य करता और फ़ील्ड वेरिएबल का वेक्टर होता है जो डिज़ाइन चर पर निर्भर करता है, और पीडीई का अवशिष्ट रूप है। $I$ $\beta$ $u(\beta)$ $R(u)$

स्पष्ट रूप से, हम I और R के पहले बदलाव कर सकते हैं

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u$

δ R = \frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u = 0

$\delta R = \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u = 0$

लैग्रेंज मल्टीप्लायरों एक वेक्टर का परिचय , उद्देश्य फ़ंक्शन में भिन्नता के रूप में लिखा जा सकता है $\lambda$

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u + λ^{T} [\frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u]

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u + \lambda^T\left[ \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u\right]$

शब्दों को बदलते हुए, हम लिख सकते हैं:

δ I = [\frac{\partial I}{\partial β} + λ^{T} \frac{\partial R}{\partial β}] δ β + [\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u}] δ u

$\delta I = \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta\beta + \left[\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}\right]\delta u$

इस प्रकार, अगर हम लिए हल करने में सक्षम हैं जैसे कि $\lambda$

\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0 (adjoint equation)

$\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}=0 \text{ (adjoint equation)}$

फिर ढाल का मूल्यांकन किया गया है केवल डिज़ाइन चर संदर्भ में । $\delta I= \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta \beta$ $\beta$

इस प्रकार, एक निकटता आधारित अनुकूलन एल्गोरिथ्म निम्नलिखित चरणों में लूप करेगा:

वर्तमान डिज़ाइन चर को देखते हुए $\beta$
फ़ील्ड चर (PDE से) के लिए हल करें $u$
लैग्रेंज मल्टीप्लायरों ( ( निकटवर्ती समीकरण से) के लिए हल करें $\lambda$
ग्रेडिएंट्स गणना करें $\frac{\partial I}{\partial \beta}$
अद्यतन डिजाइन चर $\beta$

मेरा प्रश्न

यह स्थगन 'चाल' उस मामले में प्रति प्रवाह के अनुकूलन की लागत में सुधार कैसे करता है, जहां डिजाइन चर की संख्या बड़ी है? मैंने सुना है कि सहायक विधि के लिए ढाल मूल्यांकन की लागत डिजाइन चर की संख्या के 'स्वतंत्र' है। लेकिन यह वास्तव में कितना सही है?

मुझे यकीन है कि कुछ बहुत स्पष्ट है कि मैं किसी तरह से देख रहा हूँ।

optimization pde

— पॉल
स्रोत

3

वैसे, लैगरेंज गुणक को आमतौर पर उद्देश्य कार्यात्मक में जोड़ा जाता है, भिन्नता नहीं; इस प्रकार । से शून्य के संबंध में व्युत्पन्न को समीपवर्ती समीकरण में सेट करता है, और इस (और राज्य समीकरण के समाधान ) को व्युत्पन्न में संबंध में ढाल ढाल देता है। यदि आप पीडीई के कमजोर निर्माण के साथ शुरू करते हैं, तो चीजें और भी सरल हो जाती हैं: बस टेस्ट फ़ंक्शन के स्थान पर लैगरेंज गुणक डालें। कहीं भी मजबूत रूप या आंशिक एकीकरण की आवश्यकता नहीं है।

min_{u, β} max_{λ} I (u, β) + λ^{T} R (u, β)

$\min_{u,\beta}\max_\lambda I(u,\beta) + \lambda^T R(u,\beta)$

u

$u$

u

$u$

R (u, β) = 0

$R(u,\beta)=0$

β

$\beta$

— क्रिश्चियन क्लैसन

1

किसी भी सिमुलेशन का सबसे महंगा हिस्सा हल चरण है। समीपवर्ती का उपयोग करके आप दो हिस्सों में ढाल प्राप्त करते हैं, परिमित अंतर की तुलना में बहुत सस्ता है जहां आपको कम से कम n + 1 हल की आवश्यकता होती है, अपने मॉडल में मुफ्त मापदंडों की संख्या होने के नाते।

— स्टालिक

10

यह स्थगन 'चाल' उस मामले में प्रति प्रवाह के अनुकूलन की लागत में सुधार कैसे करता है, जहां डिजाइन चर की संख्या बड़ी है?

मैं एक रैखिक बीजगणितीय परिप्रेक्ष्य से लागत के बारे में सोचता हूं। ( स्टीफन जी। जॉनसन द्वारा इन नोटों को देखें , जो मुझे लग्र गुणक दृष्टिकोण से अधिक सहज लगता है)। सीधे दृष्टिकोण संवेदनशीलता के लिए हल करने के लिए राशि:

\begin{aligned} \frac{\partial u}{\partial β} = - {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β} \end{aligned}

$\begin{align} \frac{\partial{u}}{\partial{\beta}} = -\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}} \end{align}$

जिसमें वेक्टर में प्रत्येक पैरामीटर के लिए एक रैखिक प्रणाली को हल करना शामिल है , फिर मूल्यांकन करना $\beta$

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} + \frac{\partial I}{\partial u} \frac{\partial u}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} + \frac{\partial{I}}{\partial{u}}\frac{\partial{u}}{\partial{\beta}}, \end{align}$

जहाँ कुल व्युत्पन्न को दर्शाता है, और आंशिक व्युत्पन्न को दर्शाता है। $\mathrm{d}$ $\partial$

निकटवर्ती नोटों का कहना है कि

\begin{aligned} \frac{घ मैं}{घ β} = \frac{\partial मैं}{\partial β} - \frac{\partial मैं}{\partial यू} {(\frac{\partial आर}{\partial यू})}^{- 1} \frac{\partial आर}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} - \frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}}, \end{align}$

इसलिए निकटवर्ती चर (लग्र गुणक) द्वारा परिभाषित किया जा सकता है $\lambda$

\begin{aligned} - \frac{\partial मैं}{\partial यू} {(\frac{\partial आर}{\partial यू})}^{- 1} = λ^{टी}, \end{aligned}

$\begin{align} -\frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1} = \lambda^{T}, \end{align}$

जो समीपवर्ती समीकरण से मेल खाता है

\begin{aligned} \frac{\partial मैं}{\partial यू} + λ^{टी} \frac{\partial आर}{\partial यू} = 0। \end{aligned}

$\begin{align} \frac{\partial{I}}{\partial{u}} + \lambda^{T}\frac{\partial{R}}{\partial{u}} = 0. \end{align}$

शर्तों के इस पुनर्संरचना के लिए प्रत्येक पैरामीटर के लिए रैखिक समाधान के बजाय केवल एक रैखिक समाधान की आवश्यकता होती है, जो कई पैरामीटर मामले के लिए आसन्न मूल्यांकन को सस्ता बनाता है।

मैंने सुना है कि सहायक विधि के लिए ढाल मूल्यांकन की लागत डिजाइन चर की संख्या के 'स्वतंत्र' है। लेकिन यह वास्तव में कितना सही है?

यह पूरी तरह से स्वतंत्र नहीं है; वर्तमान में मूल्यांकन की लागत और मापदंडों की संख्या के साथ बढ़ेगी। लीनियर सॉल्व, हालांकि, तब भी एक ही आकार का होगा, जब तक कि का आकार नहीं बदलता। धारणा यह है कि फ़ंक्शन मूल्यांकन की तुलना में सोल्व बहुत अधिक महंगे हैं। $(\partial{I}/\partial{\beta})$ $(\partial{R}/\partial{\beta})$ $u$

— ज्योफ ऑक्सबेरी
स्रोत

8

संक्षेप में, लाभ कम उद्देश्य की गणना डेरिवेटिव के लिए है कि इस तथ्य से आता , तुम सच के व्युत्पन्न पता करने की जरूरत नहीं है सम्मान के साथ करने के लिए एक अलग वस्तु के रूप में, लेकिन इसका केवल वह हिस्सा जो में भिन्नता की ओर जाता है । $I(\beta,u(\beta))$ $u(\beta)$ $\beta$ $I(\beta,u(\beta))$

मुझे एक संकेतन मैं थोड़ा के साथ अधिक सहज कर रहा हूँ करने के लिए स्विच करते हैं: ( किया जा रहा है डिजाइन वेरिएबल, स्टेट वेरिएबल है, और ऑब्जेक्टिव है)। मान लें कि निहित फ़ंक्शन प्रमेय को लागू करने के लिए काफी अच्छा है, इसलिए समीकरण में एक अद्वितीय समाधान जो कि संबंध में निरंतर भिन्न है , और व्युत्पन्न को ( और का आंशिक व्युत्पन्न किया जा रहा है के समाधान द्वारा दिया गया है। ।

\underset{y, यू}{मिनट} जे (y, यू) का विषय है इ (y, यू) = 0

$\min_{y,u} J(y,u) \quad\text{subject to}\quad e(y,u)=0$

u

$u$

y

$y$

J

$J$

e (y, u)

$e(y,u)$

e (y, u) = 0

$e(y,u)=0$

y (u)

$y(u)$

u

$u$

y^{'} (u)

$y'(u)$

\begin{matrix} (1) & इ_{y} (y (यू), यू) y^{'} (यू) + इ_{यू} (y (यू), यू) = 0 \end{matrix}

$e_y(y(u),u)y'(u) + e_u(y(u),u) = 0\tag{1}$

e_{y}

$e_y$

e_{u}

$e_u$

इसका मतलब है कि आप कम किए गए ऑब्जेक्टिव को परिभाषित कर सकते हैं , जो कि अलग-अलग भी है (यदि है)। ग्रेडिएंट को चिह्नित करने का एक तरीका दिशात्मक डेरिवेटिव के माध्यम से है (उदाहरण के लिए, डिज़ाइन स्थान के आधार पर सभी आंशिक डेरिवेटिव की गणना करें)। यहाँ, दिशा में दिशात्मक व्युत्पन्न श्रृंखला नियम द्वारा यदि अच्छा है, तो गणना करने के लिए केवल एक ही मुश्किल चीज है दी गई । यह गुणा करके किया जा सकता है के साथ $j(u):=J(y(u),u)$ $J(y,u)$ $\nabla j(u)$ $h$

\begin{matrix} (2) & {जे}^{'} (यू; ज) = ⟨ {जे}_{y} (y (यू), यू), y^{'} (यू) ज ⟩ + ⟨ {जे}_{यू} (y (यू), यू), ज ⟩ । \end{matrix}

$j'(u;h) = \langle J_y(y(u),u),y'(u)h \rangle + \langle J_u(y(u),u),h\rangle.\tag{2}$

J

$J$

y^{'} (u) h

$y'(u)h$

h

$h$

(1)

$(1)$

h

$h$ (जिसे निहित फ़ंक्शन प्रमेय अनुमति देता है) के लिए दाईं ओर से हल करना , यानी, कंप्यूटिंग और इस अभिव्यक्ति को में प्लग करना । पीडीई-विवश अनुकूलन में, यह डिजाइन स्थान के हर आधार वेक्टर के लिए एक रैखिक पीडीई को हल करने के लिए है।

y^{'} (u) h

$y'(u)h$

\begin{matrix} (3) & [y^{'} (यू) ज] = इ_{y} (y (यू), यू)^{- 1} [इ_{यू} (y (यू), यू) ज] \end{matrix}

$[y'(u)h] = e_y(y(u),u)^{-1} [e_u(y(u),u)h]\tag{3}$

(2)

$(2)$

h

$h$

हालाँकि, यदि हमें एक ऑपरेटर ऐसा लगता है कि तो यह वांछित ढाल होना चाहिए। देखते हुए , हम (साथ adjoint ऑपरेटर जा रहा है), इसलिए हम सभी गणना करने की जरूरत है । इसका उपयोग करते हुए , यह , अर्थात, कंप्यूटिंग का उपयोग करके किया जा सकता है और सेटिंग विवश अनुकूलन में, $\nabla j$

{जे}^{'} (यू; ज) = ⟨ \nabla जे, ज ⟩ सबके लिए ज,

$j'(u;h) = \langle \nabla j,h\rangle\qquad \text{for all }h,$

(1)

$(1)$

⟨ {जे}_{y} (y (यू), यू), y^{'} (यू) ज ⟩ = ⟨ y^{'} (यू)^{*} {जे}_{y} (y (यू), यू), ज ⟩

$\langle J_y(y(u),u),y'(u)h \rangle = \langle y'(u)^*J_y(y(u),u),h \rangle$

y^{'} (u)^{*}

$y'(u)^*$

y^{'} (u)^{*} j_{y} (y (u), u)

$y'(u)^*j_y(y(u),u)$

(A B)^{*} = B^{*} A^{*}

$(AB)^* = B^* A^*$

(3)

$(3)$

λ : = इ_{y} (y (यू), यू)^{- *} {जे}_{y} (y (यू), यू)

$\lambda:= e_y(y(u),u)^{-*}J_y(y(u),u)$

\nabla जे (यू) = इ_{यू} (y (यू), यू)^{*} λ + {जे}_{यू} (y (यू), यू) ।

$\nabla j(u) = e_u(y(u),u)^*\lambda +J_u(y(u),u).$

J_{y} (y (u), u)

$J_y(y(u),u)$ आमतौर पर कुछ प्रकार के अवशिष्ट होते हैं, और कंप्यूटिंग में डिज़ाइन स्पेस के आयाम से स्वतंत्र एक (रैखिक) सहायक पीडीई को हल करना शामिल होता है। (वास्तव में, यह वितरित मापदंडों के लिए भी काम करता है, अर्थात, यदि कुछ अनंत-आयामी बानाच स्थान में एक फ़ंक्शन है, जहां पहला दृष्टिकोण अनम्य है।)

λ

$\lambda$

u

$u$

— ईसाई क्लैसन
स्रोत