हैमिल्टन-जैकोबी-बेलमैन समीकरण को हल करना; इष्टतमता के लिए आवश्यक और पर्याप्त?

निम्नलिखित विभेदक समीकरण पर विचार करें जहां राज्य है और नियंत्रण चर है। समाधान जहाँ दी गई जन्मजात अवस्था है।

\begin{aligned} \dot{x} (t) = f (x (t), u (t)) \end{aligned}

$\begin{align} \dot x(t)=f(x(t),u(t)) \end{align}$

x

$x$

u

$u$

\begin{aligned} x (t) = x_{0} + \int_{0}^{t} f (x (s), u (s)) d s . \end{aligned}

$\begin{align} x(t)=x_0 + \int^t_0f(x(s),u(s))ds. \end{align}$

x_{0} := x (0)

$x_0:=x(0)$

अब निम्नलिखित प्रोग्राम पर विचार करें जहां समय वरीयता को दर्शाता है, मान है और एक उद्देश्य समारोह । एक शास्त्रीय आर्थिक अनुप्रयोग इष्टतम विकास का रैमसे-कैस-कोपामंस मॉडल है। हैमिल्टन-जैकोबी-बेलमैन समीकरण द्वारा

\begin{aligned} V (x_{0}) := max_{u} \int_{0}^{\infty} e^{- ρ t} F (x (t), u (t)) d t \\ s . t . & \dot{x} (t) = f (x (t), u (t)) \\ x (0) = x_{0} \end{aligned}

$\begin{align} &V(x_0) := \max_u \int^\infty_0 e^{-\rho t}F(x(t),u(t))dt\\ s.t.~&\dot x(t)=f(x(t),u(t))\\ &x(0) = x_0 \end{align}$

ρ > 0

$\rho > 0$

V (\cdot)

$V(\cdot)$

F (\cdot)

$F(\cdot)$

\begin{aligned} ρ V (x) = max_{u} [F (x, u) + V^{'} (x) f (x, u)], \forall t \in [0, \infty) . \end{aligned}

$\begin{align} \rho V(x)=\max_u [F(x,u) + V'(x)f(x,u)],\quad \forall t\in[0,\infty). \end{align}$

कहो मैंने HJB लिए हल किया है $V$ । इष्टतम नियंत्रण तब

\begin{aligned} u^{*} = \arg max_{u} [F (x, u) + V^{'} (x) f (x, u)] . \end{aligned}

$\begin{align} u^*=\arg\max_u [F(x,u) + V'(x)f(x,u)]. \end{align}$ मैं राज्य और नियंत्रण के लिए इष्टतम प्रक्षेपवक्र प्राप्त करूँगा

{(x^{*} (t), u^{*} (t)) : t \in [0, \infty)}

$\{(x^*(t),u^*(t)):t\in[0,\infty)\}$ ।

विकि लेख का कहना है

... लेकिन जब पूरे राज्य के स्थान पर हल किया जाता है, तो एचजेबी समीकरण एक इष्टतम के लिए एक आवश्यक और पर्याप्त स्थिति है।

Bertsekas (2005) डायनामिक प्रोग्रामिंग और ऑप्टिमल कंट्रोल , वॉल्यूम 1, 3 एड में। प्रस्ताव 3.2.1 में उन्होंने कहा है कि लिए हल $V$ करना सबसे अच्छा कॉस्ट-टू-गो फंक्शन है और संबंधित $u^*$ इष्टतम है। हालाँकि, वह स्पष्ट रूप से इसे पर्याप्तता प्रमेय घोषित करता है।

असल में, मैं सिर्फ यह सुनिश्चित करना चाहता हूं, कि अगर मैंने HJB को हल कर लिया है और संबंधित राज्य और नियंत्रण प्रक्षेपवक्र को ठीक कर दिया है, तो मुझे किसी भी अतिरिक्त इष्टतम स्थितियों से चिंतित होने की आवश्यकता नहीं है।

उपाय

मैं प्रयास करता हूँ

मुझे लगता है कि मैं HJB समीकरण द्वारा अधिकतम सिद्धांत से आवश्यक शर्तों को प्राप्त करने में सक्षम था।

हैमिल्टनियन की

\begin{aligned} H (x, u, V^{'} (x)) := F (x, u) + V^{'} (x) f (x, u) \end{aligned}

$\begin{align} H(x,u,V'(x)) := F(x,u) + V'(x)f(x,u) \end{align}$

फिर हमारे पास

\begin{aligned} ρ V (x) = max_{u} H (x, u, V^{'} (x)) \end{aligned}

$\begin{align} \rho V(x)=\max_u H(x,u,V'(x)) \end{align}$

जो है

\begin{aligned} ρ V (x) = H (x, u^{*}, V^{'} (x)) . \end{aligned}

$\begin{align} \rho V(x)= H(x,u^*,V'(x)). \end{align}$

एक मनमाना कार्य परिभाषित करें को साथ परिभाषित करें । अब फिक्स $q:[0,\infty)\to\mathbb{R}$ $q(0)=\lim_{t\to\infty} q(t)=0$

\begin{aligned} x = x^{*} + ε q \end{aligned}

$\begin{align} x = x^*+\varepsilon q \end{align}$

जहां एक पैरामीटर है। शब्द को उस अधिकतम हेमिलटोनियन में प्लग करें, जो $\varepsilon\in\mathbb{R}$

\begin{aligned} ρ V (x^{*} + ε q) = H (x^{*} + ε q, u^{*}, V^{'} (x^{*} + ε q)) . \end{aligned}

$\begin{align} \rho V(x^*+\varepsilon q)= H(x^*+\varepsilon q,u^*,V'(x^*+\varepsilon q)). \end{align}$

पर हम इष्टतम समाधान है। इस प्रकार पहले क्रम की स्थिति प्राप्त करने के लिए पर अंतर $\varepsilon = 0$ $\varepsilon$

\begin{aligned} ρ V^{'} q = H_{x} q + H_{V^{'}} V^{″} q . \end{aligned}

$\begin{align} \rho V'q = H_x q + H_{V'}V''q. \end{align}$

अब adjoint वैरिएबल को start साथ परिभाषित करें

\begin{aligned} λ = V^{'} (x) . \end{aligned}

$\begin{align} \lambda = V'(x). \end{align}$

समय के साथ अंतर करना

\begin{aligned} \dot{λ} = V^{″} \dot{x} . \end{aligned}

$\begin{align} \dot \lambda = V''\dot x. \end{align}$

और ध्यान दें कि

\begin{aligned} H_{V^{'}} = f (x, u) = \dot{x} . \end{aligned}

$\begin{align} H_{V'} = f(x,u) = \dot x. \end{align}$

संस्कृति और उसके जो में प्रत्येक भाग को प्लग देता है

\begin{aligned} ρ λ = H_{x} + \dot{λ} . \end{aligned}

$\begin{align} \rho \lambda = H_x + \dot \lambda. \end{align}$

यह बहुत ज्यादा है। तो HJB को हल करना वास्तव में आवश्यक और पर्याप्त है (यहाँ छोड़ दिया गया है)। किसी को इसे विकि से जोड़ना चाहिए। इस तरह की समस्याओं के बारे में सोचने वाले लोगों के लिए समय की बचत हो सकती है (मैं बहुत अधिक नहीं होगा)।

हालाँकि ट्रांसवर्सिटी की स्थिति अनुपलब्ध है।

\begin{aligned} lim_{t \to \infty} e^{- ρ t} λ (t) = 0 \end{aligned}

$\begin{align} \lim_{t\to\infty} e^{-\rho t}\lambda(t) = 0 \end{align}$

II प्रयास

अदायगी क्रिया को परिभाषित करें

\begin{aligned} J (u) := \int_{0}^{\infty} e^{- ρ t} F (x, u) d t \end{aligned}

$\begin{align} J(u):=\int^\infty_0 e^{-\rho t}F(x,u)dt \end{align}$

ध्यान दें कि by परिभाषा। । अदायगी शब्द को

\begin{aligned} \int_{0}^{\infty} e^{- ρ t} λ [f (x, u) - \dot{x}] d t = 0 \end{aligned}

$\begin{align} \int^\infty_0{e^{-\rho t}\lambda[f(x,u) - \dot x]dt} = 0 \end{align}$

\dot{x} = f (x, u)

$\dot x = f(x,u)$

\begin{aligned} J (u) & = \int_{0}^{\infty} e^{- ρ t} [F (x, u) + λ f (x, u)] d t - \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t \\ = \int_{0}^{\infty} e^{- ρ t} H (x, u, λ) - \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t \end{aligned}

$\begin{align} J(u)&=\int^\infty_0 e^{-\rho t}[F(x,u)+\lambda f(x,u)]dt - \int^\infty_0{e^{-\rho t}\lambda\dot xdt}\\ &=\int^\infty_0 e^{-\rho t}H(x,u,\lambda) - \int^\infty_0{e^{-\rho t}\lambda\dot xdt} \end{align}$

दाहिने शब्द के कुछ हिस्सों के एकीकरण से rds की पैदावार होती है

\begin{aligned} \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t = [e^{- ρ t} λ (t) x (t)]_{0}^{\infty} - \int_{0}^{\infty} e^{- ρ t} x (\dot{λ} - ρ λ) d t \end{aligned}

$\begin{align} \int^\infty_0{e^{-\rho t}\lambda\dot xdt} = [e^{-\rho t}\lambda(t)x(t)]^\infty_0 - \int^\infty_0{e^{-\rho t}x(\dot \lambda-\rho\lambda)dt} \end{align}$

उस शब्द को फिर से जो संयुक्ताक्षर

\begin{aligned} J (u) = \int_{0}^{\infty} e^{- ρ t} [H (x, u, λ) + x (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) x (t) + λ (0) x (0) \end{aligned}

$\begin{align} J(u)=\int^\infty_0 e^{-\rho t}[H(x,u,\lambda) + x(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)x(t) + \lambda(0)x(0) \end{align}$

परिभाषित

\begin{aligned} x & = x^{*} + ε q \\ u & = u^{*} + ε p \end{aligned}

$\begin{align} x &= x^*+\varepsilon q\\ u &= u^*+\varepsilon p \end{align}$

जो देता है

\begin{aligned} J (ε) = \int_{0}^{\infty} e^{- ρ t} [H (x^{*} + ε q, u^{*} + ε p, λ) + (x^{*} + ε q) (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) [x^{*} (t) + ε q (t)] + λ (0) x (0) \end{aligned}

$\begin{align} J(\varepsilon)=\int^\infty_0 e^{-\rho t}[H(x^*+\varepsilon q,u^*+\varepsilon p,\lambda) + (x^*+\varepsilon q)(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)[x^*(t)+\varepsilon q(t)] + \lambda(0)x(0) \end{align}$

FOC अधिकतम $J_\varepsilon = 0$

\begin{aligned} J_{ε} = \int_{0}^{\infty} e^{- ρ t} [H_{x} q + H_{u} p + q (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) q (t) = 0 \end{aligned}

$\begin{align} J_\varepsilon=\int^\infty_0 e^{-\rho t}[H_x q + H_u p + q(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)q(t) = 0 \end{align}$

चूँकि और असंबंधित हैं, इसलिए हमारे पास करना चाहिए $q$ $p$

\begin{aligned} H_{u} & = 0 \\ H_{x} & = ρ λ - \dot{λ} \\ lim_{t \to \infty} e^{- ρ t} λ (t) & = 0 \end{aligned}

$\begin{align} H_u &= 0\\ H_x &= \rho\lambda - \dot \lambda\\ \lim_{t\to\infty}e^{-\rho t}\lambda(t) &= 0 \end{align}$

mathematical-economics reference-request dynamic-programming

— कोई खबर नहीं
स्रोत

क्या आपने अभी तक आवश्यक और पर्याप्त स्थितियों की पहचान की है?

— जैम

यह किस आर्थिक संदर्भ में आता है?

— स्टेन शुनपाइक

उदाहरण के लिए रैमसे मॉडल cer.ethz.ch/resec/people/tsteger/Ramsey_Model.pdf

— कोई खबर नहीं

मुझे लगता है कि यह धागा math.stackexchange.com के लिए बेहतर अनुकूल है क्योंकि यह वास्तव में econ से जुड़ा नहीं है। एक मॉड इसे स्थानांतरित कर सकता है।

— क्लूलेस

मुझे यकीन नहीं है कि यहां क्या पूछा गया है: यदि एचटीबी को हल करने वाले बर्थसेकस पर्याप्त हैं , तो आपको "अतिरिक्त इष्टतम परिस्थितियों के बारे में चिंता करने की ज़रूरत नहीं है"। HJB हल नहीं होने की स्थिति में "आवश्यक और पर्याप्त" के खिलाफ "पर्याप्त" उत्पन्न होगा, जो कोई भी कहेगा "इसका मतलब यह नहीं है कि कोई समाधान नहीं है"। वैसे, आपके प्रयास I और II यहां मूल्यवान सामग्री हैं - पहला जो एक लिंक bewteen HJB और Optimal Control दिखा रहा है, दूसरा यह दर्शाता है कि Optimal Control FOC कैसे प्राप्त किया जा सकता है।

— एलेकोस पापाडोपोलोस 10

(यह शायद एक टिप्पणी पर विचार किया जाना चाहिए।)

यदि आपने HJB समीकरण हल किया है, तो यह इष्टतम समाधान प्राप्त करने के लिए पर्याप्त है। इसलिए आपको "किसी भी अन्य इष्टतम स्थितियों से चिंतित नहीं होना है," जो मुझे लगता है कि आपके प्रश्न का उत्तर देने के लिए प्रतीत होता है।

ऐसा प्रतीत होता है कि आप प्रमेय के "आवश्यक" घटक के बारे में चिंतित हैं। कथन का आवश्यक पक्ष इस प्रकार है: यदि कोई इष्टतम समाधान है, तो HJB समीकरण का एक समाधान मौजूद होना चाहिए।

मैंने इस विशेष समस्या के साथ काम नहीं किया है, लेकिन सामान्य रूप से उत्तर यह है कि हम एक अलग फ़ंक्शन V की उम्मीद नहीं करते हैं। इसलिए हमारे पास समीकरण का समाधान नहीं है जैसा कि कहा गया है। इसके बजाय, हमें सामान्यीकृत डेरिवेटिव को देखने की जरूरत है, और एचजेबी समीकरण को असमानता में परिवर्तित करें। किस मामले में, आपको "चिपचिपापन समाधान" मिल सकता है। यदि हम सामान्यीकृत व्युत्पन्न का उपयोग करने का विस्तार करते हैं, तो यह साबित करना संभव हो सकता है कि ऐसा समाधान हमेशा मौजूद होता है। अपने प्रमाणों पर गौर करते हुए, वे आवश्यकता स्थितियों पर मदद नहीं करेंगे, जैसा कि आप भिन्नता मान रहे हैं।

— ब्रायन रोमनचुक
स्रोत