हमेशा कम से कम एक नीति क्यों होती है जो अन्य सभी नीतियों से बेहतर या समान होती है?

सुदृढीकरण सीखना: एक परिचय। दूसरा संस्करण, प्रगति में , रिचर्ड एस। सटन और एंड्रयू जी। बार्टो (सी) 2012, पीपी 67-68।

एक सुदृढीकरण सीखने के कार्य को हल करने का मतलब है, मोटे तौर पर, एक ऐसी नीति खोजना जो लंबे समय से अधिक इनाम प्राप्त करता है। परिमित एमडीपी के लिए, हम निम्नलिखित तरीके से एक इष्टतम नीति को ठीक से परिभाषित कर सकते हैं। मान फ़ंक्शंस नीतियों पर आंशिक आदेश को परिभाषित करते हैं। एक नीति से या एक नीति के बराबर बेहतर होने की परिभाषित किया गया है अगर इसके प्रत्याशित प्रतिफल से अधिक है या के बराबर , सभी राज्यों के लिए। दूसरे शब्दों में, अगर और केवल अगर , सभी । हमेशा कम से कम एक नीति होती है जो अन्य सभी नीतियों से बेहतर या समान होती है। यह एक इष्टतम नीति है। $\pi$ $\pi'$ $\pi'$ $\pi \geq \pi'$ $v_\pi(s) \geq v_{\pi'}(s)$ $s \in \mathcal{S}$

markov-process reinforcement-learning

— sh1ng
स्रोत

पुटरमैन द्वारा "मार्कोव डिसीजन प्रोसेस" के अध्याय 6.2 में एक बहुत विस्तृत प्रमाण (जो बानाच के निश्चित बिंदु प्रमेय का उपयोग करता है) दिखाई देता है।

— जोग

जवाबों:

उद्धृत भाग के पिछले हिस्से में, वही पैराग्राफ वास्तव में आपको बताता है कि यह नीति क्या है: यह वह है जो हर राज्य में सबसे अच्छी कार्रवाई करता है। एक एमडीपी में, हम एक राज्य में जो कार्रवाई करते हैं, वह दूसरों में किए गए कार्यों के लिए पुरस्कार को प्रभावित नहीं करती है, इसलिए हम केवल नीति राज्य-दर-राज्य को अधिकतम कर सकते हैं।

— डॉन रेबा
स्रोत

क्या यह जवाब पूरी तरह से गलत नहीं है? आप यह कैसे कह सकते हैं कि राज्य द्वारा नीतिगत स्थिति का अनुकूलन इष्टतम नीति की ओर जाता है। मैं पर राज्य का अनुकूलन तो और यह मेरे लेता और फिर कम से अनुकूलन के एक इष्टतम मूल्य कार्य करने के लिए सुराग लेकिन वहाँ एक और नीति, जिसमें है को suboptimally सुराग और का इष्टतम मान फ़ंक्शन । आप इस तरह के एक सरसरी विश्लेषण द्वारा इसे कैसे नियंत्रित कर सकते हैं?

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

V_{t + 1}

$V_{t+1}$

S_{t}

$S_t$

S_{l}

$S_l$

S_{l}

$S_l$

V_{t + 1}

$V_{t+1}$

— मिलोमोइन्डरबिंदर

@MiloMinderbinder पर इष्टतम नीति तो चयन करने के लिए है , तो का मान के मूल्य से अधिक है ।

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

S_{l}

$S_l$

— डॉन रेबा

मेरी गलती। टाइपो ने सही किया: 'क्या यह जवाब पूरी तरह से गलत नहीं है? आप यह कैसे कह सकते हैं कि राज्य द्वारा नीतिगत स्थिति का अनुकूलन इष्टतम नीति की ओर जाता है? अगर मैं पर राज्य का अनुकूलन और यह मेरे लिए ले जाता है और फिर कम से अनुकूलन के एक इष्टतम मूल्य कार्य करने के लिए सुराग के लेकिन वहाँ एक और है ऐसी नीति जिसमें यद्यपि लिए उप-मुख्य रूप से जाता है और इसलिए का मान फ़ंक्शन लेकिन का मान फ़ंक्शन इसके अंतर्गत उच्च है राज्य द्वारा राज्य का अनुकूलन करके मिली नीति के तहत नीति। यह आपके द्वारा कैसे अपमानित किया गया है? '

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

V_{t + 2}

$V_{t+2}$

S_{t + 2}

$S_{t+2}$

S_{t}

$S_t$

S_{l + 1}

$S_{l+1}$

S_{t + 1}

$S_{t+1}$

V_{l + 1}

$V_{l+1}$

S_{t + 2}

$S_{t+2}$

— मिलोमिंदरबिंदर

मुझे लगता है कि की परिभाषा इसे पहले स्थान पर होने से रोक देगी, क्योंकि भविष्य के रिटर्न के लिए भी इसका हिसाब होना चाहिए।

V

$V$

— फ्लाइंग_बाना

सवाल यह होगा: मौजूद क्यों है ? आप Banach Fixed Point Theorem :-)

q_{*}

$q_*$

— Fabian Werner

एक इष्टतम नीति का अस्तित्व स्पष्ट नहीं है। यह देखने के लिए, ध्यान दें कि मान फ़ंक्शन नीतियों के स्थान पर केवल आंशिक आदेश प्रदान करता है। इसका मतलब है की:

π^{'} \geq π ⟺ v_{π^{'}} (s) \geq v_{π} (s), \forall s \in S

$\pi' \geq \pi \iff v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S$

चूंकि यह केवल एक आंशिक आदेश है, इसलिए ऐसा मामला हो सकता है जहां दो नीतियां, और , तुलनीय न हों। दूसरे शब्दों में, राज्य स्थान, और ऐसे हैं: $\pi_1$ $\pi_2$ $S_1$ $S_2$

v_{π^{'}} (s) \geq v_{π} (s), \forall s \in S_{1}

$v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S_1$

v_{π} (s) \geq v_{π^{'}} (s), \forall s \in S_{2}

$v_{\pi}(s) \geq v_{\pi'}(s),\forall s \in S_2$

इस मामले में, हम यह नहीं कह सकते कि एक नीति दूसरे से बेहतर है। लेकिन अगर हम सीमित मूल्य के कार्यों के साथ परिमित एमडीपी के साथ काम कर रहे हैं, तो ऐसा परिदृश्य कभी नहीं होता है। वास्तव में एक इष्टतम मूल्य फ़ंक्शन है, हालांकि कई इष्टतम नीतियां हो सकती हैं।

इसके एक प्रमाण के लिए, आपको Banach Fixed Point प्रमेय को समझने की आवश्यकता है। एक विस्तृत विश्लेषण के लिए, कृपया देखें ।

— कार्तिक त्यागराज
स्रोत

$\newcommand{\mc}{\mathcal} \newcommand{\mb}{\mathbb}$

स्थापना

हम इसकी सेटिंग पर विचार कर रहे हैं:

असतत कर्म
असतत अवस्था
बँटे हुए पुरस्कार
स्थिर नीति
अनंत क्षितिज

इष्टतम नीति के रूप में परिभाषित किया गया है: और इष्टतम मूल्य समारोह है: ऐसी नीतियों का एक सेट हो सकता है जो अधिकतम प्राप्त करते हैं। लेकिन केवल एक इष्टतम मान फ़ंक्शन है:

\begin{matrix} (1) & π^{*} \in \arg max_{π} V^{π} (s), \forall s \in S \end{matrix}

$\pi^\ast \in \arg \max_\pi V^\pi(s), \forall s \in \mc{S} \tag{1}$

\begin{matrix} (2) & V^{*} = max_{π} V^{π} (s), \forall s \in S \end{matrix}

$V^\ast = \max_\pi V^\pi (s), \forall s \in \mc S \tag{2}$

\begin{matrix} (3) & V^{*} = V^{π^{*}} \end{matrix}

$V^\ast = V^{\pi^\ast} \tag{3}$

प्रश्न

यह साबित करने के लिए कि कम से कम एक जो (1) एक साथ सभी संतुष्ट है ? $\pi^\ast$ $s \in \mc{S}$

प्रमाण की रूपरेखा

इष्टतम मान फ़ंक्शन के अस्थायी सरोगेट परिभाषा के रूप में उपयोग किए जाने वाले इष्टतम समीकरण का निर्माण करें , जिसे हम चरण 2 में साबित करेंगे कि यह Eq के माध्यम से परिभाषा के बराबर है। (2)।
$\begin{matrix} (4) & V^{*} (s) = max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V^{*} (s^{'})] \end{matrix}$ $V^\ast(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V^\ast(s^\prime)] \tag{4}$
Eq (4) और Eq (2) के माध्यम से इष्टतम मान फ़ंक्शन को परिभाषित करने की समानता को प्राप्त करें।

(वास्तव में ध्यान दें कि हमें केवल प्रमाण में आवश्यक दिशा की आवश्यकता है, क्योंकि दक्षता स्पष्ट है क्योंकि हमने Eq से Eq (4) का निर्माण किया है। (2)।
सिद्ध है कि Eq के लिए एक अनूठा समाधान है। (4)।
चरण 2 से, हम जानते हैं कि चरण 3 में प्राप्त समाधान भी Eq (2) का समाधान है, इसलिए यह एक इष्टतम मूल्य फ़ंक्शन है।
एक इष्टतम मूल्य फ़ंक्शन से, हम प्रत्येक राज्य के लिए Eq। (4) में अधिकतम कार्रवाई का चयन करके एक इष्टतम नीति को पुनर्प्राप्त कर सकते हैं।

चरणों का विवरण

चूँकि , हमारे पास । और यदि कोई ऐसा है कि , हम कर सकते हैं अधिकतम करके एक बेहतर नीति चुनें से अधिक । $V^\ast(s) = V^{\pi^\ast}(s) = \mb E_a [Q^{\pi^\ast}(s, a)]$ $V^{\pi^\ast}(s) \le \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$ $\tilde{s}$ $V^{\pi^\ast} \neq \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$ $Q^{\ast} (s, a) = Q^{\pi^\ast} (s, a)$ $a$

(=>)

चरण 1 से अनुसरण करता है।

(<=)

अर्थात यदि , संतुष्ट करता है , फिर । $\tilde V$ $\tilde V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) \tilde V(s^\prime)]$ $\tilde V(s) = V^\ast(s) = \max_\pi V^\pi(s), \forall s \in \mc S$

इष्टतम Bellman ऑपरेटर को रूप में परिभाषित करें इसलिए हमारा लक्ष्य यह साबित करना है कि अगर , तो । हमने पुटरमैन [1] के बाद, दो परिणामों को मिलाकर इसे दिखाया :

\begin{matrix} (5) & T V (s) = max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V (s^{'})] \end{matrix}

$\mc T V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V(s^\prime)] \tag{5}$

\tilde{V} = T \tilde{V}

$\tilde V = \mc T \tilde V$

\tilde{V} = V^{*}

$\tilde V = V^\ast$

a) यदि , तो । $\tilde V \ge \mc T \tilde V$ $\tilde V \ge V^\ast$

b) यदि , तो । $\tilde V \le \mc T \tilde V$ $\tilde V \le V^\ast$

प्रमाण:

ए)

किसी भी , यहाँ निर्णय नियम (विशिष्ट समय पर कार्रवाई प्रोफ़ाइल) है, तत्काल इनाम का सदिश प्रतिनिधित्व है से प्रेरित और संक्रमण मैट्रिक्स है जो से प्रेरित है । $\pi = (d_1, d_2, ...)$

\begin{aligned} \tilde{V} & \geq T \tilde{V} = max_{d} [R_{d} + γ P_{d} \tilde{V}] \\ \geq R_{d_{1}} + γ P_{d_{1}} \tilde{V} \end{aligned}

$\begin{align} \tilde V &\ge \mc T \tilde V = \max_{d} [ R_d + \gamma \, P_d \tilde V] \\ &\ge R_{d_1} + \gamma \, P_{d_1} \tilde V \\ \end{align}$

d

$d$

R_{d}

$R_d$

d

$d$

P_{d}

$P_d$

d

$d$

प्रेरण द्वारा, किसी भी , जहां , तहत -step ट्रांस्फ़ॉर्म मैट्रिक्स का प्रतिनिधित्व करता है । $n$

\tilde{V} \geq R_{d_{1}} + \sum_{i = 1}^{n - 1} γ^{i} P_{π}^{i} R_{d_{i + 1}} + γ^{n} P_{π}^{n} \tilde{V}

$\tilde V \ge R_{d_1} + \sum_{i=1}^{n-1} \gamma^i P_\pi^i R_{d_{i+1}} + \gamma^n P_\pi^n \tilde V$

P_{π}^{j}

$P_\pi^j$

j

$j$

π

$\pi$

चूँकि हमारे पास इसलिए हमारे पास । और जब से यह किसी भी , हम उस b) का निष्कर्ष निकालते हैं।

V^{π} = R_{d_{1}} + \sum_{i = 1}^{\infty} γ^{i} P_{π}^{i} R_{d_{i + 1}}

$V^\pi = R_{d_1} + \sum_{i=1}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}$

\tilde{V} - V^{π} \geq \underset{\to 0 as n \to \infty}{\underset{⏟}{γ^{n} P_{π}^{n} \tilde{V} - \sum_{i = n}^{\infty} γ^{i} P_{π}^{i} R_{d_{i + 1}}}}

$\tilde V - V^\pi \ge \underbrace{\gamma^n P_\pi^n \tilde V -\sum_{i=n}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}}_{\rightarrow 0 \ \text{as}\ n\rightarrow \infty}$

\tilde{V} \geq V^{π}

$\tilde V \ge V^\pi$

π

$\pi$

\tilde{V} \geq max_{π} V^{π} = V^{*}

$\tilde V \ge \max_\pi V^\pi = V^\ast$

चरण 1 से अनुसरण करता है।

इष्टतम बेलमैन ऑपरेटर मानदंड में एक संकुचन है, cf. [2]। $L_\infty$

प्रमाण: किसी भी , जहां (*) में हमने इस तथ्य का उपयोग किया है कि $s$

\begin{aligned} | T V_{1} (s) - T V_{2} (s) | & = | max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V_{1} (s^{'})] - max_{a^{'} \in A} [R (s, a^{'}) + γ \sum_{s^{'} \in S} T (s, a^{'}, s^{'}) V (s^{'})] | \\ \overset{(*)}{\leq} | max_{a \in A} [γ \sum_{s^{'} \in S} T (s, a, s^{'}) (V_{1} (s^{'}) - V_{2} (s^{'}))] | \\ \leq γ ‖ V_{1} - V_{2} ‖_{\infty} \end{aligned}

$\begin{align} \left\vert \mc T V_1(s) - \mc TV_2(s) \right\vert &= \left\vert \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V_1(s^\prime)] -\max_{a^\prime \in \mc A} [ R(s, a^\prime) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a^\prime, s^\prime) V(s^\prime)]\right\vert \\ &\overset{(*)}{\le} \left\vert \max_{a \in \mc A} [\gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) (V_1(s^\prime) - V_2(s^\prime))] \right\vert \\ &\le \gamma \Vert V_1 - V_2 \Vert_\infty \end{align}$

max_{a} f (a) - max_{a^{'}} g (a^{'}) \leq max_{a} [f (a) - g (a)]

$\max_a f(a) - \max_{a^\prime} g(a^\prime) \le \max_a [f(a) - g(a)]$

इस प्रकार Banach द्वारा निर्धारित बिंदु प्रमेय यह इस प्रकार है कि में एक विशिष्ट निश्चित बिंदु है। $\mc T$

संदर्भ

[१] पुटरमैन, मार्टिन एल .. "मार्कोव निर्णय प्रक्रिया: असतत स्टोचस्टिक डायनामिक प्रोग्रामिंग।" (2016)।

[२] ए। लाजरिक http://researchers.lille.inria.fr/~lazaric/Webpage/MVA-RL_Course14_files/slides-lecture-02-handout.pdf

— LoveIris
स्रोत