ग्राफिक रूप से केकेटी

उद्देश्य

यह पुष्टि करें कि केकेटी की समझ सही है या नहीं। KKT पर आगे की व्याख्या और पुष्टिकरण के लिए।

पृष्ठभूमि

केकेटी की स्थितियों, विशेष रूप से पूरक एक को समझने की कोशिश करना, जो हमेशा एसवीएम लेखों में नीले रंग से बाहर निकलता है। मुझे सार सूत्रों की सूची की आवश्यकता नहीं है, लेकिन एक ठोस, सहज और चित्रमय व्याख्या की आवश्यकता है।

सवाल

यदि P, जो लागत फ़ंक्शन f (X) को कम करता है, तो बाधा (g (P)> = 0) के अंदर है, यह समाधान है। ऐसा लगता है कि केकेटी इस मामले में प्रासंगिक नहीं है।

ऐसा लगता है केकेटी का कहना है कि यदि पी बाधा के अंदर नहीं है, तो समाधान एक्स को तस्वीर में नीचे संतुष्ट करना चाहिए। क्या यह केकेटी के बारे में है या मुझे अन्य महत्वपूर्ण पहलुओं की याद आती है?

अन्य स्पष्टीकरण

आवेदन करने के लिए KKT के लिए f (x) उत्तल होना चाहिए?
आवेदन करने के लिए KKT के लिए g (x) रैखिक होना चाहिए?
क्या λ में आवश्यक होना चाहिए * g (X) = 0? क्यों जी (एक्स) = 0 या जी (शी) = 0 पर्याप्त नहीं है?

संदर्भ

अपडेट १

जवाब के लिए धन्यवाद, लेकिन अभी भी समझने के लिए संघर्ष। यहां केवल आवश्यकता पर ध्यान दें:

क्या मैथ्यू गन में शर्त (2) गैर-इष्टतम बिंदु (ग्रीन सर्कल में) के बारे में है और केकेटी वहां संतुष्ट नहीं होगा? और बिंदु की पहचान हेसियन को देखकर होगी, जैसा कि मार्क एल स्टोन के जवाब में है?

मुझे लगता है कि एक और स्थिति काठी अंक है, लेकिन वही लागू होता है?

user23658

svm optimization lagrange-multipliers

— सोमवार
स्रोत

यह सवाल गणित साइट पर अधिक ध्यान आकर्षित कर सकता है; केकेटी की शर्तें जरूरी "सांख्यिकीय" नहीं हैं। सांख्यिकीविदों ने दिलचस्प सांख्यिकीय समस्याओं को हल करने के लिए संख्यात्मक विश्लेषण से इन और अन्य परिणामों को उधार लिया है, लेकिन यह गणित के प्रश्न का अधिक है।

— user23658

(1) यदि बाधाएं नहीं बांधती हैं, तो बाधाओं के साथ अनुकूलन समस्या का एक ही समाधान है, क्योंकि बाधाओं के बिना अनुकूलन समस्या। (2) न तो को उत्तल होना चाहिए और न ही केकेटी स्थितियों के लिए एक रेखीय में आवश्यक होने के लिए को रैखिक होना चाहिए। (3) आपको KKT स्थितियों के लिए विशेष परिस्थितियों (जैसे उत्तल समस्या जहां स्लेटर स्थिति रखती है) की आवश्यकता होती है जो किसी इष्टतम स्थिति के लिए पर्याप्त स्थिति हो।

f

$f$

g

$g$

— मैथ्यू गुन

पूरक सुस्त स्थिति (यानी जहां एक बाधा है) का मूल विचार यह है कि यदि बाधा सुस्त है (यानी ) इष्टतम , तो बाधा को कसने के लिए दंड 0. है और यदि बाधा को कसने के लिए एक सकारात्मक जुर्माना , तो बाधा को बाध्य किया जाना चाहिए (यानी) )। यदि यातायात सुचारू रूप से बह रहा है, तो दूसरी कार के लिए पुल टोल शून्य है। और अगर पुल टोल , तो पुल क्षमता सीमा पर होना चाहिए।

λ g (x) = 0

$\lambda g(\mathbf{x}) = 0$

g (x) \leq 0

$g(\mathbf{x}) \leq 0$

g (x) < 0

$g(\mathbf{x}) < 0$

x

$\mathbf{x}$

λ

$\lambda$

λ

$\lambda$

g (x) = 0

$g(\mathbf{x}) = 0$

λ

$\lambda$

λ > 0

$\lambda > 0$

— मैथ्यू गुन

बुनियादी केकेटी प्रमेय का कहना है कि यदि केकेटी की स्थिति किसी बिंदु पर संतुष्ट नहीं है , तो बिंदु इष्टतम नहीं है। KKT परिस्थितियाँ एक इष्टतम के लिए आवश्यक हैं लेकिन पर्याप्त नहीं हैं । (उदाहरण के लिए, यदि फ़ंक्शन में काठी अंक, स्थानीय मिनीमा आदि आदि हैं ... केकेटी की स्थिति संतुष्ट हो सकती है लेकिन बिंदु इष्टतम नहीं है!) समस्याओं के कुछ वर्गों के लिए (जैसे उत्तल समस्या जहां स्लेटर की स्थिति है), केटीडी। परिस्थितियाँ पर्याप्त परिस्थितियाँ बन जाती हैं।

x

$\mathbf{x}$

x

$\mathbf{x}$

— मैथ्यू गुन

जवाबों:

एक इष्टतम के लिए आवश्यक शर्तों के रूप में KKT की स्थिति के मूल विचार है कि अगर वे एक व्यवहार्य बिंदु पर पकड़ नहीं है , तो वहां मौजूद एक दिशा उस उद्देश्य में सुधार होगा में वृद्धि के बिना (और इसलिए संभवतः उल्लंघन) बाधाओं। (यदि केकेटी की शर्तें पर नहीं हैं, तो एक इष्टतम नहीं हो सकती हैं, इसलिए एक बिंदु के लिए KKT की स्थिति एक इष्टतम होना आवश्यक है।) $\mathbf{x}$ $\boldsymbol{\delta}$ $f$ $\mathbf{x}$ $\mathbf{x}$

कल्पना कीजिए कि आपको अनुकूलन समस्या है:

\begin{array}{llr} minimize (over x) & f (x) \\ subject to & \forall_{j \in {1 \dots k}} g_{j} (x) \leq 0 \end{array}

$\begin{equation} \begin{array}{*2{>{\displaystyle}r}} \mbox{minimize (over $\mathbf{x}$)} & f(\mathbf{x}) \\ \mbox{subject to} & \forall_{j \in \{1\ldots k\}}\; g_j(\mathbf{x}) \leq 0 \end{array} \end{equation}$

जहां और वहाँ बाधाएं हैं। $\mathbf{x} \in \mathbb{R}^n$ $k$

केकेटी की स्थिति और फार्कस लेम्मा

चलो की ढाल को संकेतित एक स्तंभ वेक्टर होना पर मूल्यांकन किया जाता । $\nabla f(\mathbf{x})$ $f$ $\mathbf{x}$

एप्लाइड इस स्थिति के लिए, फ़र्कास लेम्मा कहा गया है कि किसी भी बिंदु के लिए वास्तव में एक निम्नलिखित बयानों में रखती है: $\mathbf{x} \in \mathbb{R}^n$

वहाँ जैसे कि और $\boldsymbol{\lambda} \in \mathbb{R}^k$ $\sum_{j=1}^k \lambda_j \nabla g_j(\mathbf{x}) = -\nabla f(\mathbf{x})$ $\boldsymbol{\lambda} \geq \mathbf{0}$
भी बना हुआ है ऐसा है कि और $\boldsymbol{\delta} \in \mathbb{R}^n$ $\forall_j \boldsymbol{\delta}' g_j(\mathbf{x}) \leq 0$ $\boldsymbol{\delta}'\nabla f(\mathbf{x}) < 0$

इसका क्या मतलब है? इसका मतलब है कि किसी भी संभव बिंदु , या तो: $\mathbf{x}$

स्थिति (1) रखती है और केकेटी की स्थिति संतुष्ट होती है।
स्थिति (2) रखती है और एक व्यवहार्य दिशा वहां मौजूद उस उद्देश्य समारोह को बेहतर बनाता है बढ़ रही बाधाओं के बिना । (उदा। आप से ले जाकर सुधार सकते हैं ) $\boldsymbol{\delta}$ $f$ $g_j$ $f$ $\mathbf{x}$ $\mathbf{x} + \epsilon \boldsymbol{\delta}$

शर्त (1) में कहा गया है कि गैर-ऋणात्मक गुणक जैसे कि KKT स्थितियां बिंदु पर संतुष्ट हैं । (ज्यामितीय रूप से, यह कहता है कि बाधाओं के ग्रेडिएंट्स द्वारा परिभाषित उत्तल शंकु में निहित है।) $\boldsymbol{\lambda}$ $\mathbf{x}$ $- \nabla f$

स्थिति (2) बताती है कि बिंदु , वहां (स्थानीय रूप से) को स्थानांतरित करने के लिए एक दिशा मौजूद है: $\mathbf{x}$ $\boldsymbol{\delta}$

दिशा में जाने से उद्देश्य फ़ंक्शन कम हो जाता है (क्योंकि और का डॉट उत्पाद शून्य से कम है)। $\boldsymbol{\delta}$ $\nabla f(\mathbf{x})$ $\boldsymbol{\delta}$
दिशा में जाने से बाधाओं का मान नहीं बढ़ता है (क्योंकि और सभी के लिए शून्य से कम या बराबर है बाधाएं )। $\boldsymbol{\delta}$ $\nabla g_j(\mathbf{x})$ $\boldsymbol{\delta}$ $j$

(ज्यामितीय रूप से, संभव दिशा वेक्टर के बीच एक अलग हाइपरप्लेन को परिभाषित करता है और द्वारा परिभाषित उत्तल शंकु ।)।) $\boldsymbol{\delta}$ $-\nabla f(\mathbf{x})$ $\nabla g_j(\mathbf{x})$

(ध्यान दें: इसे लेम्मा में मैप करने के लिए , मैट्रिक्स ] $A = \begin{bmatrix} \nabla g_1, \nabla g_2, \ldots, \nabla g_k \end{bmatrix}$

यह तर्क आपको एक इष्टतम पर केकेटी परिस्थितियों की आवश्यकता (लेकिन पर्याप्तता नहीं) देता है। यदि केकेटी की शर्तें संतुष्ट नहीं हैं (और बाधा योग्यताएं संतुष्ट हैं), तो बाधाओं का उल्लंघन किए बिना उद्देश्य में सुधार करना संभव है।

बाधा योग्यता की भूमिका

क्या गलत हो सकता हैं? आप पतित स्थितियों को प्राप्त कर सकते हैं जहां बाधाओं के ग्रेडिएंट्स को स्थानांतरित करने के लिए संभव नहीं हैं।

वहाँ से चुनने के लिए विभिन्न तर्क योग्यता की एक भीड़ है कि उपरोक्त तर्क काम करने की अनुमति देगा।

न्यूनतम, अधिकतम व्याख्या (सबसे सहज रूप में)

लैग्रेन्जियम का गठन करें

L (x, λ) = f (x) + \sum_{j = 1}^{k} λ_{j} g_{j} (x)

$\mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) = f(\mathbf{x}) + \sum_{j=1}^k \lambda_jg_j(\mathbf{x})$

को बाध्य करने के लिए विषय को कम करने के बजाय , कल्पना करें कि आप को कम करने की कोशिश कर रहे हैं, जबकि कुछ प्रतिद्वंद्वी इसे अधिकतम करने की कोशिश कर रहे हैं। बाधाओं का उल्लंघन करने के लिए आप गुणक को दंड (कुछ प्रतिद्वंद्वी द्वारा चुना गया) के रूप में व्याख्या कर सकते हैं । $f$ $g_j$ $\mathcal{L}$ $\lambda_i$

मूल अनुकूलन समस्या का समाधान इसके बराबर है:

min_{x} max_{λ} L (x, λ)

$\min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

अर्थात्:

आप पहली बार को Lagrangian , को कम करने के लिए संज्ञान लेते हैं कि ... $\mathbf{x}$ $\mathcal{L}$
फिर मैं Lagrangian को अधिकतम करने के लिए (अपने pick )। $\boldsymbol{\lambda}$ $\mathbf{x}$

उदाहरण के लिए, यदि आप बाधा उल्लंघन करते हैं, तो मैं अनंत को सेट करके आपको दंडित कर सकता हूं ! $g_2$ $\lambda_2$

कमजोर द्वैत

किसी भी कार्य के लिए निरीक्षण करें: $f(x, y)$

\forall_{\hat{x}, \hat{y}} min_{x} f (x, \hat{y}) \leq f (\hat{x}, \hat{y}) \leq max_{y} f (\hat{x}, y)

$\forall_{\hat{x},\hat{y}} \quad \min_x f(x, \hat{y}) \leq f(\hat{x}, \hat{y}) \leq \max_y f(\hat{x}, y)$

चूँकि वह किसी भी और धारण करता है, यह भी मानता है कि: $\hat{x}$ $\hat{y}$

max_{y} min_{x} f (x, y) \leq min_{x} max_{y} f (x, y)

$\max_y \min_x f(x, y) \leq \min_x \max_y f(x, y)$

लैंगरियन सेटिंग में, इसका परिणाम यह है कि को कमजोर द्वंद्व के रूप में जाना जाता है। $\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) \leq \min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

दोहरी समस्या आपको समाधान पर एक कम बाध्य प्रदान करती है $\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

प्रबल द्वंद्व

कुछ विशेष परिस्थितियों में (उदाहरण के लिए उत्तल समस्या जहां स्लेटर की स्थिति है), आपके पास मजबूत द्वंद्व (यानी काठी बिंदु संपत्ति) है।

max_{λ} min_{x} L (x, λ) = min_{x} max_{λ} L (x, λ)

$\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) = \min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

यह सुंदर परिणाम तात्पर्य है कि आप समस्या के क्रम को उलट सकते हैं।

मैं पहली बार को अधिकतम करने के लिए पेनल्टी । $\boldsymbol{\lambda}$
फिर आप Lagrangian को कम करने के लिए । $\mathbf{x}$ $\mathcal{L}$

इस प्रक्रिया में सेट बाध्यताओं का उल्लंघन के लिए कीमतों में हैं, और कीमतों में इस तरह स्थापित कर रहे हैं कि आप बाधाओं का उल्लंघन कभी नहीं होगा। $\lambda$

— मैथ्यू गुन
स्रोत

समझ के अंतराल को भरने के लिए जानकारी और लिंक की सराहना करें। मुझे पुष्टि करने की अनुमति दें। स्थिति (1) का अर्थ है कि KKT एक बिंदु X के समाधान के लिए कहता है, उसे λ * g (X) = 0, λ> = 0 को संतुष्ट करना होगा, और g (X) के ग्रेडिएंट की लंबाई λ बार है f (X) में से, अन्यथा हम f (X) पॉइंट दिशा की ढाल पाएंगे जहाँ छोटे f (X ') पाए जा सकते हैं?

— मोन

स्लेटर स्थिति (सिर्फ) एक बाधा योग्यता है जिसे उत्तल अनुकूलन समस्याओं पर लागू किया जा सकता है, यानी केकेटी आवश्यक बनाता है। उत्तलता KKT को पर्याप्त बनाती है। तो उत्तल अनुकूलन समस्या के लिए स्लेटर स्थिति जिसमें उद्देश्य फ़ंक्शन और बाधाएं उत्तल हैं और लगातार भिन्नता KKT को वैश्विक न्यूनतम के लिए आवश्यक और पर्याप्त बनाती है। स्लेटर स्थिति यह है कि कम से कम एक संभव बिंदु है (यानी, सभी बाधाओं को संतुष्ट करना) जो सभी गैर-अड़चन बाधाओं (कुछ भी रैखिक बाधाओं के साथ, जब तक संभव हो) के सख्त इंटीरियर में है।

— मार्क एल। स्टोन

च के लिए एक्स (x) उत्तल होना आवश्यक है, जो कि स्थानीय न्यूनतम होने के लिए केकेटी के लिए पर्याप्त होना चाहिए। यदि f (x) या -g (x) उत्तल नहीं है, तो K संतोषजनक संतोषजनक X, स्थानीय न्यूनतम, काठी या स्थानीय अधिकतम हो सकता है।

जी (x) रैखिक होने के साथ-साथ f (x) निरंतर भिन्न होने के कारण KKT स्थितियों के लिए स्थानीय न्यूनतम के लिए आवश्यक होना पर्याप्त है। g (x) रेखीय होने का अर्थ है कि KKT के लिए स्थानीय न्यूनतम के लिए रैखिक संयम योग्यता संतुष्ट है। हालांकि, अन्य कम प्रतिबंधात्मक बाधाएं हैं जो स्थानीय न्यूनतम के लिए आवश्यक केकेटी शर्तों के लिए पर्याप्त हैं। Https://en.wikipedia.org/wiki/Karush%E2%80%93Kuhn%E2%80%93Tucker_conditions की नियमितता की स्थिति (या बाधा योग्यता) अनुभाग देखें ।

यदि किसी स्थानीय न्यूनतम में कोई "सक्रिय" बाधा नहीं है (इसलिए केवल एक असमानता की कमी के मामले में, वह बाधा समानता से संतुष्ट नहीं है), तो ऐसी बाधाओं से जुड़े लेग्रेंज गुणक शून्य होना चाहिए, उस स्थिति में, केकेटी की स्थिति कम हो जाती है उद्देश्य का ढाल = 0. ऐसे मामले में, बाधा के कस के एक एप्सिलॉन के इष्टतम उद्देश्य मूल्य के लिए शून्य "लागत" है।

अधिक जानकारी :

उद्देश्य समारोह और बाधाएं उत्तल हैं और वैश्विक न्यूनतम के लिए लगातार विभेदित केकेटी पर्याप्त है।

यदि उद्देश्य फ़ंक्शन और बाधाएं लगातार भिन्न होती हैं और बाधाएं एक बाधा योग्यता को संतुष्ट करती हैं, तो स्थानीय न्यूनतम के लिए केकेटी आवश्यक है।

यदि वस्तुनिष्ठ कार्य और बाधाएं निरंतर भिन्न हैं, उत्तल हैं, और बाधाएं एक बाधा योग्यता को पूरा करती हैं, तो KKT एक वैश्विक न्यूनतम के लिए आवश्यक और पर्याप्त है।

उपरोक्त चर्चा वास्तव में केवल 1 आदेश केकेटी स्थितियों से संबंधित है। द्वितीय आदेश केकेटी की स्थितियां भी हैं, जिन्हें निम्नानुसार कहा जा सकता है: एक बिंदु जो संतोषजनक है 1 आदेश केकेटी की शर्तें और जिसके लिए उद्देश्य फ़ंक्शन और बाधाएं दो बार लगातार भिन्न होती हैं (पर्याप्त के लिए) एक स्थानीय न्यूनतम है यदि लग्रियन के हेस्सियन में अनुमानित सक्रिय बाधाओं के जैकबियन के nullspace सकारात्मक अर्धचालक है। (मैं आपको पूर्ववर्ती वाक्य में प्रयुक्त शब्दावली को देखने दूंगा।) को सक्रिय अड़चनों के जैकबियन के नल क्षेत्र के लिए एक आधार बनाने के लिए, 2 क्रम KKT की शर्त है कि सकारात्मक अर्ध-निश्चित है, जहां $Z$ $Z^T H Z$ $H$ लैग्रेनियन का हेस्सियन है। सक्रिय बाधाओं में सभी समानता की बाधाओं और सभी असमानता बाधाओं से मिलकर बनता है जो विचाराधीन बिंदु पर समानता से संतुष्ट हैं। यदि कोई बाधा विचाराधीन 1 आदेश केकेटी बिंदु पर सक्रिय नहीं है, तो पहचान मैट्रिक्स एक नलस्पेस आधार , और सभी लैग्रेग मल्टीप्लायरों को शून्य होना चाहिए, इसलिए, स्थानीय न्यूनतम के लिए 2 आदेश आवश्यक स्थिति असंस्कारी अनुकूलन के लिए परिचित स्थिति को कम कर देता है उद्देश्य फ़ंक्शन का हेसियन सकारात्मक अर्ध-निश्चित है। यदि सभी बाधाएं रैखिक हैं, तो Lagrangian के हेस्सियन = हेस्सियन ऑफ़ ऑब्जेक्टिव फंक्शन क्योंकि एक रैखिक फ़ंक्शन के 2 व्युत्पन्न = 0। $Z$

— मार्क एल। स्टोन
स्रोत