सममित सकारात्मक निश्चित (एसपीडी) मैट्रिक्स इतने महत्वपूर्ण क्यों हैं?

Question

मैं सममित सकारात्मक निश्चित (एसपीडी) मैट्रिक्स की परिभाषा जानता हूं, लेकिन अधिक समझना चाहता हूं।

वे इतने महत्वपूर्ण क्यों हैं, सहज ज्ञान युक्त?

यहाँ मुझे क्या पता है और क्या?

• किसी दिए गए डेटा के लिए, सह-विचरण मैट्रिक्स SPD है। सह-विचरण मैट्रिक्स एक महत्वपूर्ण मीट्रिक है, सहज व्याख्या के लिए इस उत्कृष्ट पोस्ट को देखें ।

• द्विघात उत्तल है, यदि SPD है। उत्तलता एक फ़ंक्शन के लिए एक अच्छी संपत्ति है जो यह सुनिश्चित कर सकती है कि स्थानीय समाधान वैश्विक समाधान है। उत्तल समस्याओं के लिए, हल करने के लिए कई अच्छे एल्गोरिदम हैं, लेकिन गैर-कोवेक्स समस्याओं के लिए नहीं।$\frac 1 2 x^\top Ax-b^\top x +c$$A$

• जब SPD होता है, तो द्विघात फॉर्म लिए ऑप्टिमाइज़ेशन सॉल्यूशन और लीनियर सिस्टम का समाधान एक ही होता है। तो हम दो शास्त्रीय समस्याओं के बीच रूपांतरण चला सकते हैं। यह महत्वपूर्ण है क्योंकि यह हमें एक डोमेन में दूसरे में खोजे गए ट्रिक्स का उपयोग करने में सक्षम बनाता है। उदाहरण के लिए, हम एक रैखिक प्रणाली को हल करने के लिए संयुग्म ढाल पद्धति का उपयोग कर सकते हैं।$A$

  $$\text{minimize}~~~ \frac 1 2 x^\top Ax-b^\top x +c$$ $$Ax=b$$

• कई अच्छे एल्गोरिदम (तेज, संख्यात्मक स्थिर) हैं जो एसपीडी मैट्रिक्स के लिए बेहतर काम करते हैं, जैसे कि चोल्स्की अपघटन।

संपादित करें: मैं एसपीडी मैट्रिक्स के लिए पहचान पूछने की कोशिश नहीं कर रहा हूं, लेकिन महत्व दिखाने के लिए संपत्ति के पीछे अंतर्ज्ञान। उदाहरण के लिए, जैसा @Matthew Drury द्वारा बताया गया है, यदि कोई मैट्रिक्स SPD है, तो Eigenvalues ​​सभी सकारात्मक वास्तविक संख्याएं हैं, लेकिन सभी सकारात्मक मामले क्यों हैं। @ मैथ्यू ड्र्यूरी के पास बहने का एक बड़ा जवाब था और यही वह चीज थी जिसकी मुझे तलाश थी।

Comments

Eigenvalues ​​सभी सकारात्मक वास्तविक संख्याएं हैं। यह तथ्य अन्य लोगों को बहुत प्रभावित करता है।

— मैथ्यू पारा

@ मैथ्यू से थोड़ा आगे जाने के लिए: यदि आप एक उपयुक्त आधार चुनते हैं, तो ऐसे सभी मैट्रेस समान हैं और पहचान मैट्रिक्स के बराबर हैं। दूसरे शब्दों में, प्रत्येक आयाम (वास्तविक वेक्टर रिक्त स्थान के लिए) में एक सकारात्मक-निश्चित द्विघात रूप है और यह यूक्लिडियन दूरी के समान है।

— whuber

आप एक वास्तविक सममित मैट्रिक्स के आइगेनवेल्यूज़ दिखाने के कई प्राथमिक तरीकों से कुछ अंतर्ज्ञान प्राप्त करेंगे सभी वास्तविक हैं: mathoverflow.net/questions/118626/… विशेष रूप से, द्विघात रूप स्वाभाविक रूप से रेलेह भागफल में होता है, और सममित मैट्रिक्‍स, मैट्रिक्‍स के एक बड़े परिवार को प्रदर्शित करने का प्राकृतिक तरीका प्रदान करते हैं जिनके स्वदेशी असली हैं। उदाहरण के लिए कोर्टेंट मिनिमेक्स प्रमेय देखें: en.wikipedia.org/wiki/Courant_minimax_principle$x^TAx$

— एलेक्स आर।

यह व्यापक रूप से व्यापक लगता है, अगर यह पहले से ही तीन जवाब नहीं था, तो मैं संभवतः उस आधार पर इसे बंद कर दिया था। कृपया इस बारे में अधिक मार्गदर्शन प्रदान करें कि आप विशेष रूप से क्या जानना चाहते हैं (अंतर्ज्ञान के लिए पूछना बहुत अधिक व्यक्तिगत है / इस तरह के मामले में लोगों के लिए व्यक्तिगत रूप से अनुमान लगाने के लिए)

— Glen_b -Reinstate Monica

मेरे पास आँकड़ों में एक स्थिति आने का एक कठिन समय है जो एक मैट्रिक्स को जन्म देगा जो psd नहीं है (जब तक कि आप किसी सहसंबंध मैट्रिक्स की गणना में पेंच नहीं करते हैं, उदाहरण के लिए इसे जोड़कर मानों के साथ डेटा पर गणना की गई जोड़ीदार सहसंबंध के साथ भरता है) । किसी भी वर्ग सममित मैट्रिक्स मैं सोच सकता है कि या तो एक सहसंयोजक, एक सूचना या एक प्रक्षेपण मैट्रिक्स है। (लागू गणित में कहीं और, गैर-psd matrices एक सांस्कृतिक आदर्श हो सकता है, जैसे PDE में परिमित तत्व matrices, कहते हैं।)

— StasK

Answer 1

A (वास्तविक) सममित मैट्रिक्स में ऑर्थोगोनल आइजनवेक्टर का एक पूरा सेट होता है, जिसके लिए संबंधित आइजनवेल्स सभी वास्तविक संख्याएं होती हैं। गैर-सममित मैट्रिक्स के लिए यह विफल हो सकता है। उदाहरण के लिए, दो आयामी अंतरिक्ष में एक रोटेशन में वास्तविक संख्याओं में कोई eigenvector या eigenvalues ​​नहीं है, आपको उन्हें खोजने के लिए जटिल संख्याओं से अधिक वेक्टर स्थान पर पास होना चाहिए।

यदि मैट्रिक्स अतिरिक्त रूप से सकारात्मक निश्चित है, तो ये eigenvalues ​​सभी सकारात्मक वास्तविक संख्याएं हैं। इस तथ्य को, पहले की तुलना में बहुत आसान है अगर के लिए इकाई लंबाई के साथ एक आइजन्वेक्टर है, और इसी eigenvalue, तो$v$$\lambda$

$$\lambda = \lambda v^t v = v^t A v > 0$$

जहां अंतिम समानता सकारात्मक निश्चितता की परिभाषा का उपयोग करती है।

अंतर्ज्ञान के लिए यहां महत्व यह है कि रैखिक परिवर्तन के आईजेनवेक्टर और ईजेनवेल्स समन्वय प्रणाली का वर्णन करते हैं जिसमें परिवर्तन सबसे आसानी से समझा जाता है। एक रेखीय परिवर्तन मानक समन्वय प्रणाली की तरह "प्राकृतिक" आधार में समझना बहुत मुश्किल हो सकता है, लेकिन प्रत्येक eigenvectors के "पसंदीदा" आधार के साथ आता है जिसमें परिवर्तन सभी दिशाओं में स्केलिंग के रूप में कार्य करता है। यह परिवर्तन की ज्यामिति को समझने में बहुत आसान बनाता है।

उदाहरण के लिए, किसी फ़ंक्शन की स्थानीय एक्सट्रैमा के लिए दूसरा व्युत्पन्न परीक्षण अक्सर रहस्यमय स्थितियों की एक श्रृंखला के रूप में दिया जाता है जिसमें दूसरे व्युत्पन्न मैट्रिक्स और कुछ निर्धारकों में प्रवेश शामिल होता है। वास्तव में, ये स्थितियाँ केवल निम्नलिखित ज्यामितीय अवलोकन को कूटबद्ध करती हैं:$R^2 \rightarrow R$

• यदि दूसरी व्युत्पत्ति का मैट्रिक्स सकारात्मक निश्चित है, तो आप स्थानीय न्यूनतम पर हैं।
• यदि दूसरी व्युत्पत्ति का मैट्रिक्स नकारात्मक निश्चित है, तो आप स्थानीय अधिकतम पर हैं।
• अन्यथा, आप न तो हैं, एक काठी बिंदु है।

आप इसे एक ज्यामितीय तर्क के ऊपर एक आइजेनबैसिस में समझ सकते हैं। एक महत्वपूर्ण बिंदु पर पहला व्युत्पन्न गायब हो जाता है, इसलिए यहां फ़ंक्शन के परिवर्तन की दर दूसरी व्युत्पन्न द्वारा नियंत्रित की जाती है। अब हम ज्यामितीय रूप से तर्क कर सकते हैं

• पहले मामले में दो ईजन-दिशाएं हैं, और यदि आप या तो चलते हैं तो फ़ंक्शन बढ़ता है।
• दूसरे में, दो ईगन-दिशाएं, और यदि आप या तो फ़ंक्शन में जाते हैं तो घट जाती है।
• आखिरी में, दो ईगन-दिशाएं हैं, लेकिन उनमें से एक में फ़ंक्शन बढ़ता है, और दूसरे में यह घटता है।

चूंकि eigenvectors पूरे स्थान को फैलाते हैं, कोई अन्य दिशा eigen-दिशाओं का एक रैखिक संयोजन है, इसलिए उन दिशाओं में परिवर्तन की दर eigen दिशाओं में परिवर्तन की दरों के रैखिक संयोजन हैं। तो वास्तव में, यह सभी दिशाओं में होता है (यह कमोबेश एक उच्च आयामी स्थान पर परिभाषित फ़ंक्शन के लिए इसका मतलब है जो अलग-अलग हो सकता है)। अब यदि आप अपने सिर में एक छोटी सी तस्वीर खींचते हैं, तो इससे बहुत कुछ समझ में आता है जो शुरुआती पथरी ग्रंथों में काफी रहस्यमय है।

यह सीधे आपके एक गोली बिंदु पर लागू होता है

द्विघात उत्तल है, यदि SPD है। उत्तल एक अच्छी संपत्ति है जो यह सुनिश्चित कर सकती है कि स्थानीय समाधान वैश्विक समाधान है$\frac 1 2 x^\top Ax-b^\top x +c$$A$

दूसरे डेरिवेटिव का मैट्रिक्स हर जगह है, जो सममित सकारात्मक निश्चित है। ज्यामितीय रूप से, इसका मतलब है कि यदि हम किसी भी ईजन-दिशा (और इसलिए किसी भी दिशा में दूर जाते हैं, क्योंकि कोई भी अन्य ईजीन-दिशाओं का एक रैखिक संयोजन है) तो फ़ंक्शन स्वयं ही स्पर्शरेखा विमान के ऊपर झुक जाएगा । इसका मतलब है कि पूरी सतह उत्तल है।$A$

Comments

इसे देखने का एक चित्रमय तरीका: यदि SPD है, तो संबद्ध द्विघात रूप के समरूप दीर्घवृत्त हैं। $\mathbf A$

— जेएम

@JM द्वारा वह लक्षण वर्णन बहुत बोधगम्य है। यदि कोई व्यक्ति सोच रहा है कि दीर्घवृत्तीय आकृति के बारे में क्या विशेष हो सकता है, तो ध्यान दें कि वे भेस में सिर्फ सही गोले हैं: माप की इकाइयाँ उनके प्रमुख अक्षों के साथ भिन्न हो सकती हैं और दीर्घवृत्त को निर्देशांक के संबंध में घुमाया जा सकता है जिसमें डेटा वर्णित हैं , लेकिन एक महान कई उद्देश्यों के लिए - विशेष रूप से वैचारिक वाले - वे अंतर असंगत हैं।

— whuber

यह मेरे न्यूटन के तरीके को ज्यामितीय रूप से समझने के तरीके से संबंधित है। एक दीर्घवृत्त के साथ सेट किए गए वर्तमान स्तर को लगभग अनुमानित करें, और फिर एक समन्वय प्रणाली लें जहां दीर्घवृत्त एक चक्र है, उस समन्वय प्रणाली में वृत्त के लिए ऑर्थोगोनल को स्थानांतरित करें।

— मैथ्यू

यदि वहाँ (सक्रिय) बाधाएँ हैं, तो आपको eigenvalue और eigendirection spiel करने से पहले सक्रिय बाधाओं के याकूबियन में प्रोजेक्ट करने की आवश्यकता है। यदि हेसियन psd है, तो (किसी भी) प्रोजेक्शन psd होगा, लेकिन ऐंठन जरूरी नहीं है कि सच है, और अक्सर नहीं है। मेरा जवाब देखिए।

— मार्क एल स्टोन

Answer 2

आपको वास्तविक सममित मैट्रिक्स के आइगेनवैल्यू दिखाने के कई प्राथमिक तरीकों से कुछ अंतर्ज्ञान मिलेंगे सभी वास्तविक हैं: /mathpro/118626/real-symmetric-matrix-has-real-eigenvalues-elementary- सबूत / 118,640 # 118,640

विशेष रूप से, द्विघात फॉर्म स्वाभाविक रूप से रेलेह भागवत में होता है, और सममित मैट्रिसेस प्रदान करते हैं जो मैट्रिसेस के एक बड़े परिवार को प्रदर्शित करने का सबसे स्वाभाविक तरीका है, जिनके आइजनल असली हैं। उदाहरण के लिए कोर्टेंट मिनिमेक्स प्रमेय देखें: https://en.wikipedia.org/wiki/Courant_minimax_ninciple$x^TAx$

: इसके अलावा सममित, सख्ती से सकारात्मक निश्चित मैट्रिक्स केवल मैट्रिक जो एक गैर तुच्छ आंतरिक उत्पाद परिभाषित कर सकते हैं, एक प्रेरित आदर्श के साथ की तैयारी में हैं । इसका कारण यह है असली वैक्टर के लिए परिभाषा से x , y घ ( एक्स , वाई ) = घ ( y , x ) सभी के लिए एक्स , वाई और ‖ एक्स ‖ 2$d(x,y)=\langle x,Ay\rangle=x^TAy$$x,y$ $d(x,y)=d(y,x)$$x,y$ के लिए एक्स ≠ 0 । इस तरह, सममितीय सकारात्मक निश्चित मेट्रिसेस को समन्वित परिवर्तनों के लिए आदर्श उम्मीदवारों के रूप में देखा जा सकता है।$\|x\|^2=x^TAx>0$$x\neq 0$

यह बाद की संपत्ति समर्थन वेक्टर मशीनों, विशेष रूप से गिरी विधियों और कर्नेल चाल के क्षेत्र में बिल्कुल महत्वपूर्ण है , जहां सही आंतरिक उत्पाद को प्रेरित करने के लिए कर्नेल को सममित रूप से सकारात्मक होना चाहिए। वास्तव में मर्सर का प्रमेय सममितीय मैट्रिसेस के सहज गुणों को कार्यात्मक स्थानों तक सामान्य करता है।

Answer 3

$f(x + \Delta x)$

$$f(x + \Delta x)\approx f(x) + \Delta x^T \nabla f(x)+ \frac{1}{2} \Delta x^T \nabla^2 f(x) \Delta x$$

इसके बाद, हम के संबंध में व्युत्पन्न ले :$\Delta x$

$$f'(x + \Delta x)\approx \nabla f(x) + \nabla^2 f(x) \Delta x$$

$\Delta x$

$$\Delta x = -\nabla^2 f(x)^{-1} \nabla f(x)$$

$\nabla^2 f(x)$$\Delta x$

$$\nabla f(x)^T \Delta x = -\nabla f(x)^T \nabla^2 f(x)^{-1} \nabla f(x) < 0$$

न्यूटन की विधि का उपयोग करते समय, गैर-एसपीडी हेसियन मैट्रिसेस आमतौर पर एसपीडी होने के लिए "नग्न" होते हैं। एक साफ एल्गोरिथ्म है जिसे संशोधित चोल्स्की कहा जाता है जो एक गैर-एसपीडी हेसियन का पता लगाएगा, यह उचित रूप से सही दिशा में "न्यूड" होगा और परिणाम को सभी के लिए एक समान रूप से चॉल्स्की फैक्टराइजेशन के लिए समान रूप से निर्धारित करेगा। अर्ध-न्यूटन विधियाँ इस समस्या से बचने के लिए लगभग Hessian को SPD होने के लिए मजबूर करती हैं।

एक तरफ के रूप में, इन दिनों सममित अनिश्चितकालीन प्रणालियों को बहुत अधिक ध्यान दिया जा रहा है। वे विवश अनुकूलन के लिए आंतरिक बिंदु तरीकों के संदर्भ में आते हैं।

Comments

शानदार जवाब के लिए आपका बहुत-बहुत धन्यवाद। मैं समझता हूं कि लाइन सर्च विधि में सभ्य दिशा महत्वपूर्ण है। विश्वास क्षेत्र के तरीकों में, सभ्य दिशा भी महत्वपूर्ण है?

— हैताओ डू

यह अभी भी विश्वास क्षेत्र विधियों के लिए महत्वपूर्ण है। विश्वास क्षेत्र विधियाँ मूल रूप से चरण आकार FIRST को सीमित करके और फिर कदम दिशा के लिए हल करके काम करती हैं। यदि चरण उद्देश्य फ़ंक्शन मान में वांछित कमी प्राप्त नहीं करता है, तो आप चरण आकार पर बाध्य को कम करते हैं और शुरू करते हैं। कल्पना करें कि चरण दिशा उत्पन्न करने के लिए आपका एल्गोरिथ्म यह गारंटी नहीं देता है कि चरण दिशा एक मूल दिशा है। भले ही ट्रस्ट क्षेत्र की त्रिज्या 0 हो जाती है, आप कभी भी स्वीकार्य कदम नहीं उठा सकते हैं (भले ही कोई मौजूद हो) क्योंकि आपका कोई भी कदम दिशात्मक दिशा नहीं है।

— बिल वोस्नर

लाइन खोज विधियां मूल रूप से समान व्यवहार प्रदर्शित करती हैं। यदि आपकी खोज दिशा वंश दिशा नहीं है, तो पंक्ति खोज एल्गोरिथ्म को कभी भी स्वीकार्य चरण लंबाई नहीं मिल सकती है - क्योंकि एक नहीं है। :-)

— बिल वोस्नर

शानदार जवाब, टुकड़ों को जोड़ने में मेरी मदद करने के लिए धन्यवाद।

— हाइताओ डू

Answer 4

ज्यामितीय रूप से, एक सकारात्मक निश्चित मैट्रिक्स एक मीट्रिक को परिभाषित करता है , उदाहरण के लिए एक रीमैनियन मीट्रिक, इसलिए हम तुरंत ज्यामितीय अवधारणाओं का उपयोग कर सकते हैं।

$x$$y$$A$

$$d(x,y) = \sqrt{(x-y)^T A (x-y)}$$

$\mathbb{R}^n$

$$\langle x,y \rangle = x^T A y$$ $A$$\mathbb{R}^n$

Comments

$\mathbf A=\mathbf I$

Answer 5

पहले से ही कई उत्तर हैं जो बताते हैं कि सममित सकारात्मक निश्चित मैट्रिक्स इतने महत्वपूर्ण क्यों हैं, इसलिए मैं यह उत्तर देते हुए बताऊंगा कि वे कुछ लोगों के लिए उतने महत्वपूर्ण क्यों नहीं हैं, जिनमें से कुछ उत्तरों के लेखक भी शामिल हैं, सोचते हैं। सादगी के लिए, मैं ध्यान को सममित मैट्रिसेस तक सीमित कर दूंगा, और हेसियन और अनुकूलन पर ध्यान केंद्रित करूंगा।

यदि भगवान ने दुनिया को उत्तल बनाया है, तो उत्तल अनुकूलन नहीं होगा, तो बस अनुकूलन होगा। इसी तरह, वहाँ (सममित) सकारात्मक निश्चित matrices नहीं होगा, वहाँ बस (सममित) matrices होगा। लेकिन ऐसा नहीं है, इसलिए इससे निपटें।

यदि एक द्विघात प्रोग्रामिंग समस्या उत्तल है, तो इसे "आसानी से" हल किया जा सकता है। यदि यह गैर-उत्तल है, तो एक वैश्विक इष्टतम अभी भी शाखा और बाध्य तरीकों का उपयोग करके पाया जा सकता है (लेकिन इसमें अधिक समय लग सकता है और अधिक मेमोरी)।

यदि अनुकूलन के लिए एक न्यूटन विधि का उपयोग किया जाता है और कुछ पुनरावृति में हेसियन अनिश्चितकालीन है, तो सकारात्मक सकारात्मकता के लिए इसे "परिमित" करना आवश्यक नहीं है। यदि एक लाइन खोज का उपयोग किया जाता है, तो नकारात्मक वक्रता की दिशाएं मिल सकती हैं और उनके साथ निष्पादित लाइन खोज, और यदि एक ट्रस्ट क्षेत्र का उपयोग कर रहे हैं, तो कुछ छोटे पर्याप्त विश्वास क्षेत्र है जैसे कि ट्रस्ट क्षेत्र की समस्या का समाधान वंश को प्राप्त करता है।

क्वैसी-न्यूटन विधियों के रूप में, BFGS (अगर समस्या विवश है तो भीग गई) और डीएफपी हेस्सियन या व्युत्क्रम हेसियन सन्निकटन की सकारात्मक निश्चितता बनाए रखता है। अन्य क्वैसी-न्यूटन विधियाँ, जैसे SR1 (Symmetric Rank One) जरूरी सकारात्मकता को बनाए नहीं रखती हैं। इससे पहले कि आप सभी को आकार से बाहर कर दें, वह SR1 को कई समस्याओं के लिए चुनने का एक अच्छा कारण है - अगर हेस्सियन वास्तव में इष्टतम के रास्ते के साथ सकारात्मक निश्चित नहीं है, तो सकारात्मक होने के लिए क्वासी-न्यूटन सन्निकटन के लिए मजबूर करना उद्देश्य समारोह के लिए एक घटिया द्विघात अनुमानित परिणाम हो सकता है। इसके विपरीत, SR1 अद्यतन विधि "एक हंस के रूप में ढीली" है, और यह आगे बढ़ने के साथ-साथ अपनी निश्चितता को आकार दे सकता है।

गैर-स्पष्ट रूप से विवश अनुकूलन समस्याओं के लिए, जो वास्तव में मायने रखता है वह उद्देश्य फ़ंक्शन के हेसियन नहीं है, लेकिन लैग्रेन्ज के हेस्सियन। Lagrangian का Hessian अनिश्चित (a) इष्टतम पर भी हो सकता है, और वास्तव में, यह केवल Lagrangian के Hessian के प्रोजेक्शन को सक्रिय (रैखिक और गैर-रेखीय) बाधाओं के जुलियन के नलिका क्षेत्र में करता है, जिसे सकारात्मक अर्ध की आवश्यकता होती है इष्टतम पर अनिश्चित है। यदि आप बीएफजीएस के माध्यम से लैग्रेजियन के हेस्सियन को मॉडल करते हैं और इस तरह इसे सकारात्मक निश्चित होने के लिए विवश करते हैं, तो यह हर जगह एक भयानक फिट हो सकता है, और अच्छी तरह से काम नहीं कर सकता है। इसके विपरीत, एसआर 1 अपने आइजेनवेल्स को वास्तव में "देखे" के लिए अनुकूलित कर सकता है।

वहाँ बहुत कुछ है कि मैं इस सब के बारे में कह सकता हूं, लेकिन यह आपको स्वाद देने के लिए पर्याप्त है।

संपादित करें : मैंने जो 2 पैराग्राफ लिखे हैं वह सही है। हालाँकि, मैं यह बताना भूल गया कि यह रैखिक रूप से विवश समस्याओं पर भी लागू होता है। रैखिक रूप से विवश समस्याओं के मामले में, लेगरियन के हेस्सियन सिर्फ उद्देश्य समारोह के हेस्सियन को कम करता है। तो एक स्थानीय न्यूनतम के लिए दूसरा आदेश इष्टतमता स्थिति यह है कि सक्रिय बाधाओं के जैकबियन के नलस्पेस में उद्देश्य समारोह के हेस्सियन का प्रक्षेपण सकारात्मक अर्ध-निश्चित है। सबसे विशेष रूप से, उद्देश्य फ़ंक्शन के हेसियन को इष्टतम रूप से psd (जरूरी) नहीं होना चाहिए, और अक्सर, रैखिक रूप से विवश समस्याओं पर भी नहीं।

Comments

"नॉन-कॉनवेक्स लॉस फंक्शंस से कौन डरता है?" ... नहीं @ MarkL.Stone

— GeoMatt22

@ GeoMatt22 आप अपने @ $ $ मैं नहीं कर रहा हूँ शर्त। दूसरी ओर, यदि आप एक नुकसान फ़ंक्शन बनाने (चुनने) जा रहे हैं, तो इसे गैर-उत्तल बनाने की आवश्यकता नहीं है जब यह शो-बोटिंग के अलावा कोई अच्छा उद्देश्य नहीं देता है। विवेक वीरता का बेहतर हिस्सा है।

— मार्क एल। स्टोन

@ मर्क एल। स्टोन: यह दिलचस्प है! क्या आप कुछ साहित्य का संदर्भ दे सकते हैं जहां मैं ऐसी चीजों के बारे में पढ़ सकता हूं?

— kjetil b halvorsen

@kjetil b हलवेर्सन। नकारात्मक वक्रता लोक के निर्देशों के साथ लाइन खोजें ।uib.no/ssu029/Pdf_file/Curvilinear/More79.pdf । ट्रस्ट क्षेत्र कई पुस्तकों और पत्रों में शामिल हैं। ट्रस्ट क्षेत्रों के लिए अच्छे परिचय के साथ प्रसिद्ध पुस्तक amazon.com/… है । राक्षस पुस्तक, अब कुछ हद तक पुरानी है, यह epubs.siam.org/doi/book/10.1137/1.9780898719857 है । इष्टतम स्थितियों के बारे में मेरे आखिरी पैराग्राफ के लिए, 2 के आदेश पर पढ़ें केकेटी की स्थिति

— मार्क एल। स्टोन

@kjetil b halvorsen मैंने गैर-उत्तल द्विघात कार्यक्रम के वैश्विक इष्टतम को खोजने का पता नहीं लगाया। व्यापक रूप से उपलब्ध सॉफ़्टवेयर, जैसे CPLEX, ऐसा कर सकते हैं, ibm.com/support/knowledgecenter/SS9UKU_12.6.1/… देखें । बेशक, यह हमेशा तेज नहीं होता है, और कुछ मेमोरी की आवश्यकता हो सकती है। मैंने वैश्विक इष्टतमता के लिए हल किया है कुछ QP कम से कम दसियों चर के साथ समस्याएं जो कई सौ साइनफिकेंट परिमाण नकारात्मक ईजेन्यूवल थीं।

— मार्क एल स्टोन

Answer 6

आपने पहले ही कारणों का एक गुच्छा उद्धृत किया है कि एसपीडी महत्वपूर्ण क्यों है फिर भी आपने अभी भी प्रश्न पोस्ट किया है। तो, यह मुझे लगता है कि आपको पहले इस प्रश्न का उत्तर देने की आवश्यकता है: सकारात्मक मात्रा क्यों मायने रखती है?

मेरा उत्तर है कि हमारे अनुभवों या मॉडलों के साथ सामंजस्य स्थापित करने के लिए कुछ मात्रा सकारात्मक होनी चाहिए। उदाहरण के लिए, अंतरिक्ष में वस्तुओं के बीच की दूरी को सकारात्मक होना चाहिए। निर्देशांक नकारात्मक हो सकते हैं, लेकिन दूरी हमेशा गैर-नकारात्मक होती है। इसलिए, यदि आपके पास एक डेटा सेट है और कुछ एल्गोरिथ्म जो इसे संसाधित करता है, तो आप एक के साथ अच्छी तरह से समाप्त हो सकते हैं जब आप इसमें एक नकारात्मक दूरी फ़ीड करते हैं। तो, आप कहते हैं कि "मेरे एल्गोरिथ्म को हर समय सकारात्मक दूरी इनपुट की आवश्यकता है", और यह अनुचित मांग की तरह नहीं होगा।

$$\sum_i (x_i-\mu)^2/n$$ $x_i$

इस प्रकार, विचरण-सहसंयोजक मैट्रिक्स सकारात्मक अर्ध-निश्चित है, अर्थात इस सादृश्य में "गैर-नकारात्मक"। एक एल्गोरिथ्म का उदाहरण जिसके लिए इस स्थिति की आवश्यकता होती है, चोल्स्की अपघटन है, यह बहुत आसान है। इसे अक्सर "मैट्रिक्स का वर्गमूल" कहा जाता है। तो, एक वास्तविक संख्या के वर्गमूल की तरह जिसे गैर-नकारात्मकता की आवश्यकता होती है, चोल्स्की गैर-नकारात्मक मैट्रिक्स चाहता है। हम इस विवशता को कोविर्स मैट्रिस के साथ काम करते हुए नहीं पाते क्योंकि वे हमेशा से हैं।

तो, यह मेरा उपयोगितावादी उत्तर है। गैर-नकारात्मकता या एसपीडी जैसी बाधाएं हमें अधिक कुशल गणना एल्गोरिथ्म या सुविधाजनक मॉडलिंग उपकरण बनाने की अनुमति देती हैं जो आपके इनपुट इन बाधाओं को संतुष्ट करते समय उपलब्ध हैं।

Answer 7

यहां दो और कारण बताए गए हैं, जिनके लिए सकारात्मक-अर्धवार्षिक मेट्रिसेस महत्वपूर्ण क्यों नहीं हैं:

1. ग्राफ लाप्लासियन मैट्रिक्स तिरछे प्रमुख है और इस प्रकार PSD।

2. सकारात्मक संगोष्ठी सममित मैट्रिक्स के सेट पर एक आंशिक आदेश को परिभाषित करती है (यह अर्ध-प्रोग्रामिंग प्रोग्रामिंग की नींव है)।