मैट्रिक्स एंट्रॉपी में बाधा अनुकूलन समस्या

मुझे (शैनन) मैट्रिक्स एन्ट्रापी में एक बाधा अनुकूलन समस्या है । मैट्रिक्स को फॉर्म के रैंक 1 मैट्रिक्स के योग के रूप में लिखा जा सकता है जहां एक सामान्यीकृत वेक्टर है। रैंक एक मैट्रेस के गुणांक अज्ञात हैं जिसमें हम अनुकूलन करते हैं और उन्हें शून्य से बड़ा और 1 तक योग करना पड़ता है। $\mathtt{(sum(entr(eig(A))))}$ $A$ $[v_i\,v_i^T]$ $v_i$

जैसे सिंटैक्स में समस्या इस प्रकार है: दिए गए वेरिएबल $\mathtt{c(n)}$

minimize s u m (e n t r (e i g (A)))

$\text{minimize} \qquad \mathtt{sum(entr(eig(A)))}$

\begin{aligned} subject to A & = \sum c_{i} v_{i} v_{i}^{T} \\ \sum c_{i} & = 1 \\ c_{i} & \geq 0 \end{aligned}

$\begin{align} \text{subject to} \qquad A &= \sum c_i v_i v_i^T\\ \sum c_i &= 1\\ c_i &\ge 0\end{align}$ ।

क्या किसी को इस बात का अंदाजा है कि इसे कुशलता से कैसे हल किया जाए? मैं पहले से ही जानता हूं कि इसे शायद अर्ध-निश्चित प्रोग्रामिंग (एसडीपी) समस्या के रूप में नहीं डाला जा सकता।

optimization entropy

— सूख जाता है
स्रोत

संपादित करें: एक सहकर्मी ने मुझे सूचित किया कि नीचे दी गई मेरी विधि निम्न पेपर में सामान्य विधि का उदाहरण है, जब एन्ट्रापी फ़ंक्शन के लिए विशेष है,

ओवरटन, माइकल एल।, और रॉबर्ट एस। वोमर्सले। "सममितीय मैट्रिसेस के आइगेनवेल्यूज के अनुकूलन के लिए दूसरा डेरिवेटिव।" मैट्रिक्स विश्लेषण और अनुप्रयोग पर SIAM जर्नल 16.3 (1995): 697-718। http://ftp.cs.nyu.edu/cs/faculty/overton/papers/pdffiles/eighess.pdf

अवलोकन

इस पोस्ट में मैं दिखाता हूं कि ऑप्टिमाइज़ेशन समस्या अच्छी तरह से सामने आ गई है और समाधान में असमानता की बाधाएँ निष्क्रिय हैं, फिर एन्ट्रापी फ़ंक्शन के पहले और दूसरे फ्रीचेट डेरिवेटिव की गणना करें, फिर समता बाधा को समाप्त करने के साथ समस्या पर न्यूटन के तरीके का प्रस्ताव करें। अंत में, मैटलैब कोड और संख्यात्मक परिणाम प्रस्तुत किए जाते हैं।

अनुकूलन की समस्या का अच्छा होना

सबसे पहले, सकारात्मक निश्चित मेट्रिसेस का योग सकारात्मक निश्चित होता है, इसलिए , रैंक -1 मेट्रिसेस का योग सकारात्मक निश्चित है। यदि का सेट पूर्ण रैंक है, तो eigenvalues सकारात्मक हैं, इसलिए eigenvalues के लघुगणक को लिया जा सकता है। इस प्रकार वस्तुनिष्ठ फ़ंक्शन संभव सेट के इंटीरियर पर अच्छी तरह से परिभाषित है। $c_i > 0$

A (c) := \sum_{i = 1}^{N} c_{i} v_{i} v_{i}^{T}

$A(c):=\sum_{i=1}^N c_i v_i v_i^T$

v_{i}

$v_i$

A

$A$

दूसरा, के रूप में किसी भी , रैंक खो देता है तो सबसे छोटी eigenvalue शून्य करने के लिए चला जाता है। Ie, $c_i \rightarrow 0$ $A$ $A$ $\sigma_{min}(A(c)) \rightarrow 0$ को । चूँकि व्युत्पन्न के रूप में " चल रहा है , किसी के पास क्रमिक रूप से बेहतर और बेहतर बिंदुओं का अनुक्रम संभव नहीं है, जो संभव सेट की सीमा के निकट आता है। इस प्रकार समस्या अच्छी तरह से परिभाषित है और इसके अलावा असमानता निष्क्रिय है। $c_i \rightarrow 0$ $-\sigma \log(\sigma)$ $\sigma \rightarrow 0$ $c_i \ge 0$

एन्ट्रापी फ़ंक्शन का फ्रीचेट डेरिवेटिव

संभव क्षेत्र के आंतरिक में एन्ट्रापी फ़ंक्शन हर जगह फ्रैचेट भिन्न होता है, और दो बार फ्रैचेट अलग-अलग होते हैं जहां कभी भी स्वदेशी दोहराया नहीं जाता है। न्यूटन की विधि करने के लिए, हमें मैट्रिक्स एन्ट्रापी के डेरिवेटिव की गणना करने की आवश्यकता होती है, जो मैट्रिक्स के आईजेन्यूअल पर निर्भर करता है। इसके लिए मैट्रिक्स में परिवर्तन के संबंध में एक मैट्रिक्स के eigenvalue अपघटन के कंप्यूटिंग संवेदनशीलता की आवश्यकता होती है।

याद रखें कि एक मैट्रिक्स के लिए साथ eigenvalue अपघटन , मूल मैट्रिक्स में परिवर्तन के संबंध में eigenvalue मैट्रिक्स के व्युत्पन्न है, और eigenvector मैट्रिक्स का व्युत्पन्न है, $A$ $A = U \Lambda U^T$

d Λ = I \circ (U^{T} d A U),

$d\Lambda = I \circ (U^T dA U),$

d U = U C (d A),

$dU = UC(dA),$ जहां है Hadamard उत्पाद , गुणांक मैट्रिक्स के साथ

\circ

$\circ$

C = {\begin{cases} \frac{u_{i}^{T} d A u_{j}}{λ_{j} - λ_{i}}, & i = j \\ 0, & i = j \end{cases}

$C = \begin{cases} \frac{u_i^T dA u_j}{\lambda_j - \lambda_i}, & i=j \\ 0, &i=j \end{cases}$

इस तरह के फार्मूले eigenvalue समीकरण को अलग करके बनाए जाते हैं, और जब भी आइजेन्यूअल अलग होते हैं, तो सूत्र पकड़ लेते हैं। जब वहाँ पुनर्जन्म दोहराया जाता है, के लिए सूत्र $AU=\Lambda U$ $d\Lambda$ में एक हटाने योग्य असंतोष होता है जिसे इतने लंबे समय तक बढ़ाया जा सकता है जब तक कि नॉनकिक eigenvectors को सावधानी से चुना जाता है। इस बारे में जानकारी के लिए, निम्न प्रस्तुति और कागज देखें ।

फिर दूसरी व्युत्पत्ति को फिर से विभेदित करके पाया जाता है,

\begin{aligned} d^{2} Λ & = d (I \circ (U^{T} d A_{1} U)) \\ = I \circ (d U_{2}^{T} d A_{1} U + U^{T} d A_{1} d U_{2}) \\ = 2 I \circ (d U_{2}^{T} d A_{1} U) . \end{aligned}

$\begin{align} d^2 \Lambda &= d(I \circ (U^T dA_1U)) \\ &= I \circ (dU_2^T dA_1 U + U^T dA_1 dU_2) \\ &= 2 I \circ (dU_2^T dA_1 U). \end{align}$

जबकि eigenvalue मैट्रिक्स का पहला व्युत्पन्न दोहराया eigenvalues पर निरंतर बनाया जा सकता है, दूसरा व्युत्पन्न बाद से पर निर्भर नहीं करता है , जो पर निर्भर करता $d^2 \Lambda$ $dU_2$ $C$ है, जो ऊपर चल रही है के रूप में eigenvalues एक-दूसरे की ओर पतित। हालांकि, जब तक सही समाधान में पुनर्जन्म नहीं होता है, तब तक यह ठीक है। संख्यात्मक प्रयोग यह सुझाव देते हैं कि जेनेरिक लिए यह मामला है , हालांकि मेरे पास इस बिंदु पर कोई प्रमाण नहीं है। यह समझना वास्तव में महत्वपूर्ण है, क्योंकि आमतौर पर एन्ट्रापी को अधिकतम करना संभव होने पर आइजनवेल्स को एक साथ करीब बनाने की कोशिश करेगा। $v_i$

समता बाधा को दूर करना

हम केवल पहले गुणांकों पर काम करके और पिछले एक को पर काम करके बाधा को समाप्त कर सकते हैं। $\sum_{i=1}^N c_i = 1$ $N-1$

{सी}_{एन} = 1 - Σ_{मैं = 1}^{एन - 1} {सी}_{मैं} ।

$c_N = 1-\sum_{i=1}^{N-1} c_i.$

कुल मिलाकर, मैट्रिक्स गणना के लगभग 4 पृष्ठों के बाद, पहले गुणांकों में परिवर्तन के संबंध में उद्देश्य फ़ंक्शन के कम पहले और दूसरे डेरिवेटिव को जहां $N-1$

घ च = घ {सी}_{1}^{टी} म^{टी} [मैं \circ ({वी}^{टी} यू बी {यू}^{टी} वी)]

$df = dC_1^T M^T [I \circ (V^T U B U^T V)]$

घ घ च = घ {सी}_{1}^{टी} म^{टी} [मैं \circ ({वी}^{टी} [2 घ {यू}_{2} {बी}_{ए} {यू}^{टी} + यू {बी}_{ख} {यू}^{टी}] वी)],

$ddf = dC_1^T M^T [I \circ (V^T[2dU_2 B_a U^T + U B_b U^T]V)],$

म = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ - 1 & - 1 & ... & - 1 \end{matrix}],

$M = \begin{bmatrix} 1 & \\ & 1 & \\ &&\ddots& \\ &&&1\\ -1 & -1 & \dots & -1 \end{bmatrix},$

{बी}_{ए} = घ मैं ए जी (1 + लॉग λ_{1}, 1 + लॉग λ_{2}, ..., 1 + लॉग λ_{एन}),

$B_a = \mathrm{diag}(1+\log \lambda_1, 1 + \log \lambda_2, \ldots, 1 + \log \lambda_N),$

{बी}_{ख} = घ मैं ए जी (\frac{घ_{2} λ_{1}}{λ_{1}}, ..., \frac{घ_{2} λ_{एन}}{λ_{एन}}) ।

$B_b = \mathrm{diag}(\frac{d_2\lambda_1}{\lambda_1},\ldots,\frac{d_2\lambda_N}{\lambda_N}).$

बाधा दूर करने के बाद न्यूटन की विधि

चूंकि असमानता की बाधाएं निष्क्रिय हैं, हम बस संभव सेट में शुरू करते हैं और आंतरिक मैक्सिमा के लिए द्विघात अभिसरण के लिए विश्वास-क्षेत्र या लाइन-खोज अक्षम न्यूटन-सीजी चलाते हैं।

विधि इस प्रकार है, (विश्वास-क्षेत्र / लाइन खोज विवरण सहित नहीं)

पर प्रारंभ करें $\tilde{c} = [1/N,1/N,\ldots,1/N]$ ।
अंतिम गुणांक, $c = [\tilde{c},1 - \sum_{i=1}^{N-1} c_i]$ ।
निर्माण $A = \sum_i c_i v_i v_i^T$ ।
Eigenvectors और eigenvalues का पता लगाएं $U$ $\Lambda$ $A$ ।
निर्माण ढाल $G = M^T [I \circ (V^T U B U^T V)]$ ।
समाधान के लिए संयुग्म ढाल के माध्यम से (केवल लागू करने की क्षमता की जरूरत है, न कि वास्तविक प्रविष्टियों)। वेक्टर लिए आवेदन किया है का पता लगाकर , , और और फिर सूत्र, में प्लगिंग $H G = p$ $p$ $H$ $H$ $\delta \tilde{c}$ $dU_2$ $B_a$ $B_b$ $म^{टी} [मैं \circ ({वी}^{टी} [2 घ {यू}_{2} {बी}_{ए} {यू}^{टी} + यू {बी}_{ख} {यू}^{टी}] वी)]$ $M^T [I \circ (V^T[2dU_2 B_a U^T + U B_b U^T]V)]$
सेट $\tilde{c} \leftarrow \tilde{c} - p$ ।
गोटो २।

परिणाम

यादृच्छिक के लिए , steplength के लिए linesearch साथ विधि बहुत जल्दी जोड़ देता है। उदाहरण के लिए, (100 साथ निम्नलिखित परिणाम हैं $v_i$ $N=100$ $v_i$ ) के विशिष्ट हैं - विधि द्विघात रूप से परिवर्तित होती है।

>> एन = 100;
>> वी = रैंडन (एन, एन);
>> के लिए = 1: एनवी (:, के) = वी (:, के) / मानदंड (वी:, के)); समाप्त
>> maxEntropyMatrix (वी);
न्यूटन पुनरावृत्ति = 1, मानदंड (ग्रेड f) = 0.67748
न्यूटन पुनरावृत्ति = 2, मानदंड (ग्रेड f) = 0.03644
न्यूटन पुनरावृति = 3, मानदंड (ग्रेड f) = 0.0012167
न्यूटन पुनरावृत्ति = 4, मानदंड (ग्रेड f) = 1.3239e-06
न्यूटन पुनरावृत्ति = 5, मानदंड (ग्रेड f) = 7.7114e-13

यह देखने के लिए कि गणना किया गया इष्टतम बिंदु वास्तव में अधिकतम है, यहां एक ग्राफ है कि जब इष्टतम बिंदु को अनियमित रूप से छिद्रित किया जाता है तो एंट्रोपी कैसे बदलती है। सभी गड़बड़ी एन्ट्रापी में कमी लाती हैं। यहाँ छवि विवरण दर्ज करें

मतलाब कोड

एन्ट्रापी को कम करने के लिए 1 फ़ंक्शन में सभी (नए इस पोस्ट में जोड़े गए): https://github.com/NickAlger/various_scripts/blob/master/maxEntropyMatrix.m

— निक अल्जर
स्रोत

आपका बहुत बहुत धन्यवाद! मैंने इसे खुद को ढाल के साथ सरल के साथ हल किया, लेकिन यह शायद अधिक विश्वसनीय है। तथ्य यह है कि v को matlab फ़ाइल में पूर्ण रैंक का होना चाहिए, केवल एक चीज है जो मुझे परेशान करती है।

— Dries

@NickAlger प्रदान किया गया लिंक काम नहीं कर रहा है, क्या मैं आपसे एक निवेदन कर सकता हूँ?

— प्रजापति

@ पोस्ट में अपडेट किया गया लिंक! github.com/NickAlger/various_scripts/blob/master/…

— निक अल्जीरिया

@NickAlger क्या मैट्रिक्स पर एक बाधा है जिसे एल्गोरिथ्म संचालित कर सकता है? क्या यह एल्गोरिथ्म जटिल तत्वों के साथ मैट्रिक्स के लिए ठीक है? मेरे मामले में एसवीडी कुछ समय बाद विफल हो जाता है क्योंकि मैट्रिक्स में नैनो है।

— रचनाकार

मुझे नहीं लगता कि जटिल संख्या में समस्या होनी चाहिए। विधि की एक सीमा यह है कि इष्टतम समाधान में पुनर्जन्म नहीं हो सकता है, जो मैं अनुमान लगा रहा हूं कि यहां क्या हो रहा है। इस मामले में विधि कुछ ऐसी चीज में परिवर्तित हो जाती है जो सी समीकरण में शून्य से विभाजित होती है। आप बेतरतीब ढंग से इनपुट्स को थोड़ा बढ़ाकर देख सकते हैं और देखें कि क्या इससे मदद मिलती है। ऊपर संदर्भित ओवर्टन पेपर में इसके चारों ओर काम करने का एक तरीका है, लेकिन मेरा कोड उतना उन्नत नहीं है।

— निक अल्जीरिया