पीसीए अनुकूलन उत्तल है?

प्रिंसिपल कंपोनेंट एनालिसिस (PCA) का उद्देश्य फ़ंक्शन L2 मानदंड में पुनर्निर्माण त्रुटि को कम कर रहा है (अनुभाग 2.12 यहां देखें । एक और दृश्य प्रक्षेपण पर विचरण को अधिकतम करने की कोशिश कर रहा है। हमारे पास यहां एक उत्कृष्ट पोस्ट भी है: PCA का उद्देश्य फ़ंक्शन क्या है। ; )।

मेरा सवाल यह है कि पीसीए अनुकूलन उत्तल है? (मुझे यहां कुछ चर्चाएं मिलीं , लेकिन काश कोई व्यक्ति सीवी पर यहां एक अच्छा सबूत दे पाता)।

— हतौ दू
स्रोत

नहीं। आप एक उत्तल फ़ंक्शन (बाधाओं के तहत) को अधिकतम कर रहे हैं ।

— user603

मुझे लगता है कि आपको "पीसीए अनुकूलन" से क्या मतलब है इसके बारे में आपको विशिष्ट होना चाहिए। एक मानक सूत्रीकरण को अधीन करना है । समस्या यह है कि उत्तलता का कोई मतलब नहीं है: डोमेन एक क्षेत्र है, न कि एक यूक्लिडियन स्थान।

x^{'} A x

$x^\prime\mathbb{A}x$

x^{'} x = 1

$x^\prime x=1$

x^{'} x = 1

$x^\prime x=1$

— whuber

@ आपकी टिप्पणी के लिए धन्यवाद, मैं सीमित ज्ञान के कारण प्रश्न को स्पष्ट नहीं कर पा रहा हूं। मैं कुछ उत्तरों की प्रतीक्षा कर सकता हूं, इससे मुझे उसी समय प्रश्न को स्पष्ट करने में मदद मिल सकती है।

— हाइताओ दू

मैं आपको "उत्तल" की किसी भी परिभाषा से परिचित कराऊंगा जिससे आप परिचित हैं। क्या वे सभी अन्य बिंदुओं के बीच "झूठ बोल" के क्षेत्र में बिंदुओं की अवधारणा को शामिल नहीं करते हैं? यह याद रखने योग्य है, क्योंकि यह आपको फ़ंक्शन के डोमेन की ज्यामिति और साथ ही फ़ंक्शन मानों के किसी भी बीजीय या विश्लेषणात्मक गुणों पर विचार करने के लिए याद दिलाता है। उस प्रकाश में, मेरे साथ ऐसा होता है कि डोमेन उत्तल बनाने के लिए विचरण-अधिकतमकरण सूत्र को थोड़ा संशोधित किया जा सकता है: बस बजाय आवश्यकता होती है । समाधान एक ही है - और जवाब काफी स्पष्ट हो जाता है।

x^{'} x \leq 1

$x^\prime x\le1$

x^{'} x = 1

$x^\prime x=1$

— whuber

जवाबों:

नहीं, पीसीए के सामान्य सूत्र उत्तल समस्याएं नहीं हैं । लेकिन उन्हें उत्तल अनुकूलन समस्या में बदला जा सकता है।

अंतर्दृष्टि और इसका मज़ा केवल उत्तर प्राप्त करने के बजाय परिवर्तनों के अनुक्रम का अनुसरण और कल्पना कर रहा है: यह यात्रा में निहित है, गंतव्य नहीं। इस यात्रा के मुख्य चरण हैं

उद्देश्य समारोह के लिए एक सरल अभिव्यक्ति प्राप्त करें।
अपने डोमेन को बढ़ाएँ, जो उत्तल नहीं है, जो एक है।
उद्देश्य को संशोधित करें, जो उत्तल नहीं है, जो कि एक तरह से है, जो स्पष्ट रूप से उन बिंदुओं को नहीं बदलता है जिन पर यह अपने इष्टतम मूल्यों को प्राप्त करता है।

यदि आप कड़ी निगरानी रखते हैं, तो आप एसवीडी और लैग्रेग मल्टीप्लायरों को दुबकते हुए देख सकते हैं - लेकिन वे सिर्फ एक दृश्य हैं, वहाँ प्राकृतिक रुचि के लिए, और मैं आगे उन पर कोई टिप्पणी नहीं करूंगा।

पीसीए (या कम से कम इसके प्रमुख चरण) का मानक विचरण-अधिकतमकरण है

\begin{matrix} (*) & Maximize f (x) = x^{'} A x subject to x^{'} x = 1 \end{matrix}

$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x=1\tag{*}$

जहाँ मैट्रिक्स डेटा से निर्मित एक सममित, धनात्मक-अर्धवृत्ताकार मैट्रिक्स है (आमतौर पर इसके वर्ग और उत्पाद मैट्रिक्स का योग, इसका सहसंयोजक मैट्रिक्स या इसका सहसंबंध मैट्रिक्स)। $n\times n$ $\mathbb A$

(समान रूप से, हम असंबंधित उद्देश्य को अधिकतम करने का प्रयास कर सकते हैं । न केवल यह एक नास्टियर अभिव्यक्ति है - यह अब एक द्विघात कार्य नहीं है - विशेष मामलों को रेखांकन करेगा। जल्दी से दिखाओ कि यह एक उत्तल कार्य नहीं है, या तो। आमतौर पर कोई भी इस फ़ंक्शन का निरीक्षण करता है, rescalings तहत अपरिवर्तनीय है और फिर इसे विवश सूत्रीकरण तक कम कर देता है । $x^\prime \mathbb{A} x / x^\prime x$ $x\to \lambda x$ $(*)$

किसी भी अनुकूलन समस्या को सार रूप में तैयार किया जा सकता है

कम से कम एक ढूंढें जो फ़ंक्शन को जितना संभव हो उतना बड़ा बनाता है। $x\in\mathcal{X}$ $f:\mathcal{X}\to\mathbb{R}$

याद रखें कि एक अनुकूलन समस्या उत्तल है जब इसे दो अलग-अलग गुणों का आनंद मिलता है :

डोमेन उत्तल है। $\mathcal{X}\subset\mathbb{R}^n$ इसे कई तरीकों से तैयार किया जा सकता है। एक यह है कि जब भी और और , भी । ज्यामितीय रूप से: जब भी लाइन सेगमेंट के दो समापन बिंदु , तो पूरा खंड में निहित होता है । $x\in\mathcal{X}$ $y\in\mathcal{X}$ $0 \le \lambda \le 1$ $\lambda x + (1-\lambda)y\in\mathcal{X}$ $\mathcal X$ $\mathcal X$
समारोह $f$ उत्तल है। इसे भी कई तरीकों से तैयार किया जा सकता है। एक यह है कि जब भी और और , (हमें जरूरत थी $x\in\mathcal{X}$ $y\in\mathcal{X}$ $0 \le \lambda \le 1$
$f (λ x + (1 - λ) y) \geq λ f (x) + (1 - λ) f (y) .$ $f(\lambda x + (1-\lambda)y) \ge \lambda f(x) + (1-\lambda) f(y).$ $\mathcal X$ कोई मतलब करने के लिए इस हालत के लिए क्रम में उत्तल होने के लिए) ज्यामितीय:। जब भी में किसी भी रेखा खंड है , का ग्राफ (के रूप में इस क्षेत्र के लिए प्रतिबंधित) को जोड़ने के ऊपर या खंड पर झूठ और में । $\bar{xy}$ $\mathcal X$ $f$ $(x,f(x))$ $(y,f(y))$ $\mathbb{R}^{n+1}$
एक उत्तल समारोह का आदर्श स्थानीय स्तर पर गैर सकारात्मक अग्रणी गुणांक के साथ हर जगह परवलयिक है: किसी भी रेखा खंड पर यह रूप में व्यक्त किया जा सकता है के साथ $y\to a y^2 + b y + c$ $a \le 0.$

के साथ एक कठिनाई वह यह है कि इकाई क्षेत्र है जो निश्चित उत्तल नहीं है,। $(*)$ $\mathcal X$ $S^{n-1}\subset\mathbb{R}^n$ हालाँकि, हम छोटे वैक्टर को शामिल करके इस समस्या को संशोधित कर सकते हैं। ऐसा इसलिए है क्योंकि जब हम एक कारक द्वारा को स्केल करते हैं , तो को से गुणा किया जाता है । जब , हम माप सकते हैं इकाई लंबाई तक यह गुणा करके $x$ $\lambda$ $f$ $\lambda^2$ $0 \lt x^\prime x \lt 1$ $x$ , जिससे बढ़तीलेकिन इकाई गेंद के भीतर रहते। चलो इसलिए हमें पुन:के रूप में $\lambda=1/\sqrt{x^\prime x} \gt 1$ $f$ $D^n = \{x\in\mathbb{R}^n\mid x^\prime x \le 1\}$ $(*)$

\begin{matrix} (**) & Maximize f (x) = x^{'} A x subject to x^{'} x \leq 1 \end{matrix}

$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x\le1\tag{**}$

इसका डोमेन जो स्पष्ट रूप से उत्तल है, इसलिए हम वहां आधे रास्ते पर हैं। यह के ग्राफ के उत्तलता पर विचार करता है । $\mathcal{X}=D^n$ $f$

एक अच्छा तरीका करने के लिए लगता है कि समस्या के बारे में --even अगर आप इसी गणना बाहर ले जाने का इरादा नहीं - स्पेक्ट्रल प्रमेय के संदर्भ में है। $(**)$ यह कहता है कि एक ऑर्थोगोनल परिवर्तन , आप कम से कम एक आधार पा सकते हैं जिसमें विकर्ण है: अर्थात्। $\mathbb P$ $\mathbb{R}^n$ $\mathbb A$

A = P^{'} Σ P

$\mathbb {A = P^\prime \Sigma P}$

जहां के सभी बंद विकर्ण प्रविष्टियों शून्य कर रहे हैं। इस तरह के विकल्प के बारे में बारे में कुछ भी नहीं बदलने के बारे में कल्पना की जा सकती है , लेकिन केवल यह बदलने के लिए कि आप इसका वर्णन कैसे करते हैं : जब आप अपने दृष्टिकोण को घुमाते हैं, तो फ़ंक्शन के स्तर हाइपरसर्फेस के अक्ष (जो) हमेशा ellipsoids थे) समन्वय अक्षों के साथ संरेखित करें। $\Sigma$ $\mathbb{P}$ $\mathbb A$ $x\to x^\prime \mathbb{A} x$

के बाद से सकारात्मक-semidefinite है, सभी के विकर्ण प्रविष्टियों गैर नकारात्मक होना चाहिए। हम आगे कुल्हाड़ियों दूसरे स्थान पर रखना कर सकते हैं (जो सिर्फ एक और orthogonal परिवर्तन है, और इसलिए में समाहित किया जा सकता है ) है कि आश्वस्त करने के लिए $\mathbb A$ $\Sigma$ $\mathbb P$

σ_{1} \geq σ_{2} \geq \dots \geq σ_{n} \geq 0.

$\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_n \ge 0.$

अगर हम करते हैं नए निर्देशांक हो (entailing ), समारोह है $x=\mathbb{P}^\prime y$ $x$ $y=\mathbb{P}x$ $f$

f (y) = y^{'} A y = x^{'} P^{'} A P x = x^{'} Σ x = σ_{1} x_{1}^{2} + σ_{2} x_{2}^{2} + \dots + σ_{n} x_{n}^{2} .

$f(y) = y^\prime \mathbb{A} y = x^\prime \mathbb{P^\prime A P} x = x^\prime \Sigma x = \sigma_1 x_1^2 + \sigma_2 x_2^2 + \cdots + \sigma_n x_n^2.$

$\mathcal X$ $\sigma_i$

$(**)$ $x^\prime x = 1$ $\sigma_1$ $f$ $\mathcal{X}$ $f$ $f$ $\sigma_1$

g (y) = f (y) - σ_{1} y^{'} y .

$g(y) = f(y) - \sigma_1 y^\prime y.$

$\sigma_1$ $f$ $g$ $f$ $\mathcal X$

$-\sigma_1$ $-\sigma_1 y^\prime y$ $\mathbb P$ $y^\prime y = x^\prime x$ $x$ $g$

g (y) = σ_{1} x_{1}^{2} + \dots + σ_{n} x_{n}^{2} - σ_{1} (x_{1}^{2} + \dots + x_{n}^{2}) = (σ_{2} - σ_{1}) x_{2}^{2} + \dots + (σ_{n} - σ_{1}) x_{n}^{2} .

$g(y) = \sigma_1 x_1 ^2 + \cdots + \sigma_n x_n^2 - \sigma_1(x_1^2 + \cdots + x_n^2) = (\sigma_2-\sigma_1)x_2^2 + \cdots + (\sigma_n - \sigma_1)x_n^2.$

$\sigma_1 \ge \sigma_i$ $i$ $g$ $g$ $x_2=x_3=\cdots=x_n=0$ $x^\prime x=1$ $x_1=\pm 1$ $y = \mathbb{P} (\pm 1,0,\ldots, 0)^\prime$ $\mathbb P$

$g$ $\partial D^n=S^{n-1}$ $y^\prime y = 1$ $f$ $g$ $\sigma_1$ $g$ $f$ $D^n$ $f$ $g$

— व्हीबर
स्रोत

σ_{1}

$\sigma_1$

सभी काउंट्स पर @amoeba राइट; धन्यवाद। मैंने उस बिंदु की चर्चा को बढ़ाया है।

— whuber

(+1) आपके उत्तर में, आप एक उत्तल कार्य को परिभाषित करने के लिए प्रतीत होते हैं कि अधिकांश लोग एक अवतल कार्य मानते हैं (शायद चूंकि उत्तल अनुकूलन समस्या में उत्तल डोमेन और अवतल कार्य होता है, जिस पर अधिकतम गणना होती है (या) एक उत्तल समारोह जिस पर एक न्यूनतम गणना की जाती है))

— user795305

g

$g$

X

$\mathcal X$

f

$f$

f

$f$

g

$g$

g

$g$

नहीं।

$k$ $M$

$\hat{X} = \underset{rank(X) \leq k}{argmin} \| M - X\|_F^2$

$\|\cdot\|_F$

हालांकि मानक उत्तल है, जिस सेट पर इसे ऑप्टिमाइज़ किया गया है वह नॉनवॉन्क्स है।

एक उत्तल छूट पीसीए की समस्या का उत्तल कम रैंक सन्निकटन कहा जाता है

$\hat{X} = \underset{\|X\|_* \leq c}{argmin} \| M - X\|_F^2$

$\|\cdot\|_*$ $\|\cdot\|_1$

आप विवरण के लिए सांख्यिकीय सीखने को स्पार्सिटी , ch 6 (मैट्रिक्स डिकम्पोजिशन) के साथ देख सकते हैं ।

यदि आप अधिक सामान्य समस्याओं में रुचि रखते हैं और वे कैसे उत्तलता से संबंधित हैं, तो सामान्यीकृत निम्न रैंक मॉडल देखें ।

— जकुब बार्टिचुक
स्रोत

अस्वीकरण: पिछले उत्तर यह समझाने का एक बहुत अच्छा काम करते हैं कि कैसे पीसीए अपने मूल निर्माण में गैर-उत्तल है लेकिन उत्तल अनुकूलन समस्या में बदला जा सकता है। मेरा उत्तर केवल उन गरीब आत्माओं (जैसे कि मेरे लिए) के लिए है, जो इकाई क्षेत्रों और SVDs के शब्दजाल से परिचित नहीं हैं - जो कि, btw, जानना अच्छा है।

मेरा स्रोत प्रो। तिब्शीरानी द्वारा किया गया यह व्याख्यान नोट्स है

उत्तल अनुकूलन तकनीकों के साथ हल की जाने वाली अनुकूलन समस्या के लिए, दो आवश्यक शर्तें हैं।

उद्देश्य फ़ंक्शन को उत्तल करना होगा।
बाधा कार्यों को भी उत्तल होना चाहिए।

पीसीए के अधिकांश योगों में एक मैट्रिक्स के रैंक पर एक बाधा शामिल होती है।

$rank(X) = k,$ $J_{11}$ $J_{22}$

— बिज्जू
स्रोत

X

$X$

k

$k$

X

$X$

k

$k$