PCA का उद्देश्य क्या है?

प्रधान घटक विश्लेषण मैट्रिक्स अपघटन का उपयोग कर सकते हैं , लेकिन यह वहां पहुंचने के लिए सिर्फ एक उपकरण है।

आप मैट्रिक्स बीजगणित के उपयोग के बिना प्रमुख घटक कैसे पाएंगे?

उद्देश्य फ़ंक्शन (लक्ष्य) क्या है, और क्या बाधाएं हैं?

pca

शायद मुझे कुछ याद आ रहा है तो कृपया मुझे सही करें अगर मैं गलत हूं, लेकिन यह संभव होना चाहिए (कम से कम सिद्धांत रूप में) निर्माण करने के लिए पीसीए में क्या किया जाता है एक (जटिल) रैखिक प्रोग्रामिंग समस्या के रूप में मैट्रिस का उपयोग करते हुए, लेकिन मैं नहीं करता हूं पता है कि आप सभी आवश्यक बाधाओं को कैसे बताएंगे। इसके अलावा, मुझे यकीन नहीं है कि सिर्फ पीसीए का उपयोग करने की तुलना में यह बहुत सरल होगा। आप मैट्रिस से बचने की कोशिश क्यों कर रहे हैं?

— क्रिस सिमोकैट

@ क्रिस मैं नहीं देखता कि कैसे एक रैखिक प्रोग्रामिंग समस्या के लिए एक मिल सकता है। मेरी समझ में यह नहीं था कि गणना में मेट्रिसेस से बचा जाना चाहिए । सवाल यह था कि पीसीए द्वारा किस तरह की समस्या का समाधान किया जाता है, न कि इसे जिस तरह से किया जाता है (उदाहरण के लिए एसवीडी की गणना करके)। कार्डिनल द्वारा समाधान कहता है कि आप अधिकतम विचरण की क्रमिक दिशाओं का पता लगाते हैं । मैंने जो समाधान प्रस्तुत किया है, वह कहता है कि आपको कम से कम पुनर्निर्माण की त्रुटि वाले हाइपरप्लेन मिलते हैं।

— NRH

@ मैं अपनी समझ को बढ़ाने के लिए, मैट्रिक्स बीजगणित के बिना, पीसीए को देखने का एक और तरीका खोजने की उम्मीद कर रहा हूं।

— नील मैकगिन

@ क्रिस, आपके पास एक द्विघात उद्देश्य फ़ंक्शन और एक मानक समानता बाधा है। वैकल्पिक रूप से, @ NRH के उत्तर में सूत्रीकरण के तहत, आपके पास एक मैट्रिक्स रैंक बाधा है। यह एक रैखिक प्रोग्रामिंग समस्या के लिए खुद को हरा नहीं जा रहा है। @ एनआरएच कुछ अच्छा अंतर्ज्ञान देता है, और, वास्तव में, पीसीए पर दो दृष्टिकोणों के बीच बहुत करीबी संबंध है जो दिए गए हैं। शायद @NRH के सहयोग से, हम उत्तर के पूर्ण सेट को और अधिक पूर्ण बनाने के लिए उसे / उसकी पोस्ट में जोड़ सकते हैं।

ℓ_{2}

$\ell_2$

— कार्डिनल

@ एनआरएच, वास्तव में, मुझे ईएसएल बहुत पसंद है, लेकिन मुझे लगता है कि इस विषय का उपचार बहुत ही सतही है, क्योंकि यह पुस्तक के कई विषयों के लिए है। विशेष रूप से, वे आपके द्वारा दी गई अनुकूलन समस्या के समाधान के महत्वपूर्ण भाग को साबित नहीं करते हैं (या एक अभ्यास के रूप में भी असाइन करते हैं)।

— कार्डिनल

जवाबों:

, पीसीए पर एक पूर्ण प्राइमर देने के लिए कोशिश कर रहा एक अनुकूलन के दृष्टिकोण से बिना, प्राथमिक उद्देश्य समारोह है रेले भागफल । मैट्रिक्स जो कि भागफल में होता है, वह नमूना मैट्रिक्स जहां प्रत्येक सुविधाओं का एक वेक्टर है और मैट्रिक्स है जैसे कि th पंक्ति ।

S = \frac{1}{n} \sum_{i = 1}^{n} x_{i} x_{i}^{T} = X^{T} X / n

$\newcommand{\m}[1]{\mathbf{#1}}\newcommand{\x}{\m{x}}\newcommand{\S}{\m{S}}\newcommand{\u}{\m{u}}\newcommand{\reals}{\mathbb{R}}\newcommand{\Q}{\m{Q}}\newcommand{\L}{\boldsymbol{\Lambda}} \S = \frac{1}{n} \sum_{i=1}^n \x_i \x_i^T = \m{X}^T \m{X} / n$

x_{i}

$\x_i$

p

$p$

X

$\m{X}$

i

$i$

x_{i}^{T}

$\x_i^T$

पीसीए अनुकूलन समस्याओं के अनुक्रम को हल करना चाहता है। इस क्रम में पहला है असंबंधित समस्या

\begin{array}{ll} maximize & \frac{u^{T} S u}{u^{T} u}, u \in R^{p} . \end{array}

$\begin{array}{ll} \text{maximize} & \frac{\u^T \S \u}{\u^T\u} \;, \u \in \reals^p \> . \end{array}$

चूँकि, उपरोक्त असंबंधित समस्या विवश समस्या के बराबर है $\u^T \u = \|\u\|_2^2 = \|\u\| \|\u\|$

\begin{array}{ll} maximize & u^{T} S u \\ subject to & u^{T} u = 1 . \end{array}

$\begin{array}{ll} \text{maximize} & \u^T \S \u \\ \text{subject to} & \u^T \u = 1 \>. \end{array}$

यहाँ जहां मैट्रिक्स बीजगणित में आता है। के बाद से यह फार्म की एक eigenvalue अपघटन है एक सममित सकारात्मक semidefinite मैट्रिक्स है (निर्माण द्वारा!) जहां एक है ऑर्थोगोनल मैट्रिक्स (so ) और एक विकर्ण मैट्रिक्स है जिसमें प्रविष्टियाँ जैसे कि । $\S$

S = Q Λ Q^{T},

$\S = \Q \L \Q^T \>,$

Q

$\Q$

Q Q^{T} = I

$\Q \Q^T = \m{I}$

Λ

$\L$

λ_{i}

$\lambda_i$

λ_{1} \geq λ_{2} \geq \dots \geq λ_{p} \geq 0

$\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p \geq 0$

इसलिए, । चूँकि समस्या में एक के मानदंड के लिए विवश है, तो इसलिए बाद से , के आधार ओर्थोगोनल जा रहा है। $\u^T \S \u = \u^T \Q \L \Q^T \u = \m{w}^T \L \m{w} = \sum_{i=1}^p \lambda_i w_i^2$ $\u$ $\m{w}$ $\|\m{w}\|_2 = \|\Q^T \u\|_2 = \|\u\|_2 = 1$ $\Q$

लेकिन, यदि हम अड़चन के तहत मात्रा को अधिकतम करना चाहते हैं, तो , तो सबसे अच्छा हम कर सकते हैं। set , जो है, और for । $\sum_{i=1}^p \lambda_i w_i^2$ $\sum_{i=1}^p w_i^2 = 1$ $\m{w} = \m{e}_1$ $w_1 = 1$ $w_i = 0$ $i > 1$

अब, संबंधित समर्थन करते हुए , जो हमने पहले स्थान पर खोजा था, हम उस जहां के पहले कॉलम को दर्शाता है , अर्थात, सबसे बड़ा eigenvalue of अनुरूप है । उद्देश्य फ़ंक्शन का मान तब आसानी से को भी देखा जाता है । $\u$

u^{⋆} = Q e_{1} = q_{1}

$\u^\star = \Q \m{e}_1 = \m{q}_1$

q_{1}

$\m{q}_1$

Q

$\Q$

S

$\S$

λ_{1}

$\lambda_1$

शेष प्रमुख घटक वैक्टर अनुकूलन की समस्याओं के अनुक्रम ( द्वारा अनुक्रमित ) को हल करके पाए जाते हैं तो, समस्या समान है, सिवाय इसके कि हम अतिरिक्त अवरोध जोड़ते हैं कि समाधान को अनुक्रम में पिछले सभी समाधानों के लिए रूढ़िवादी होना चाहिए । यह दिखाने के लिए कि समस्या का समाधान है, वास्तव में उपर्युक्त तर्क को विस्तारित करना मुश्किल नहीं है, वास्तव में, , का th eigenvector है । $i$

\begin{array}{ll} maximize & u_{i}^{T} S u_{i} \\ subject to & u_{i}^{T} u_{i} = 1 \\ u_{i}^{T} u_{j} = 0 \forall 1 \leq j < i . \end{array}

$\begin{array}{ll} \text{maximize} & \u_i^T \S \u_i \\ \text{subject to} & \u_i^T \u_i = 1 \\ & \u_i^T \u_j = 0 \quad \forall 1 \leq j < i\>. \end{array}$

i

$i$

q_{i}

$\m{q}_i$

i

$i$

S

$\S$

PCA समाधान को अक्सर के एकवचन मान अपघटन के रूप में भी व्यक्त किया जाता है । क्यों देखने के लिए, चलो । फिर और so (सख्ती से बोलना, साइन अप करना) और । $\m{X}$ $\m{X} = \m{U} \m{D} \m{V}^T$ $n \S = \m{X}^T \m{X} = \m{V} \m{D}^2 \m{V}^T$ $\m{V} = \m{Q}$ $\L = \m{D}^2 / n$

प्रिंसिपल कंपोनेंट मुख्य घटक वैक्टर पर प्रोजेक्ट करके पाए जाते हैं । केवल दिए गए SVD फॉर्मूलेशन से, यह देखना आसान है कि $\m{X}$

X Q = X V = U D V^{T} V = U D .

$\m{X} \m{Q} = \m{X} \m{V} = \m{U} \m{D} \m{V}^T \m{V} = \m{U} \m{D} \> .$

विशेषताओं के मैट्रिक्स के SVD के संदर्भ में प्रमुख घटक वैक्टर और स्वयं प्रमुख घटकों दोनों के प्रतिनिधित्व की सादगी एक कारण है, जिससे SVD पीसीए के कुछ उपचारों में प्रमुखता से शामिल है।

— कार्डिनल
स्रोत

यदि केवल पहले कुछ विलक्षण मानों / वैक्टरों की आवश्यकता है, तो नैश और श्लीन एक एल्गोरिथ्म को प्रमुख ईजेनवेल्यूज की गणना के लिए सामान्य शक्ति विधि की याद दिलाते हैं। यह ओपी के लिए ब्याज की हो सकती है।

— जेएम एक सांख्यिकीविद नहीं है

@ एनआरएच, मेरे टाइपो को पकड़ने (और सही करने) के लिए धन्यवाद, इससे पहले कि मैं उन्हें देखने में कामयाब रहा!

— कार्डिनल

हाय @ कार्डिनल, आपके उत्तर के लिए धन्यवाद। लेकिन ऐसा लगता है कि आपने यह साबित करने का चरण नहीं दिया कि अनुक्रमिक अनुकूलन वैश्विक इष्टतम की ओर क्यों जाता है। क्या आप कृपया उस पर विस्तार कर सकते हैं? धन्यवाद!

— लिफू हुआंग

कार्डिनल द्वारा प्रस्तुत समाधान नमूना सहसंयोजक मैट्रिक्स पर केंद्रित है। एक अन्य प्रारंभिक बिंदु एक q -dimensional हाइपरप्लेन द्वारा डेटा का पुनर्निर्माण त्रुटि है । यदि p -dimensional डेटा बिंदु उद्देश्य हल करना है $x_1, \ldots, x_n$

min_{μ, λ_{1}, \dots, λ_{n}, V_{q}} \sum_{i = 1}^{n} | | x_{i} - μ - V_{q} λ_{i} | |^{2}

$\min_{\mu, \lambda_1,\ldots, \lambda_n, \mathbf{V}_q} \sum_{i=1}^n ||x_i - \mu - \mathbf{V}_q \lambda_i||^2$

एक के लिए मैट्रिक्स orthonormal कॉलम और साथ । यह यूक्लिडियन मानदंड द्वारा मापा गया सबसे अच्छा रैंक q -reconstruction देता है, और समाधान के कॉलम पहले q प्रमुख घटक वैक्टर हैं। $p \times q$ $\mathbf{V}_q$ $\lambda_i \in \mathbb{R}^q$ $\mathbf{V}_q$

नियत लिए और (यह प्रतिगमन है) के लिए समाधान $\mathbf{V}_q$ $\mu$ $\lambda_i$

μ = \bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i} λ_{i} = V_{q}^{T} (x_{i} - \bar{x})

$\mu = \overline{x} = \frac{1}{n}\sum_{i=1}^n x_i \qquad \lambda_i = \mathbf{V}_q^T(x_i - \overline{x})$

अंकन में आसानी के लिए मान हैं कि को निम्न में केन्द्रित किया गया है। फिर हमें कम से कम करना होगा $x_i$

\sum_{i = 1}^{n} | | x_{i} - V_{q} V_{q}^{T} x_{i} | |^{2}

$\sum_{i=1}^n ||x_i - \mathbf{V}_q\mathbf{V}_q^T x_i||^2$

orthonormal कॉलम के साथ over । ध्यान दें कि है प्रक्षेपण पर क्ष आयामी स्तंभ अंतरिक्ष। इसलिए समस्या को कम करने के बराबर है। से अधिक रैंक क्ष अनुमानों । यही है, हमें अधिकतम करने की आवश्यकता है। रैंक q अनुमानों से अधिक , जहां नमूना सहसंयोजक मैट्रिक्स है। अभी $\mathbf{V}_q$ $P = \mathbf{V}_q\mathbf{V}_q^T$

\sum_{i = 1}^{n} | | x_{i} - P x_{i} | |^{2} = \sum_{i = 1}^{n} | | x_{i} | |^{2} - \sum_{i = 1}^{n} | | P x_{i} | |^{2}

$\sum_{i=1}^n ||x_i - P x_i||^2 = \sum_{i=1}^n ||x_i||^2 - \sum_{i=1}^n||Px_i||^2$

P

$P$

\sum_{i = 1}^{n} | | P x_{i} | |^{2} = \sum_{i = 1}^{n} x_{i}^{T} P x_{i} = tr (P \sum_{i = 1}^{n} x_{i} x_{i}^{T}) = n tr (P S)

$\sum_{i=1}^n||Px_i||^2 = \sum_{i=1}^n x_i^TPx_i = \text{tr}(P \sum_{i=1}^n x_i x_i^T) = n \text{tr}(P \mathbf{S})$

P

$P$

S

$\mathbf{S}$

tr (P S) = tr (V_{q}^{T} S V_{q}) = \sum_{i = 1}^{q} u_{i}^{T} S u_{i}

$\text{tr}(P\mathbf{S}) = \text{tr}(\mathbf{V}_q^T\mathbf{S}\mathbf{V}_q) = \sum_{i=1}^q u_i^T \mathbf{S} u_i$ जहां में (orthonormal) कॉलम हैं , और @ कार्डिनल के उत्तर में प्रस्तुत तर्क बताते हैं कि अधिकतम ' लेने से प्राप्त । सबसे बड़े eigenvalues के साथ लिए eigenvectors होना चाहिए ।

u_{1}, \dots, u_{q}

$u_1, \ldots, u_q$

q

$q$

V_{q}

$\mathbf{V}_q$

u_{i}

$u_i$

q

$q$

S

$\mathbf{S}$

q

$q$

पुनर्निर्माण त्रुटि, कई उपयोगी सामान्यीकरणों का सुझाव देती है, उदाहरण के लिए हाइपरप्लेन के बजाय कम-आयामी मैनिफोल्ड्स द्वारा विरल प्रमुख घटक या पुनर्निर्माण। जानकारी के लिए, सांख्यिकीय सीखने के तत्वों में धारा 14.5 देखें ।

— NRH
स्रोत

(+1) अच्छे अंक। कुछ सुझाव: यह अच्छा होगा कि को परिभाषित किया और परिणाम का संक्षिप्त प्रमाण देना वास्तव में अच्छा होगा । या, वैकल्पिक रूप से, यह Rayleight quotients शामिल अनुकूलन समस्या से जोड़ा जा सकता है। मुझे लगता है कि इस सवाल के जवाब को बहुत पूरा कर देगा!

λ_{i}

$\lambda_i$

— कार्डिनल

@ कार्डिनल, मेरा मानना है कि मैंने पुनर्निर्माण फॉर्मूलेशन से आपके द्वारा हल की गई समस्या को पूरा करने में लापता चरणों को पूरा किया।

— एनआरएच

अच्छा काम। मेरा मानना है कि केवल शेष अंतर आपके अंतिम विवरण में है। यह तुरंत स्पष्ट नहीं है कि राशि का अनुकूलन मेरे उत्तर में अनुकूलन के अनुक्रम को निष्पादित करने के समान है। वास्तव में, मुझे नहीं लगता कि यह सीधे तौर पर, सामान्य रूप से अनुसरण करता है। लेकिन, इसे यहां संबोधित करने की जरूरत नहीं है।

— कार्डिनल

@ कार्डिनल, यह इंडक्शन द्वारा अनुसरण करता है। आप इंडक्शन स्टार्ट प्रदान करते हैं, और इंडक्शन स्टेप में orthonormal vectors जो योग को अधिकतम करता है और इसे व्यवस्थित करता है ताकि एक इकाई वेक्टर orthogonal से । फिर अपने परिणामों के द्वारा और प्रेरण धारणा । बेशक, -आयामी अंतरिक्ष के लिए आधार एक अनूठा आधार नहीं है। आप "उत्तल संयोजन तर्क" का भी सामान्यीकरण कर सकते हैं जिसका उपयोग आप प्रत्यक्ष रूप से साबित करने के लिए करते हैं।

w_{1}, \dots, w_{q}

$w_1, \ldots, w_q$

w_{q}

$w_q$

u_{1}, \dots, u_{q - 1}

$u_1, \ldots, u_{q-1}$

w_{q}^{T} S w_{q} \leq u_{q}^{T} S u_{q}

$w_q^T \mathbf{S} w_q \leq u_q^T \mathbf{S} u_q$

\sum_{i = 1}^{q - 1} w_{i}^{T} S w_{i} \leq \sum_{i = 1}^{q - 1} u_{i}^{T} S u_{i}

$\sum_{i=1}^{q-1} w_i^T \mathbf{S} w_i \leq \sum_{i=1}^{q-1}u_i^T \mathbf{S} u_i$

q

$q$

— NRH

@ कार्डिनल, मैं एक घोंसले के शिकार के लिए मजबूर नहीं कर रहा हूं, केवल एक आयाम विचार का उपयोग कर रहा हूं। यदि हमारे पास एक आयामी उप-स्थान है तो आप हमेशा उस स्थान में का चयन कर सकते हैं, जैसे कि यह एक -orthogonal उप-आयाम है। फिर आप किसी भी तरह से -basis को भरें ।

q

$q$

w_{q}

$w_q$

(q - 1)

$(q-1)$

w

$w$

— एनआरएच

एक एल्गोरिथ्म के लिए NIPALS ( विकी ) देखें जो स्पष्ट रूप से मैट्रिक्स अपघटन का उपयोग नहीं करता है। मुझे लगता है कि जब आप कहते हैं कि आप मैट्रिक्स बीजगणित से बचना चाहते हैं तो इसका मतलब है कि आप वास्तव में यहाँ मैट्रिक्स बीजगणित से बच नहीं सकते हैं :)

— JMS
स्रोत