पीसीए की रैखिकता

Question

पीसीए को एक रैखिक प्रक्रिया माना जाता है, हालांकि:

$$\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n),$$

जहाँ । यह कहना है कि eigenvectors डेटा पर PCAs द्वारा प्राप्त मैट्रिक्स है डेटा के योग पर eigenvectors पीसीए द्वारा प्राप्त बराबर करने के लिए योग नहीं है matrices । लेकिन एक रैखिक समारोह की परिभाषा नहीं है :X i X i$X=X_1+X_2+\ldots+X_n$$X_i$$X_i$$f$

$$f(x+y)=f(x)+f(y)?$$

तो पीसीए को "रैखिक" क्यों माना जाता है अगर यह रैखिकता की इस मूल स्थिति को संतुष्ट नहीं करता है?

Comments

मैंने एक बार लिखा या सुना (क्षमा करें, मुझे याद नहीं है कि कहां या कब), कि पीसीए "रैखिक प्रक्रियाओं परिवार के अंतर्गत आता है" क्योंकि यह चर के बीच रैखिक निर्भरता पर निर्भर करता है। यह पीयरसन सहसंबंध मैट्रिक्स का उपयोग करता है और उच्चतम विचरण के रैखिक संयोजनों की तलाश करता है।

— सुकस डेरिलो

इस प्रश्न की प्रकृति साधारण से साधारण वर्ग प्रतिगमन की बहुत सरल और नियमित सेटिंग पर विचार करके थोड़ी स्पष्ट हो सकती है: यह एक रैखिक सांख्यिकीय प्रक्रिया का एक प्रकार है। फिर भी, कम से कम वर्गों के गुणांक का आकलन करने की प्रक्रिया डेटा मैट्रिक्स एक्स का एक प्रकट रूप से अरेखीय कार्य है $X$, जैसा कि सूत्र \ Hat \ Beta = (X ^ \ प्रधान एक्स) ^ {- 1} X ^ \ प्रधान y द्वारा सत्यापित है $\hat\beta = (X^\prime X)^{-1}X^\prime y$। (ध्यान दें कि यह प्रतिक्रिया वेक्टर y का एक रैखिक कार्य है $y$।)

— व्हिबर करें

यह याद रखने योग्य हो सकता है कि f (x) = x + 1 एक "रैखिक कार्य" भी है ... लेकिन यह संतुष्ट नहीं करता है कि आपने अभी क्या कहा ... जो कि कुछ समझाना चाहिए।

— मेहरदाद

ऐसा इसलिए है क्योंकि$(X_1+X_2)^T(X_1+X_2)\neq X_1^TX_1+X_2^TX_2$

— गेब्रियल रोमन

Answer 1

जब हम कहते हैं कि पीसीए एक रेखीय विधि है, तो हम डायमेंशन को कम करते हुए मैपिंग को हाई-डायमेंशनल स्पेस से एक -डायमेंशनल स्पेस । PCA में, यह मानचित्रण PCA eigenvectors के मैट्रिक्स द्वारा गुणन द्वारा दिया जाता है और इसलिए यह प्रकट रूप से रैखिक (मैट्रिक्स गुणन रैखिक होता है):यह आयामीता में कमी के nonlinear तरीकों के विपरीत है , जहाँ मानचित्रण को कम करने वाली आयामी nonlinear हो सकती है।आर पी आर कश्मीर एक्स जेड = च ( एक्स ) = वी ⊤ एक्स$f:\mathbf x\mapsto \mathbf z$$\mathbb R^p$$\mathbb R^k$$\mathbf x$

$$\mathbf z = f(\mathbf x) = \mathbf V^\top \mathbf x.$$

दूसरी ओर, शीर्ष eigenvectors डेटा से गणना मैट्रिक्स का उपयोग कर आप क्या कहा जाता है आपके प्रश्न में: और यह मानचित्रण निश्चित रूप से गैर-रैखिक है: इसमें सहसंयोजक मैट्रिक्स के ईजेनवेक्टरों की गणना करना शामिल है, जो एक गैर-रैखिक प्रक्रिया है । (एक तुच्छ उदाहरण के रूप में, को गुणा करने से सहसंयोजक मैट्रिक्स बढ़ जाता है , लेकिन इसके eigenvectors उसी तरह बने रहते हैं जैसे यूनिट की लंबाई सामान्य होती है।)वी ∈ आर पी × कश्मीर एक्स ∈ आर एन × पी पी सी ए ( ) वी = पी सी ए ( एक्स ) , एक्स 2 $k$$\mathbf V\in \mathbb R^{p\times k}$$\mathbf X\in \mathbb R^{n\times p}$$\mathrm{PCA}()$

$$\mathbf V = \mathrm{PCA}(\mathbf X),$$ $\mathbf X$$2$$4$

Comments

कि मुझे इस तुच्छ उत्तर के लिए 35 अपवित्र मिले, यह बहुत हास्यास्पद है (और यह थ्रेड कुछ समय के लिए हॉट नेटवर्क प्रश्न में होने के कारण है)।

— अमीबा का कहना है कि मोनिका

Answer 2

"रैखिक" का अर्थ कई चीजें हो सकता है, और यह केवल औपचारिक रूप से नियोजित नहीं है।

पीसीए को अक्सर औपचारिक अर्थों में एक फ़ंक्शन के रूप में परिभाषित नहीं किया जाता है, और इसलिए जब इसे वर्णित किया जाता है, तो एक रैखिक फ़ंक्शन की आवश्यकताओं को पूरा करने की उम्मीद नहीं की जाती है। यह अधिक बार वर्णित है, जैसा कि आपने कहा, एक प्रक्रिया के रूप में, और कभी-कभी एक एल्गोरिथ्म (हालांकि मुझे यह अंतिम विकल्प पसंद नहीं है)। यह अक्सर अनौपचारिक में रैखिक कहा जाता है, न कि अच्छी तरह से परिभाषित तरीके से।

पीसीए को रैखिक माना जा सकता है, उदाहरण के लिए, निम्नलिखित अर्थों में। यह तरीकों कि विचार है कि प्रत्येक चर के एक परिवार के अंतर्गत आता है एक समारोह इसका अनुमान लगाया जा सकता है एक्स मैं ≈ च Y ( अल्फा ) जहां अल्फा ∈ आर कश्मीर और वाई का एक सेट है कश्मीर कुछ वांछनीय संपत्ति के साथ चर। पीसीए के मामले में, वाई स्वतंत्र चर का एक सेट है जिसे एक विशिष्ट अर्थ में सन्निकटन सटीकता में न्यूनतम हानि के साथ कार्डिनैलिटी में कम किया जा सकता है। वे कई सेटिंग्स में वांछनीय गुण हैं।$X_i$

$$X_i \approx f_Y(\alpha)$$ $\alpha \in \mathbb{R}^k$$Y$$k$$Y$

$f_i$

$$f_Y(\alpha) = \sum_{i=1}^k \alpha_{i}Y_i$$ $Y$

$Y$$\alpha_{ij}$

Answer 3

PCA प्रदान करता है / एक रैखिक परिवर्तन है।

$\mathbf{M} \equiv PCA(X_1 + X_2)$$\mathbf{M}(X_1+X_2) = \mathbf{M}(X_1) + \mathbf{M}(X_2)$

$PCA(X_1 + X_2)$$PCA(X_1)$$PCA(X_2)$

---

तुलना के एक बहुत ही सरल उदाहरण के रूप में एक प्रक्रिया है जो एक रैखिक परिवर्तन का उपयोग करती है लेकिन एक रैखिक परिवर्तन स्वयं नहीं है:

$D(\mathbf{v})$$\mathbf{v}$$\left[x,y\right]=\left[1,0\right]$

$D(\left[1,1\right]) \rightarrow \left[0,\sqrt{2}\right]$

तथा

$D(\left[0,1\right]) \rightarrow \left[-1,0\right]$

परंतु

$D(\left[1,1\right]+\left[0,1\right]=\left[1,2\right]) \rightarrow \left[-0.78,2.09\right] \neq \left[-1,\sqrt{2}\right]$

कोण के इस दोहरीकरण, जिसमें कोणों की गणना शामिल है, रैखिक नहीं है, और अमीबा के कथन के अनुरूप है, कि eigenvector की गणना रैखिक नहीं है