पीसीए पर एसवीडी का कोई फायदा है?

Question

मुझे पता है कि गणितीय रूप से पीसीए और एसवीडी की गणना कैसे की जाती है, और मुझे पता है कि दोनों को रैखिक लीवर स्क्वेयर प्रतिगमन पर लागू किया जा सकता है।

एसवीडी का गणितीय रूप से मुख्य लाभ यह प्रतीत होता है कि इसे गैर-वर्ग मैट्रिस पर लागू किया जा सकता है।

दोनों मैट्रिक्स के अपघटन पर ध्यान केंद्रित करते हैं । एसवीडी के लाभ के अलावा, पीसीए पर एसवीडी का उपयोग करके क्या कोई अतिरिक्त लाभ या अंतर्दृष्टि प्रदान की जाती है?$X^\top X$

मैं वास्तव में किसी भी गणितीय मतभेद के बजाय अंतर्ज्ञान की तलाश कर रहा हूं।

Comments

सवाल अस्पष्ट है। पहले आप ओएलएस प्रतिगमन का उल्लेख करते हैं। यह तो फैल जाता है। अगला, advantage... SVD over PCA- svd और PCA की तुलना गणितीय ऑपरेशन और डेटा विश्लेषणात्मक विधि के रूप में नहीं की जा सकती। क्या आपका सवाल पीसीए करने के तरीकों के बारे में कुछ हो सकता है ? या आप क्या पूछ रहे हैं?

— tnnphns

अस्पष्ट होने के लिए क्षमा करें। मेरे पास रिज प्रकार के आकलनकर्ता हैं जो एक पीसीए का उपयोग कर रहे हैं और दूसरे एसवीडी का उपयोग कर रहे हैं। मॉडल सेट करने के तरीके में अंतर हैं, अर्थात यह उन पूर्व सूचनाओं की शर्तों का उपयोग करता है, जिनका वे उपयोग करते हैं। लेकिन वे एक ही लेखक द्वारा लिखे गए हैं। मैं उनके बीच के अंतरों को समझने की कोशिश कर रहा हूं और यह जानने की कोशिश कर रहा हूं कि वह अपने विश्लेषण के आधार के रूप में पीसीए बनाम एसवीडी का उपयोग क्यों करेंगे। शायद यह मनमाना था, लेकिन अगर मैं पेशेवरों और विपक्ष को समझ सकता हूं तो इससे मदद मिलेगी। अब तक ऐसा लगता है कि एसवीडी पीसीए करने का एक तरीका है जो अधिक संख्यात्मक रूप से स्थिर होता है।

— बाज

यह ठीक है लेकिन मुझे आश्चर्य है कि अगर एसवीडी का उपयोग करने से समस्या पर कोई अतिरिक्त अर्थमितीय अंतर्दृष्टि / अंतर्ज्ञान उत्पन्न होता है।

— बाज 12

यदि आप अर्थमिति पर विशेष ध्यान केंद्रित करना चाहते हैं, तो मुझे लगता है कि आपको प्रश्न में व्याख्या करने की आवश्यकता है और क्यों समझाएं। मैं यह नहीं देख सकता कि SVD और PCA की चर्चा, जो कि वैसे भी जानवरों के काफी भिन्न प्रकार हैं, अर्थमिति के लिए सांख्यिकीय विज्ञान की किसी भी अन्य शाखा की तुलना में भिन्न है।

— निक कॉक्स

@ बाज: "अब तक ऐसा लगता है कि एसवीडी सिर्फ पीसीए करने का एक तरीका है जो अधिक संख्यात्मक रूप से स्थिर होता है" - [इस संदर्भ में] यह बिल्कुल सही है, हाँ।

— अमीबा का कहना है कि

Answer 1

जैसा कि @ttnphns और @ nic-cox ने कहा, SVD एक संख्यात्मक पद्धति है और PCA एक विश्लेषण दृष्टिकोण (कम से कम वर्ग) है। आप एसवीडी का उपयोग करके पीसीए कर सकते हैं, या आप (या ) के ईजन-अपघटन कर रहे पीसीए कर सकते हैं , या आप कई अन्य तरीकों का उपयोग करके पीसीए कर सकते हैं, जैसे आप एक दर्जन अलग-अलग एल्गोरिदम के साथ कम से कम वर्गों को हल कर सकते हैं। जैसे न्यूटन की विधि या ढाल वंश या SVD आदि।$X^T X$$X X^T$

इसलिए पीसीए पर एसवीडी के लिए कोई "लाभ" नहीं है क्योंकि यह पूछना पसंद है कि क्या न्यूटन की विधि कम से कम वर्गों से बेहतर है: दोनों तुलनीय नहीं हैं।

Comments

एक संक्षिप्त, संक्षिप्त जवाब का अच्छा उदाहरण अभी भी एक प्रश्न के दिल में मिल सकता है।

— निक कॉक्स

वाह, इस उत्तर के लिए 8 upvotes और मूल प्रश्न के लिए 0 upvotes। इससे बहुत मतलब नहीं है। यदि आप उत्तर को उलटते हैं, तो प्रश्न पर भी विचार करें!

— अमीबा का कहना है कि

@amoeba मेरे लिए सवाल उलझन भरा है। उत्तर स्पष्ट करता है कि भ्रम क्या है। मुझे लगता है कि वोटों में अंतर के लिए एक अच्छी व्याख्या है।

— निक कॉक्स

वास्तव में अधिक पांडित्यपूर्ण होने के लिए, एसवीडी प्रति संख्यात्मक विधि नहीं है, यह एक रैखिक बीजगणित ऑपरेशन है, जिसे विशिष्ट संख्यात्मक विधियों का उपयोग करके कार्यान्वित किया जा सकता है जैसे हाउसहोल्डर परिवर्तन ...

— बैंगनी ०१

फिर भी (एसवीडी के माध्यम से प्रमुख घटक प्राप्त करते समय) का लाभ एक संख्यात्मक है: अधिक सटीक। उदाहरण के लिए देखें जोलिफ (2002)। शायद

— निकोस एलेक्जेंड्रिस

Answer 2

प्रश्न वास्तव में पूछ रहा है कि क्या आपको एसवीडी लगाने से पहले कॉलम का जेड-स्कोर सामान्य करना चाहिए। ऐसा इसलिए है क्योंकि पीसीए एसवीडी द्वारा उपर्युक्त परिवर्तन है। कभी-कभी सामान्यीकरण करना काफी हानिकारक होता है। यदि आपका डेटा उदाहरण के लिए है (रूपांतरित) शब्द मायने रखता है जो सकारात्मक हैं, मतलब घटाना निश्चित रूप से हानिकारक है। ऐसा इसलिए है क्योंकि किसी दस्तावेज में शब्द की अनुपस्थिति का प्रतिनिधित्व करने वाले शून्य को उच्च परिमाण के साथ ऋणात्मक संख्याओं में मैप किया जाएगा। रैखिक समस्याओं में उच्च परिमाण का उपयोग उस सीमा का प्रतिनिधित्व करने के लिए किया जाना चाहिए जहां आपकी विशेषताएं सबसे संवेदनशील हैं। इस प्रकार के डेटा के लिए मानक विचलन द्वारा विभाजित करना भी हानिकारक है।

Comments

यह एक दिलचस्प उदाहरण है, लेकिन मेरा मानना ​​है कि यह किसी और धागे से संबंधित होना चाहिए। पीसीए निश्चित रूप से जेड-स्कोरिंग के बिना किया जा सकता है, इसलिए मैं आपके पहले वाक्य से असहमत हूं: यह वह नहीं है जो यह सवाल "वास्तव में पूछ रहा है"।

— अमीबा का कहना है कि मोनिका

पीसीए और एसवीडी समान हैं यदि आप साधनों को घटाते हुए नजरअंदाज करते हैं (यह मेरे द्वारा उल्लेखित जेड-स्कोरिंग है, कभी-कभी लोग पीसीए को स्टदेव द्वारा विभाजित करने के साथ देते हैं)। इसलिए मैं असहमत हूं कि आप साधनों को घटाए बिना पीसीए कर सकते हैं। आप गैर-वर्ग मैट्रिस पर भी पीसीए कर सकते हैं।

— स्टीफन सेवव जूल