पीसीए के अनुरूप गैर-ऑर्थोगोनल तकनीक

9

मान लीजिए कि मेरे पास एक 2D बिंदु डेटासेट है और मैं उदाहरण के लिए, डेटा में सभी स्थानीय मैक्सिमा के निर्देशों का पता लगाना चाहता हूं:

यहाँ छवि विवरण दर्ज करें

पीसीए इस स्थिति में मदद नहीं करता है क्योंकि यह एक ऑर्थोगोनल अपघटन है और इसलिए दोनों रेखाओं को मैं नीले रंग में इंगित नहीं कर सकता हूं, बल्कि इसका उत्पादन हरे रंग की रेखाओं द्वारा दिखाया गया हो सकता है।

कृपया कोई भी तकनीक सुझाएं जो इस उद्देश्य के लिए उपयुक्त हो। धन्यवाद।

pca dimensionality-reduction

— अहमद
स्रोत

क्या आप अपना उदाहरण डेटा सेट उपलब्ध करा सकते हैं? मैं आपके लिए कुछ कोशिश करना चाहूंगा। सादर, एरिक

— एरिक मेलसे

10

स्वतंत्र घटक विश्लेषण आपको अच्छा समाधान प्रदान करने में सक्षम होना चाहिए। यह मानकर कि आपके माप सांख्यिकीय रूप से स्वतंत्र चर के मिश्रण से गैर-ऑर्थोगोनल घटकों (जैसे आपके मामले में) को विघटित करने में सक्षम हैं।

इंटरनेट में बहुत सारे अच्छे ट्यूटोरियल हैं, और कुछ आज़ादी से उपलब्ध कार्यान्वयनों को शांत करने के लिए (उदाहरण के लिए scikit या MDP में )।

ICA कब काम नहीं करता है?

अन्य एल्गोरिदम के रूप में, आईसीए इष्टतम है जब मान्यताओं जिसके लिए इसे लागू किया गया था। वस्तुतः,

स्रोत सांख्यिकीय रूप से स्वतंत्र हैं
स्वतंत्र घटक गैर-गाऊसी हैं
मिक्सिंग मैट्रिक्स उल्टा है

आईसीए मिक्सिंग मैट्रिक्स और स्वतंत्र घटकों का एक अनुमान देता है।

जब आपके स्रोत गाऊसी हैं तो आईसीए घटकों को नहीं ढूंढ सकता है। कल्पना कीजिए कि आपके पास दो स्वतंत्र घटक हैं, और , जो । फिर, $x_{1}$ $x_{2}$ $N(0,I)$

पी ({एक्स}_{1}, {एक्स}_{2}) = पी ({एक्स}_{1}) पी ({एक्स}_{2}) = \frac{1}{2 π} \exp (- \frac{{एक्स}_{1}^{2} + {एक्स}_{2}^{2}}{2}) = \frac{1}{2 π} \exp - \frac{| | एक्स | |^{2}}{2}

$p(x_{1}, x_{2}) = p(x_{1})p(x_{2}) = \frac{1}{2\pi}\exp \left( -\frac{x_{1}^{2}+x_{2}^{2}}{2} \right) = \frac{1}{2\pi}\exp -\frac{||\mathbf{x}||^{2}}{2}$

जहां। दो आयामी वेक्टर का आदर्श है। यदि उन्हें एक ऑर्थोगोनल परिवर्तन (उदाहरण के लिए एक रोटेशन ) के साथ मिलाया जाता है, तो हमारे पास,, जिसका अर्थ है कि रोटेशन के तहत संभावना वितरण नहीं बदलता है। इसलिए, ICA डेटा से मिक्सिंग मैट्रिक्स नहीं ढूंढ सकता है। $||.||$ $R$ $||R\mathbf{x}|| = ||\mathbf{x}||$

— jpmuc
स्रोत

हाँ, यह चाहिए ( scikit-learn.org/stable/auto_examples/decomposition/… ), धन्यवाद एक गुच्छा! : D

— अहमद

1

यदि आप अधिक बताते हैं तो यह वास्तव में गहरे उत्तर में बदल सकता है; विशेष रूप से, अपने प्रस्ताव (ICA) के साथ @ गॉटफ्रीड के प्रस्ताव (तिरछा रोटेशन के साथ पीसीए) की तुलना करने का निर्णय लें, - दोनों के अंतर और कमियां क्या हैं।

— ttnphns

मैं देखता हूं कि इस प्रश्न का आंशिक उत्तर दिया गया है। एक साधारण उदाहरण जोड़कर संपादित करें की जाँच करें जिसके लिए ICA लागू नहीं होता है।

— jpmuc

3

तथाकथित "तिरछी" मामले के लिए पीसीए जैसी प्रक्रियाएं हैं। SPSS जैसे स्टेट-सॉफ्टवेयर में (और संभवतः इसके फ्रीवेयर क्लोन में भी) PSPP एक समान रूप से "तिरछी घुमाव" कहा जाता है, और उनमें से उदाहरणों को "तिरस्कार", "प्रोमैक्स" और कुछ और कहा जाता है। अगर मैं चीजों को सही ढंग से समझता हूं, तो सॉफ्टवेयर एक ऑर्थोगोनल, यूक्लिडियन स्पेस (जैसे आपकी तस्वीर में दिखाया गया उदाहरण के लिए) के निर्देशांक में उनके निर्देशांक की पुन: गणना करके कारक-लोडिंग को "आयताकार" करने का प्रयास करता है। एकाधिक प्रतिगमन से ज्ञात कुछ तकनीक। इसके अलावा मुझे लगता है कि यह केवल चलने का काम करता है और मॉडल के सांख्यिकीय परीक्षण में स्वतंत्रता के एक या अधिक डिग्री का उपभोग करता है।

तुलना पीसीए और परोक्ष रोटेशन के संदर्भ-पुस्तिका SPSS के परोक्ष-रोटेशन के लिए (आईबीएम-स्थल पर) गणना के लिए भी फार्मूले में शामिल है।

[अपडेट] (उप्स, सॉरी, बस जाँच की गई कि PSPP तिरछा प्रकार के "घुमाव" प्रदान नहीं करता है)

— गॉटफ्रीड हेल्स
स्रोत

1

हम्म, एक तीसरे पढ़ने के बाद, मैं देखता हूं कि आपका प्रश्न तिरछे-घुमाव-औचित्य से थोड़ा अलग है: आपके डेटा के क्लाउड में यह भी नहीं है कि इसका मतलब मूल पर है / कि डेटा भी केंद्रित नहीं है, इसलिए आप मैंने अपने उत्तर में यहाँ जो कुछ कवर किया है, उससे अधिक कुछ और हो सकता है। यदि यह मामला है, तो मैं उत्तर को बाद में हटा सकता हूं ...

— Gottfried Helms

1

क्योंकि पीसीए के बाद तिरछा "घुमाव" होता है, इसलिए वे प्रश्न में जिस तरह की स्थिति को दर्शाते हैं, उसे "देख नहीं सकते" और इसलिए पीसीए की तुलना में दो घटकों की पहचान करने की कोई अधिक क्षमता नहीं है।

— whuber

2

मुझे इसके साथ बहुत अनुभव नहीं है, लेकिन विडाल, मा और सैस्ट्री के जनरल पीसीए को एक समान समस्या के लिए बनाया गया था।

— नूह स्टीन
स्रोत

2

अन्य उत्तरों ने पहले ही उन तकनीकों के बारे में कुछ उपयोगी संकेत दिए हैं, जिन पर आप विचार कर सकते हैं, लेकिन किसी ने भी यह नहीं बताया है कि आपकी धारणा गलत है: आपकी योजनाबद्ध तस्वीर पर नीले रंग में दिखाई गई रेखाएं विचरण की स्थानीय अधिकतम सीमा नहीं हैं।

इसे देखने के लिए, ध्यान दें कि दिशा में विचरण $\mathbf{w}$ द्वारा दिया गया है $\mathbf{w}^\top\mathbf{\Sigma}\mathbf{w}$ , कहाँ पे $\mathbf{\Sigma}$ डेटा के सहसंयोजक मैट्रिक्स को दर्शाता है। स्थानीय मैक्सीमा खोजने के लिए हमें इस अभिव्यक्ति के व्युत्पन्न को शून्य करने की आवश्यकता है। जैसा $\mathbf{w}$ इकाई की लंबाई के लिए विवश है, हमें एक शब्द जोड़ने की आवश्यकता है $\lambda(\mathbf{w}^\top\mathbf{w}-1)$ कहाँ पे $\lambda$ लैगरेंज का गुणक है। विभेद करते हुए, हम निम्नलिखित समीकरण प्राप्त करते हैं:

Σ w - λ w = 0।

$\mathbf{\Sigma}\mathbf{w} - \lambda \mathbf{w} = 0.$

इस का मतलब है कि $\mathbf{w}$ कोविर्सियस मैट्रिक्स का एक आइजनवेक्टर होना चाहिए, अर्थात प्रमुख वैक्टर में से एक। दूसरे शब्दों में, पीसीए आपको सभी स्थानीय मैक्सिमा देता है , कोई अन्य नहीं है।

— एक सलि का जन्तु
स्रोत

नमस्ते, मेरे पास गणित में बहुत अधिक पृष्ठभूमि नहीं है, क्या आप मुझे ऊपर बताई गई चीजों के बारे में जानने के लिए एक अच्छे संसाधन की सिफारिश कर सकते हैं? धन्यवाद।

— अहमद

@ अहम: मुझे यकीन नहीं है, यह इस बात पर निर्भर करता है कि आप पहले से क्या जानते हैं। मुझे लगता है कि आपको रैखिक बीजगणित और विश्लेषण पर सभ्य पाठ्य पुस्तकों की आवश्यकता होगी। यह काफी बुनियादी सामान है, इसे किसी भी सभ्य पाठ्यपुस्तक में शामिल किया जाना चाहिए।

— अमीबा