क्या आयाम में कमी हमेशा कुछ जानकारी खो देती है?

Question

जैसे शीर्षक कहता है, क्या आयाम में कमी हमेशा कुछ जानकारी खो देती है? उदाहरण के लिए पीसीए पर विचार करें। यदि मेरे पास मौजूद डेटा बहुत विरल है, तो मुझे लगता है कि "बेहतर एन्कोडिंग" पाया जा सकता है (क्या यह किसी भी तरह डेटा की रैंक से संबंधित है?), और कुछ भी नहीं खो जाएगा।

Comments

नहीं, निश्चित रूप से नहीं: पीसीए में कुछ विलक्षण मूल्य सही शून्य हो सकते हैं, उदाहरण के लिए। यह डेटा की "विरलता" से कम है, यह है कि क्या वे उन्हें रिकॉर्ड करने के लिए उपयोग किए गए आयामों को "भर" देते हैं।

— whuber

ठीक है मैं समझा। क्या आप अपनी टिप्पणी एक छोटे से उत्तर के रूप में लिख सकते हैं (शायद एक छोटे से उदाहरण के साथ, यदि आपके पास समय हो तो)

— सोच रहा था

उस मामले पर विचार करें जहां आपके पास दो आयामी डेटा हैं, जहां प्रत्येक बिंदु के लिए y- मान '0' है। आपका पहला सिद्धांत घटक एक्स अक्ष होगा, और आप अपने डेटा को इस एकल आयाम में नीचे लाकर कुछ भी नहीं खोएंगे क्योंकि यह प्रभावी रूप से पहले से ही एक आयामी है।

— डेविड मार्क्स

Answer 1

आयाम की कमी हमेशा जानकारी नहीं खोती है। कुछ मामलों में, किसी भी जानकारी को खारिज किए बिना निचले-आयामी स्थानों में डेटा का पुन: प्रतिनिधित्व करना संभव है।

मान लीजिए कि आपके पास कुछ डेटा है जहां प्रत्येक मापा मूल्य दो ऑर्डर किए गए कोवरिएट्स के साथ जुड़ा हुआ है। उदाहरण के लिए, मान लें कि आपने एक्स और वाई के घने ग्रिड पर कुछ एमिटर के सापेक्ष संकेत गुणवत्ता (रंग सफेद = अच्छा, काला = बुरा) द्वारा मापा जाता है । उस स्थिति में, आपका डेटा बाएं हाथ के प्लॉट जैसा कुछ लग सकता है [* 1]:$Q$$x$$y$

यह कम से कम सतही रूप से डेटा का एक दो आयामी टुकड़ा है: । हालांकि, हम जानते हो सकता है एक प्रायोरी (अंतर्निहित भौतिक विज्ञान पर आधारित) या मानते हैं कि यह केवल मूल से दूरी पर निर्भर करता है: आर = $Q(x,y)$ । (कुछ खोजपूर्ण विश्लेषण भी आपको इस निष्कर्ष तक ले जा सकते हैं, अगर अंतर्निहित घटना भी अच्छी तरह से समझ में नहीं आई है)। हम फिरक्यू(एक्स,वाई) केबजायक्यू(आर) केरूप में हमारे डेटा को फिर से लिख सकते हैं, जो प्रभावी रूप से एकल आयाम तक आयाम को कम कर देगा। जाहिर है, यह केवल दोषरहित है यदि डेटा रेडियल रूप से सममित है, लेकिन यह कई भौतिक घटनाओं के लिए एक उचित धारणा है।$\sqrt{x^2 + y^2}$$Q(r)$$Q(x,y)$

यह परिवर्तन गैर-रैखिक है (इसमें एक वर्गमूल और दो वर्ग हैं!), इसलिए यह पीसीए द्वारा किए गए आयामी घटाव के प्रकार से कुछ अलग है, लेकिन मुझे लगता है कि यह एक अच्छा उदाहरण है कैसे आप कभी-कभी किसी भी जानकारी को खोने के बिना एक आयाम को दूर कर सकते हैं।$Q(x,y) \rightarrow Q(r)$

एक अन्य उदाहरण के लिए, मान लीजिए कि आप कुछ डेटा पर एक विलक्षण मूल्य अपघटन करते हैं (SVD एक निकट चचेरा भाई है - और अक्सर अंतर्निहित हिम्मत - प्रमुख घटक विश्लेषण)। एसवीडी आपके डेटा मैट्रिक्स ले जाता है और इसे तीन मेट्रिसेस में फैक्टर करता है जैसे कि एम = यू एस वी टी । यू और वी के कॉलम क्रमशः बाएं और दाएं एकवचन वैक्टर हैं, जो एम के लिए ऑर्थोनॉमिक बेस का एक सेट बनाते हैं । के विकर्ण तत्वों एस (यानी, एस मैं , मैं ) विलक्षण मूल्यों, जो प्रभावी रूप से पर भार कर रहे हैं मैं वें आधार की इसी कॉलम द्वारा गठित सेट यू और$M$$M = USV^{T}$$M$$S$$S_{i,i})$$i$$U$ ( S काशेष भागशून्य है)। अपने आप से, यह आपको कोई आयामी कमी नहीं देता है (वास्तव में,आपके द्वारा शुरू किएगए एकल एन एक्स एन मैट्रिक्स केबजायअब 3 एन एक्स एन मेट्रिसेस हैं)। हालांकि, कभी-कभी एस के कुछ विकर्ण तत्वशून्य होते हैं। इसका मतलब यह है कि यू और वी में संबंधित आधारोंको एम को फिर से संगठित करने की आवश्यकता नहीं है, और इसलिए उन्हें गिराया जा सकता है। उदाहरण के लिए, मान लीजिए क्यू ( x , y $V$$S$$NxN$$NxN$$S$$U$$V$$M$$Q(x,y)$मैट्रिक्स में 10,000 तत्व शामिल हैं (यानी, यह 100x100 है)। जब हम इस पर एक SVD का प्रदर्शन करते हैं, तो हम पाते हैं कि केवल एक जोड़ी वैक्टर वैक्टर में एक गैर-शून्य मान होता है [* 2], इसलिए हम दो 100 तत्व वैक्टर (200 गुणांक) के उत्पाद के रूप में मूल मैट्रिक्स का फिर से प्रतिनिधित्व कर सकते हैं, लेकिन आप वास्तव में थोड़ा बेहतर कर सकते हैं [* ३])।

कुछ अनुप्रयोगों के लिए, हम जानते हैं (या कम से कम मान लें) कि उपयोगी जानकारी मुख्य घटकों द्वारा उच्च विलक्षण मूल्यों (एसवीडी) या लोडिंग (पीसीए) के साथ कब्जा कर ली गई है। इन मामलों में, हम एकवचन वैक्टर / ठिकानों / प्रमुख घटकों को छोटे लोडिंग के साथ छोड़ सकते हैं, भले ही वे गैर-शून्य हों, इस सिद्धांत पर कि इनमें उपयोगी संकेत के बजाय कष्टप्रद शोर होता है। मैंने कभी-कभी देखा है कि लोग अपने आकार के आधार पर विशिष्ट घटकों को अस्वीकार करते हैं (उदाहरण के लिए, यह अतिरिक्त शोर के ज्ञात स्रोत जैसा दिखता है) लोडिंग की परवाह किए बिना। मुझे यकीन नहीं है कि आप इसे नुकसान की जानकारी मानेंगे या नहीं।

पीसीए की सूचना-प्रधानता इष्टतमता के बारे में कुछ साफ-सुथरे परिणाम हैं। यदि आपका सिग्नल गाऊसी है और एडिटिव गॉसियन शोर के साथ दूषित है, तो पीसीए सिग्नल और उसके डायनेमिकिटी-कम किए गए संस्करण के बीच पारस्परिक जानकारी को अधिकतम कर सकता है (यह मानते हुए कि शोर की पहचान एक सहसंयोजक संरचना है)।

---

फुटनोट:

1. यह एक पनीर और पूरी तरह से गैर-भौतिक मॉडल है। माफ़ करना!
2. फ्लोटिंग पॉइंट इंप्रेशन के कारण, इनमें से कुछ मूल्य इसके बजाय काफी-शून्य नहीं होंगे।
3. $US$

Comments

$I(r)$

$r = \sqrt{(x^2 + y^2)}$

मैट, मेरा प्रश्न वास्तव में इस पर निर्भर करता है: आप हमें बिना किसी विवरण या संदर्भ के एक तस्वीर दिखाते हैं और इसे "डेटा" के रूप में संदर्भित करते हैं: मैं जानना चाहूंगा कि आप इसे डेटा के रूप में किस अर्थ में सोच रहे हैं। आपकी टिप्पणी इस मुद्दे को भ्रमित करती है, क्योंकि "हीट मैप" प्रतिनिधित्व आमतौर पर डेटा नहीं है, लेकिन डेटा से बना कुछ है। यदि वे उदाहरण के लिए अनियमित 2D बिंदु डेटा थे, और आप उनके लिए एक रेडियल सममित घनत्व फिट करते हैं, तो तस्वीर को एक आयामी माना जा सकता है, जैसा कि आप तर्क देते हैं, लेकिन यह डेटा की दोषरहित आयामी कमी नहीं होगी ।

— व्हिबर

शायद मुझे इसके बजाय 'गिड्ड' या 'रैस्टर' कहना चाहिए था। मैं एक ऐसी स्थिति की कल्पना कर रहा था, जहां डेटा ग्रिड पर एकत्र किया जाता है और प्रत्येक ग्रिड अंक एक (स्केलर) मान के साथ जुड़ा होता है, लेकिन यह आवश्यक नहीं कि प्रकाश तीव्रता एक (फोटोग्राफिक) छवि के रूप में हो। उस ने कहा, मैं स्पष्ट रूप से इस जवाब पर रोक नहीं लगा रहा हूं - मुझे इसे कुछ अधिक सुसंगत तरीके से संपादित करने की कोशिश करें!

— मैट क्राउज

+1: संपादन आपके बिंदुओं को अधिक स्पष्ट करते हैं। अतिरिक्त प्रयास के लिए धन्यवाद!

— whuber

Answer 2

मुझे लगता है कि आपके सवाल के पीछे का सवाल है "जानकारी क्या है?"। यह एक अच्छा प्रश्न है।

व्याकरण की तकनीकी:

क्या पीसीए हमेशा जानकारी खो देता है? नहीं। क्या यह कभी-कभी जानकारी खो देता है? आप बेट्चा हो। आप घटकों से मूल डेटा को फिर से संगठित कर सकते हैं। यदि यह हमेशा जानकारी खो देता है तो यह संभव नहीं होगा।

यह उपयोगी है क्योंकि यह अक्सर महत्वपूर्ण जानकारी नहीं खोता है जब आप इसका उपयोग अपने डेटा के आयाम को कम करने के लिए करते हैं। जब आप डेटा खो देते हैं तो यह अक्सर उच्च आवृत्ति डेटा होता है और अक्सर यह कम महत्वपूर्ण होता है। बड़े पैमाने पर, सामान्य रुझानों, बड़े ईजेन्यूवल से जुड़े घटकों में कब्जा कर लिया जाता है।

Answer 3

$n \times p$

सबसे सीधे मामले में, यदि एक आयाम दूसरों का एक रेखीय संयोजन है, तो किसी भी जानकारी को खोए बिना आयाम को कम किया जा सकता है - क्योंकि गिरा हुआ आयाम फिर से बनाया जा सकता है यदि आवश्यक हो तो जो कुछ बचा है।

इस तीन आयामी मामले पर विचार करें जहां एक्स 3 एक्स 1 और एक्स 2 का सटीक रैखिक संयोजन है। यह मूल डेटा पर नजर रखने से स्पष्ट नहीं है, हालांकि यह स्पष्ट है कि x3 दोनों अन्य दो से संबंधित है:

लेकिन अगर हम प्रमुख घटकों को देखें, तो तीसरा शून्य है (संख्यात्मक त्रुटि के भीतर)।

पहले दो प्रमुख घटकों का प्लॉट एक्स 2 के खिलाफ एक्स 1 के प्लॉट के समान है, बस घुमाया गया (ठीक है, स्पष्ट रूप से मेरा मतलब नहीं था, मैं बेहतर बाद में समझाने की कोशिश करूंगा) :

हमने अभी तक सभी सूचनाओं को किसी भी उचित परिभाषा द्वारा, आयाम को कम कर दिया है।

यह रैखिक आयाम-कटौती से परे भी फैली हुई है, हालांकि स्वाभाविक रूप से वर्णन करने के लिए अधिक जटिल है। मुद्दा यह है कि समग्र उत्तर "नहीं" है, न कि जब कुछ आयाम दूसरों के संयोजन के कार्य हैं।

आर कोड:

library(GGally)


n <- 10^3
dat <- data.frame(x1=runif(n, 0, 3), x2=rnorm(n))
dat$x3 <- with(dat, x1 + x2)

ggpairs(dat)

pc <- princomp(dat)
plot(pc)

par(mfrow=c(1,2))
with(dat, plot(dat$x1, dat$x2, col="red", main="Original data", bty="l"))
with(pc, plot(scores[,1], scores[,2], col="blue", main="Scores from principal components(\n(rotated)", bty="l"))