आपसी सूचना मैट्रिक्स के आइजनवेक्टर का अर्थ क्या है?


14

जब कोवरियन मैट्रिक्स के आइजनवेक्टरों को देखते हैं, तो हमें अधिकतम विचरण की दिशाएँ मिलती हैं (पहला ईजनवेक्टर वह दिशा है जिसमें डेटा सबसे भिन्न होता है, आदि); इसे प्रधान घटक विश्लेषण (PCA) कहा जाता है।

मैं सोच रहा था कि आपसी सूचना मैट्रिक्स के eigenvectors / मूल्यों को देखने का क्या मतलब होगा, क्या वे अधिकतम एन्ट्रॉपी की दिशा में इंगित करेंगे?


4
मुझे नहीं पता, लेकिन अभी पता चला है कि पारस्परिक सूचना मैटर हमेशा सकारात्मक अर्ध-निश्चित नहीं होते हैं: arxiv.org/abs/1307.6673
अमीबा का कहना है कि

3
यह कुछ ऐसा याद दिलाता है जिस पर हमने काम किया था: People.eng.unimelb.edu.au/baileyj/papers/frp0038-Vinh.pdf
सिमोन

जवाबों:


3

हालांकि यह प्रत्यक्ष उत्तर नहीं है (जैसा कि बिंदुवार पारस्परिक जानकारी के बारे में है), PM2 मैट्रिक्स के एक विलक्षण मूल्य अपघटन के लिए शब्द 2vec से संबंधित कागज देखें :

हम नेक-सैंपलिंग (SGNS) के साथ स्किप-ग्राम का विश्लेषण करते हैं, जो मिकोलोव एट अल द्वारा शुरू की गई एक शब्द एम्बेडिंग विधि है, और यह दिखाती है कि यह एक शब्द-संदर्भ मैट्रिक्स को स्पष्ट रूप से फैक्ट कर रहा है, जिसकी कोशिकाएं संबंधित बिंदुओं की आपसी जानकारी (PMI) हैं। शब्द और संदर्भ जोड़े, एक वैश्विक स्थिरांक द्वारा स्थानांतरित। हम पाते हैं कि एक अन्य एम्बेडिंग विधि, NCE, समान रूप से एक समान मैट्रिक्स को फैक्टर कर रही है, जहां प्रत्येक सेल अपने संदर्भ में दिए गए शब्द की (स्थानांतरित) लॉग सशर्त संभावना है। हम बताते हैं कि शब्दों का प्रतिनिधित्व करने के लिए एक विरल शिफ्ट पॉजिटिव PMI शब्द-संदर्भ मैट्रिक्स का उपयोग करने से दो शब्द समानता कार्यों और दो अनुरूप कार्यों में से एक में सुधार होता है। जब घने निम्न-आयामी वैक्टर पसंद किए जाते हैं, एसवीडी के साथ सटीक फैक्टराइजेशन उन समाधानों को प्राप्त कर सकता है जो शब्द समानता कार्यों के लिए एसजीएनएस के समाधान के रूप में कम से कम अच्छे हैं। सादृश्यता वाले प्रश्नों पर SGNS SVD से बेहतर बना रहता है। हम अनुमान लगाते हैं कि यह एसजीएनएस के कारक के भारित प्रकृति से उपजा है।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.