एलएसए और पीएलएसए के बीच एक पैरेलल

पीएलएसए के मूल पेपर में लेखक, थॉमस हॉफमैन, पीएलएसए और एलएसए डेटा संरचनाओं के बीच एक समानांतर खींचते हैं जो मैं आपके साथ चर्चा करना चाहूंगा।

पृष्ठभूमि:

प्रेरणा लेते हुए सूचना पुनर्प्राप्ति मान लें कि हमारे पास दस्तावेजों का एक संग्रह है और terms की एक शब्दावली $N$

D = {d_{1}, d_{2}, . . . ., d_{N}}

$D = \lbrace d_1, d_2, ...., d_N \rbrace$

M

$M$

Ω = {ω_{1}, ω_{2}, . . ., ω_{M}}

$\Omega = \lbrace \omega_1, \omega_2, ..., \omega_M \rbrace$

एक कॉर्पस को एक मैट्रिक्स के सहसंबंधों द्वारा दर्शाया जा सकता है । $X$ $N \times M$

में अव्यक्त अर्थ analisys द्वारा SVD मैट्रिक्स : तीन मैट्रिक्स में factorized है जहां और हैं विलक्षण मूल्यों की और के रैंक है । $X$

X = U Σ V^{T}

$X = U \Sigma V^T$

Σ = d i a g {σ_{1}, . . ., σ_{s}}

$\Sigma = diag \lbrace \sigma_1, ..., \sigma_s \rbrace$

σ_{i}

$\sigma_i$

X

$X$

s

$s$

X

$X$

की एलएसए सन्निकटन $X$

\hat{X} = \hat{U} \hat{Σ} \hat{V^{T}}

$\hat{X} = \hat{U}\hat{\Sigma}\hat{V^T}$ फिर कुछ स्तर तक तीन मैट्रिक्स छोटा गणना की जाती है

k < s

$k < s$ , चित्र में दिखाया गया है:

यहाँ छवि विवरण दर्ज करें

PLSA में, विषयों का एक निश्चित सेट चुनें (अव्यक्त चर) का की गणना इस प्रकार की जाती है: जहां तीन होते हैं, जो मॉडल की संभावना को अधिकतम करते हैं। $Z = \lbrace z_1, z_2, ..., z_Z \rbrace$ $X$

X = [P (d_{i} | z_{k})] \times [d i a g (P (z_{k})] \times [P (f_{j} | z_{k})]^{T}

$X = [P(d_i | z_k)] \times [diag(P(z_k)] \times [P(f_j|z_k)]^T$

वास्तविक प्रश्न:

लेखक कहता है कि ये संबंध निर्वाह करते हैं:

$U = [P(d_i | z_k)]$
$\hat{\Sigma} = [diag(P(z_k)]$
$V = [P(f_j|z_k)]$

और यह कि एलएसए और पीएलएसए के बीच महत्वपूर्ण अंतर इष्टतम अपघटन / सन्निकटन को निर्धारित करने के लिए उपयोग किया जाने वाला उद्देश्य फ़ंक्शन है।

मुझे यकीन नहीं है कि वह सही है, क्योंकि मुझे लगता है कि दो मैट्रिस विभिन्न अवधारणाओं को दोहराते हैं: एलएसए में यह एक दस्तावेज़ में एक शब्द दिखाई देने वाले समय की संख्या का एक अनुमान है, और pLSA में (अनुमानित है) ) संभावना है कि दस्तावेज़ में एक शब्द दिखाई देता है। $\hat{X}$

क्या आप मुझे इस बिंदु को स्पष्ट करने में मदद कर सकते हैं?

इसके अलावा, मान लें कि हमने एक कॉर्पस पर दो मॉडलों की गणना की है, एक नया दस्तावेज़ दिया है , एलएसए में मैं इसका अनुमान लगाने के लिए उपयोग करता हूं जैसे: $d^*$

\hat{d^{*}} = d^{*} \times V \times V^{T}

$\hat{d^*} = d^*\times V \times V^T$

क्या यह हमेशा मान्य है?
मुझे pLSA में समान प्रक्रिया लागू करने का सार्थक परिणाम क्यों नहीं मिला? $\hat{d^{*}} = d^{*} \times [P (f_{j} | z_{k})] \times [P (f_{j} | z_{k})]^{T}$ $\hat{d^*} = d^*\times [P(f_j|z_k)] \times [P(f_j|z_k)]^T$

धन्यवाद।

— Aslan986
स्रोत

सादगी के लिए, मैं यहां एलएसए और गैर-नकारात्मक मैट्रिक्स फैक्टराइजेशन (एनएमएफ) के बीच कनेक्शन दे रहा हूं, और फिर दिखाता हूं कि लागत फ़ंक्शन का एक सरल संशोधन कैसे pLSA की ओर जाता है। जैसा कि पहले कहा गया है, एलएसए और पीएलएसए दोनों अर्थों में फैक्टराइजेशन मेथड हैं , जो कि पंक्तियों और कॉलमों के सामान्यीकरण तक, डॉक्यूमेंट टर्म मैट्रिक्स के निम्न-रैंक अपघटन:

X = U Σ D

$X=U\Sigma D$

पिछले नोटेशन का उपयोग करना। अधिक सरल रूप से, दस्तावेज़ शब्द मैट्रिक्स को दो मैट्रिक्स के उत्पाद के रूप में लिखा जा सकता है:

X = A B^{T}

$X = AB^T$

जहां और । LSA के लिए, पिछले सूत्र के साथ पत्राचार और सेट करके प्राप्त किया जाता है । $A\in\Re^{N\times s}$ $B\in\Re^{M\times s}$ $A=U \sqrt{\Sigma}$ $B=V\sqrt{\Sigma}$

LSA और NMF के बीच अंतर को समझने का एक आसान तरीका उनकी ज्यामितीय व्याख्या का उपयोग करना है:

LSA इसका समाधान है:
$min_{A, B} ‖ X - A B^{T} ‖_{F}^{2},$ $\min_{A,B} \|X - AB^T \|_F^2,$
NMF- इसका समाधान है: $L_2$
$min_{A \geq 0, B \geq 0} ‖ X - A B^{T} ‖_{F}^{2},$ $\min_{A\ge 0,B\ge 0} \|X - AB^T \|_F^2,$
NMF-KL pLSA के बराबर है और इसका समाधान है:
$min_{A \geq 0, B \geq 0} K L (X | | A B^{T}) .$ $\min_{A\ge 0,B\ge 0} KL(X|| AB^T).$

जहाँ मैट्रिस और के साथ कुल्बैक-लीब्लर विचलन है । यह देखने के लिए कि उपरोक्त सभी समस्याओं के लिए एक अनूठा समाधान की जरूरत नहीं है आसान है, के बाद से एक कर सकते हैं गुणा एक सकारात्मक संख्या और विभाजित द्वारा $KL(X||Y) = \sum_{ij} x_{ij}\log{\frac{x_{ij}}{y_{ij}}}$ $X$ $Y$ $A$ $B$ समान उद्देश्य मान प्राप्त करने के लिए समान संख्या द्वारा। इसलिए, - एलएसए के मामले में, लोग आमतौर पर एक प्रतिगामी आधार का चयन करते हैं जो कि आइगेनवैल्यू को कम करके सॉर्ट किया जाता है। यह एसवीडी अपघटन द्वारा दिया गया है और एलएसए समाधान की पहचान करता है, लेकिन कोई भी अन्य विकल्प संभव होगा क्योंकि इसका अधिकांश ऑपरेशनों पर कोई प्रभाव नहीं पड़ता है (कोसाइन समानता, ऊपर उल्लिखित सूत्र, आदि)। - NMF के मामले में, एक ऑर्थोगोनल अपघटन संभव नहीं है, लेकिन की पंक्तियाँ आमतौर पर लिए बाध्य होती हैं, क्योंकि इसमें रूप में प्रत्यक्ष संभाव्य व्याख्या होती है । यदि इसके अलावा, की पंक्तियों को सामान्यीकृत किया जाता है (यानी एक के बराबर), तो की पंक्तियों को एक योग करना होता है, जिसके कारण संभाव्य व्याख्या होती है $A$ $p(z_k|d_i)$ $X$ $B$ $p(f_j|z_k)$ । वहाँ की वजह से कॉलम pLSA के संस्करण ऊपर प्रश्न में दिए गए के साथ एक मामूली अंतर है एक के लिए योग करने के लिए विवश कर रहे हैं, ताकि में मानों हैं , लेकिन अंतर केवल parametrization का एक परिवर्तन है समस्या शेष है। $A$ $A$ $p(d_i|z_k)$

अब, प्रारंभिक प्रश्न का उत्तर देने के लिए, एलएसए और पीएलएसए (और अन्य एनएमएफ एल्गोरिदम) के बीच अंतर में कुछ सूक्ष्म है: गैर-नकारात्मकता बाधाएं आ "क्लस्टिंग इफेक्ट" को प्रेरित करती हैं जो शास्त्रीय एलएसए मामले में मान्य नहीं है क्योंकि एकवचन मान अपघटन समाधान घूर्णी रूप से अपरिवर्तनीय है। गैर-नकारात्मकता किसी भी तरह से इस घूर्णी आक्रमण को तोड़ती है और कुछ अर्थ अर्थ (पाठ विश्लेषण में विषय) के साथ कारक देती है। इसे समझाने वाला पहला पेपर है:

डोनोहो, डेविड एल।, और विक्टोरिया सी। स्टोडेन। "गैर-नकारात्मक मैट्रिक्स कारक कब भागों में सही अपघटन देता है?" तंत्रिका सूचना प्रसंस्करण प्रणालियों में अग्रिम 16: 2003 सम्मेलन की कार्यवाही। एमआईटी प्रेस, 2004. [लिंक]

अन्यथा, PLSA और NMF के बीच का संबंध यहाँ वर्णित है:

डिंग, क्रिस, ताओ ली और वी पेंग। "गैर-नकारात्मक मैट्रिक्स कारक और संभाव्य अव्यक्त अर्थ सूचकांक के बीच समानता पर।" कम्प्यूटेशनल सांख्यिकी और डेटा विश्लेषण 52.8 (2008): 3913-3927। [संपर्क]

— Guillaume
स्रोत