अल्फा और बीटा हाइपरपैरमीटर लेट्रेंट डिरिचलेट आवंटन में क्या योगदान देता है?

19

LDA के पास दो हाइपरपैरमीटर हैं, जिससे उन्हें प्रेरित विषय बदल जाते हैं।

अल्फा और बीटा हाइपरपरमेटर्स एलडीए में क्या योगदान देता है?

एक या दूसरे हाइपरपैरमीटर बढ़ने या घटने पर विषय कैसे बदलता है?

वे हाइपरपरमैटर क्यों हैं और सिर्फ पैरामीटर नहीं?

topic-model lda parameter

— alvas
स्रोत

: यहाँ एक अच्छा आंशिक जवाब है stats.stackexchange.com/a/37444/156252

— ग्रीनिश

16

डिरिचलेट वितरण एक बहुभिन्नरूपी वितरण है। हम डिरिचलेट के मापदंडों को आकार के K के रूप में ~ ~ , जहाँ , मापदंडों के आकार का वेक्टर है , और । $\frac{1}{B(a)} \cdot \prod\limits_{i} x_i^{a_{i-1}}$ $a$ $K$ $\sum x_i = 1$

अब LDA कुछ निर्माणों का उपयोग करता है जैसे:

एक दस्तावेज़ में कई विषय हो सकते हैं (इस बहुलता के कारण, हमें डिरिचलेट वितरण की आवश्यकता है); और एक डिरिचलेट वितरण है जो इस संबंध को मॉडल करता है
शब्द कई विषयों से संबंधित हो सकते हैं, जब आप उन्हें दस्तावेज़ के बाहर मानते हैं; इसलिए यहां हमें इसे मॉडल करने के लिए एक और डिरिचलेट की जरूरत है

पिछले दो वितरण हैं जो आप वास्तव में डेटा से नहीं देखते हैं, यही कारण है कि अव्यक्त, या छिपा हुआ कहा जाता है।

अब, बायेसियन इंट्रेंस में आप पश्च संभावना के अनुमान लगाने के लिए बेयस नियम का उपयोग करते हैं। सरलता के लिए, मान लें कि आपके पास डेटा और आपके पास इस डेटा के लिए एक मॉडल है जो कुछ मापदंडों द्वारा शासित है । इस पैरामीटर के लिए मानों का अनुमान लगाने के लिए, पूर्ण बायेसियन निष्कर्ष में आप .ta के साथ बायस नियम का उपयोग करके इन मापदंडों की पूर्ववर्ती संभावना का अनुमान लगाएंगे नोट: एक आता है $x$ $\theta$

p (θ | x) = \frac{p (x | θ) p (θ | α)}{p (x | α)} ⟺ posterior probability = \frac{likelihood \times prior probability}{marginal likelihood}

$p(\theta|x) = \frac{p(x|\theta)p(\theta|\alpha)}{p(x|\alpha)} \iff \text{posterior probability} = \frac{\text{likelihood}\times \text{prior probability}}{\text{marginal likelihood}}$

α

$\alpha$ । यह इस वितरण के बारे में आपकी प्रारंभिक मान्यता है, और पूर्व वितरण का पैरामीटर है। आमतौर पर इसे इस तरह से चुना जाता है जिसमें पहले से एक संयुग्मन होगा (इसलिए पूर्व के वितरण के साथ पोस्टीरियर का वितरण समान है) और अक्सर कुछ ज्ञान को सांकेतिक शब्दों में बदलना होगा यदि आपके पास एक है या अधिकतम एन्ट्रापी है यदि आप कुछ भी नहीं जानते हैं ।

पूर्व के मापदंडों को हाइपरपरमेटर्स कहा जाता है । तो, LDA में, दोनों विषयों के वितरण, दस्तावेजों पर और शब्दों पर भी संवाददाता पुजारी हैं, जिन्हें आमतौर पर अल्फा और बीटा के साथ निरूपित किया जाता है, और क्योंकि पूर्व वितरण के मापदंडों को हाइपरपरमेटर्स कहा जाता है।

अब पुजारियों को चुनने के बारे में। यदि आप कुछ डिरिक्लेट डिस्ट्रीब्यूशन की साजिश करते हैं, तो आप ध्यान देंगे कि यदि अलग-अलग पैरामीटर्स का एक ही मूल्य है, तो मान द्वारा परिभाषित सिम्पलेक्स में pdf सममित है , जो कि pdf के लिए न्यूनतम या अधिकतम केंद्र में है। $\alpha_k$ $x$

यदि सभी में कोनों में यूनिट की तुलना में मान कम है, तो कोनों पर अधिकतम पाया जाता है $\alpha_k$

या अगर सभी मान समान हों और 1 से अधिक हो तो अधिकतम केंद्र की तरह मिलेंगे $\alpha_k$

यह देखना आसान है कि अगर मान समान नहीं हैं तो समरूपता टूट गई है और अधिकतम बड़े मानों के पास मिल जाएगा। $\alpha_k$

अतिरिक्त, कृपया ध्यान दें कि पुजारी मापदंडों के लिए मान वितरण के सुचारू पीडीएफ़ का उत्पादन करते हैं क्योंकि मापदंडों का मान लगभग 1 है। इसलिए यदि आपको बहुत विश्वास है कि कुछ स्पष्ट रूप से आपके द्वारा ज्ञात तरीके से वितरित किया गया है, तो आत्मविश्वास का एक उच्च डिग्री के साथ। 1 से दूर निरपेक्ष मूल्य में मूल्यों का उपयोग किया जाता है, यदि आपके पास 1 से पास मूल्यों की तुलना में इस तरह का ज्ञान नहीं है, तो यह ज्ञान की कमी को सांकेतिक रूप से कम करेगा। यह देखना आसान है कि डिरिचलेट वितरण में 1 वितरण के सूत्र से ऐसी भूमिका क्यों निभाता है।

इसे समझने का एक और तरीका यह है कि पूर्व-ज्ञान को पहले से ही समझ लें। एक ही समय में आप सोच सकते हैं कि कुछ पहले देखे गए डेटा को एनकोड करें। यह डेटा एल्गोरिदम द्वारा स्वयं नहीं देखा गया था, यह आपके द्वारा देखा गया था, आपने कुछ सीखा, और आप जो जानते हैं (सीखा) उसके अनुसार मॉडल कर सकते हैं। तो पहले के मापदंडों (हाइपरपरमेटर्स) में आप यह भी सांकेतिक शब्दों में बदलना करते हैं कि यह डेटा आपने एप्रीओरी को कितना बड़ा सेट किया है, क्योंकि का योग यह हो सकता है कि यह अधिक या कम काल्पनिक डेटा सेट के आकार के रूप में भी हो। इतना बड़ा पूर्व डेटा सेट, बड़ा आत्मविश्वास है, आप बड़ा मान चुन सकते हैं, अधिकतम मूल्य के पास सतह को तेज करें, जिसका अर्थ कम संदेह भी है। $\alpha_k$ $\alpha_k$

आशा है कि यह मदद की।

— rapaio
स्रोत

हम घर / टेक्स समर्थन के बारे में आशा करते हैं! : D

— Rubens

11

सममित डिरिचलेट वितरण (सादगी के लिए) को मानते हुए, एक कम अल्फा मान केवल कुछ प्रमुख विषयों (जबकि एक उच्च मूल्य कई और अपेक्षाकृत प्रमुख विषयों को लौटाएगा) से बना प्रत्येक दस्तावेज़ होने पर अधिक भार रखता है। इसी प्रकार, कम बीटा मान प्रत्येक विषय को केवल कुछ प्रमुख शब्दों से बनाकर अधिक भार देता है।

— एलिरेज़ा
स्रोत