42

मुझे टर्म पेप्लेक्सिटी का पता चला, जो अनदेखी डेटा पर लॉग-एवरेज उलटा संभावना को संदर्भित करता है। विकृति पर विकिपीडिया लेख उसी के लिए एक सहज अर्थ नहीं देता है।

पीएलएसए पेपर में इस गड़बड़ी को मापने के लिए इस्तेमाल किया गया था ।

क्या कोई भी मापक की आवश्यकता और सहज अर्थ की व्याख्या कर सकता है ?

measurement perplexity

— सिखाने वाला
स्रोत

मैं pLSA के लिए पूर्णता की गणना कैसे करूं मेरे पास डेटामेट्रिक्स

जिसकी गिनती है और टीईएम एल्गोरिदम द्वारा

और

की गणना की जाती है।

X

$X$

p (d)

$p(d)$

p (w | d)

$p(w|d)$

— शिक्षार्थी

3

मैंने 5 डेटा माइनिंग / मशीन लर्निंग / प्रेडिक्टिव एनालिटिक्स बुक्स की निस्बत, लॉरोज़, विटेन, तोर्गो और शेमहेली (प्लस कोउथोर्स) द्वारा जाँच की है और यह शब्द उनमें से किसी में भी नहीं है। मैं हैरान हूँ :)

— zbicyclist

1

अनिश्चितता के लिए एक और फैंसी नाम Perplexity है। इसे बाहरी मूल्यांकन के खिलाफ आंतरिक मूल्यांकन के रूप में माना जा सकता है। जान जुराफस्की इसे उदाहरण के साथ उदाहरण के तौर पर समझाते हैं जैसे कि youtube.com/watch?v=BAN3NB_SNHY

— bicepjai

2

@zbicyclist, यदि आप जंगली में उदाहरण देख रहे हैं, तो यह विशेष रूप से एनएलपी में आम है, और विशेष रूप से भाषा मॉडल के लिए चीजों के मूल्यांकन के लिए।

— मैट क्रूस १

कुछ क्षेत्रों (उदाहरण के लिए अर्थशास्त्र) में लोग समतुल्य संख्याओं के बारे में बात करते हैं ताकि उदाहरण के लिए

जहां

स्वाभाविक रूप से लघुगणक के आधार पर एन्ट्रापी है, समान रूप से समान श्रेणियों की एक समान संख्या है। तो, संभावना के साथ दो श्रेणियों में से प्रत्येक 0.5 उपज

की

और प्रतिपादक समान रूप से सामान्य श्रेणियों की संख्या के रूप में वापस 2 हो जाता है। असमान संभावनाओं के लिए समतुल्य संख्या सामान्य रूप से पूर्णांक में नहीं होती है।

\exp (H)

$\exp(H)$

H

$H$

\ln 2

$\ln 2$

— निक कॉक्स

21

आपने विकिपीडिया पर विकिपीडिया के लेख को देखा है । यह एक असतत वितरण की पूर्णता देता है

2^{- \sum_{x} p (x) \log_{2} p (x)}

$2^{-\sum_x p(x)\log_2 p(x)}$

जो भी लिखा जा सकता है

\exp (\sum_{x} p (x) \log_{e} \frac{1}{p (x)})

$\exp\left({\sum_x p(x)\log_e \frac{1}{p(x)}}\right)$

यानी संभावनाओं के व्युत्क्रमों के भारित ज्यामितीय औसत के रूप में। निरंतर वितरण के लिए, योग एक अभिन्न अंग में बदल जाता है।

लेख भी परीक्षण डेटा के टुकड़ों का उपयोग कर एक मॉडल के लिए प्रासंगिकता का अनुमान लगाने का एक तरीका देता है $N$

2^{- \sum_{i = 1}^{N} \frac{1}{N} \log_{2} q (x_{i})}

$2^{-\sum_{i=1}^N \frac{1}{N} \log_2 q(x_i)}$

जो भी लिखा जा सकता है

\exp (\frac{\sum_{i = 1}^{N} \log_{e} (\frac{1}{q (x_{i})})}{N}) or \sqrt[N]{\prod_{i = 1}^{N} \frac{1}{q (x_{i})}}

$\exp\left(\frac{{\sum_{i=1}^N \log_e \left(\dfrac{1}{q(x_i)}\right)}}{N}\right) \text{ or } \sqrt[N]{\prod_{i=1}^N \frac{1}{q(x_i)}}$

या कई अन्य तरीकों से, और इससे यह और भी स्पष्ट हो जाना चाहिए कि "लॉग-औसत व्युत्क्रम संभावना" कहां से आती है।

— हेनरी
स्रोत

जब ई को 2 के बजाय प्रतिपादक के रूप में उपयोग किया जाता है, तो क्या कोई विशेष अंतर है?

— हेनरी ई

2

10

$10$

a^{\log_{a} x} = b^{\log_{b} x}

$a^{\log_a x} = b^{\log_b x}$

मुझे इतना ज्यादा लगा। मुझे यह जवाब तब मिला जब मैं यह समझने की कोशिश कर रहा था कि क्यों कोड का एक टुकड़ा ई का उपयोग कर रहा था जब वे अन्य सभी योगों को देख चुके थे, जिनका उपयोग मैंने पहले किया था। 2. मुझे अब पता चला कि यह जानना कितना महत्वपूर्ण है कि फ्रेमवर्क क्या है। लॉग नुकसान की गणना के लिए एक आधार के रूप में उपयोग करता है

— हेनरी ई

27

मुझे यह सहज नहीं मिला:

जिस भी चीज़ का आप मूल्यांकन कर रहे हैं, उसकी पूर्णता, जिस डेटा पर आप उसका मूल्यांकन कर रहे हैं, उस पर आपको बताता है कि "यह बात सही है जितनी बार एक्स-साइड मरना होगा।"

http://planspace.org/2013/09/23/perplexity-what-it-is-and-what-yours-is/

— pandasEverywhere
स्रोत

यह एक दिलचस्प लेख है; शायद इतनी गहराई में नहीं लेकिन एक अच्छा परिचयात्मक पढ़ा।

— मोनिका हेडडेक

1

मुझे यह लेख भी मददगार लगा, jamesmccaffrey.wordpress.com/2016/08/16/…

— user2561747

11

मैंने भी यही सोचा है। पहला स्पष्टीकरण बुरा नहीं है, लेकिन यहाँ मेरे 2 नट हैं जो भी इसके लायक हैं।

सबसे पहले, perplexity का यह वर्णन करने से कोई लेना-देना नहीं है कि आप कितनी बार कुछ सही अनुमान लगाते हैं। यह एक स्टोकेस्टिक अनुक्रम की जटिलता को चिह्नित करने के लिए अधिक है।

2^{- \sum_{x} p (x) \log_{2} p (x)}

$2^{-\sum_x p(x)\log_2 p(x)}$

आइए पहले लॉग और एक्सपेंसेशन को रद्द करें।

2^{- \sum_{x} p (x) \log_{2} p (x)} = \frac{1}{\prod_{x} p (x)^{p (x)}}

$2^{-\sum_{x} p(x)\log_2 p(x)}=\frac{1}{\prod_{x} p(x)^{p(x)}}$

मुझे लगता है कि यह इंगित करने के लायक है कि आप जिस आधार पर एन्ट्रापी को परिभाषित करने के लिए उपयोग करते हैं, उसके साथ अनिश्चितता है। तो इस अर्थ में, माप के रूप में एन्ट्रापी की तुलना में अनित्यता अधिक अनूठे रूप से अद्वितीय / कम मनमानी है।

पासा से रिश्ता

\frac{1}{{\frac{1}{2}}^{\frac{1}{2}} \times {\frac{1}{2}}^{\frac{1}{2}}} = 2

$\frac{1}{\frac{1}{2}^\frac{1}{2}\times\frac{1}{2}^\frac{1}{2}}=2$

$N$

\frac{1}{{({\frac{1}{N}}^{\frac{1}{N}})}^{N}} = N

$\frac{1}{\left(\frac{1}{N}^\frac{1}{N}\right)^N}=N$

इसलिए चिंता एक निष्पक्ष मरने के पक्षों की संख्या को दर्शाती है कि जब लुढ़का जाता है, तो आपके दिए गए प्रायिकता वितरण के समान ही एन्ट्रॉपी के साथ एक अनुक्रम पैदा करता है।

राज्यों की संख्या

$N$ $N+1$ $N$ $\epsilon$ $N$ $N + 1$ $\epsilon$ $N$ $x$ $p_x$ $N$

p_{x}^{'} = p_{x} (1 - ϵ)

$p^\prime_x=p_x\left(1-\epsilon\right)$

\frac{1}{ϵ^{ϵ} \prod_{x}^{N} {p_{x}^{'}}^{p_{x}^{'}}} = \frac{1}{ϵ^{ϵ} \prod_{x}^{N} {(p_{x} (1 - ϵ))}^{p_{x} (1 - ϵ)}} = \frac{1}{ϵ^{ϵ} \prod_{x}^{N} p_{x}^{p_{x} (1 - ϵ)} {(1 - ϵ)}^{p_{x} (1 - ϵ)}} = \frac{1}{ϵ^{ϵ} {(1 - ϵ)}^{(1 - ϵ)} \prod_{x}^{N} p_{x}^{p_{x} (1 - ϵ)}}

$\frac{1}{\epsilon^\epsilon\prod_x^N {p^\prime_x}^{p^\prime_x}}=\frac{1}{\epsilon^\epsilon\prod_x^N {\left(p_x\left(1-\epsilon\right)\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon\prod_x^N p_x^{p_x\left(1-\epsilon\right)} {\left(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon{\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}\prod_x^N p_x^{p_x\left(1-\epsilon\right)}}$

$\epsilon\rightarrow 0$

\frac{1}{\prod_{x}^{N} {p_{x}}^{p_{x}}}

$\frac{1}{\prod_x^N {p_x}^{p_x}}$

इसलिए जैसे-जैसे आप मरने के एक तरफ लुढ़कते जा रहे हैं, वैसे-वैसे यह संभावना खत्म होती जा रही है कि कहीं यह मौजूद न हो।

— एलेक्स एफ़्टीमीडेस
स्रोत

3

निश्चित रूप से यह केवल ~ 1.39 नॉट लायक है?

— मैट क्रस

\prod_{x}^{N} {p_{x}^{'}}^{p_{x}^{'}} = (1 - ϵ)^{1 - ϵ} \prod_{x}^{N} {p_{x}}^{p_{x} (1 - ϵ)}

$\prod_x^N {p^\prime_x}^{p^\prime_x} = (1-\epsilon)^{1-\epsilon}\prod_x^N {p_x}^{p_x(1-\epsilon)}$

\prod_{x}^{N} {p_{x}^{'}}^{p_{x}^{'}} = \prod_{x}^{N} {(p_{x} (1 - ϵ))}^{p_{x} (1 - ϵ)} = \prod_{x}^{N} {(1 - ϵ)}^{p_{x} (1 - ϵ)} \prod_{x}^{N} {p_{x}}^{p_{x} (1 - ϵ)}

$\prod_x^N {p^\prime_x}^{p^\prime_x} = \prod_x^N {(p_x (1-\epsilon)) }^{p_x(1-\epsilon)} = \prod_x^N {(1-\epsilon) }^{p_x(1-\epsilon)} \prod_x^N {p_x }^{p_x(1-\epsilon)}$

\prod_x^N\left{(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}={\left(1-\epsilon\right)}^{\sum_x^N p_x \left(1-\epsilon\right)}={\left(1-\epsilon\right)}^{\left(1-\epsilon\right)\sum_x^N p_x}={\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}

$\prod_x^N\left{(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}={\left(1-\epsilon\right)}^{\sum_x^N p_x \left(1-\epsilon\right)}={\left(1-\epsilon\right)}^{\left(1-\epsilon\right)\sum_x^N p_x}={\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}$

5

$X$ $X'$

$P(X=X') \ge 2^{-H(X)} = \frac{1}{2^{H(X)}} = \frac{1}{\text{perplexity}}$

समझाने के लिए, एक समान वितरण X की पूर्णता मात्र है | X | तत्वों की संख्या। अगर हम उन मूल्यों का अनुमान लगाने की कोशिश करते हैं जो एक समान वितरण X से iid नमूने लेते हैं तो X से केवल iid अनुमान लगाते हैं, हम सही 1 / | X | = 1 / perplexity समय के होंगे। चूंकि समान वितरण से मूल्यों का अनुमान लगाना सबसे कठिन है, इसलिए हम अनुमान लगाने के लिए कि हम कितनी बार सही होंगे, इसके लिए हम 1 / perplexity को निम्न बाउंड / हेयुरिस्टिक अनुमानित के रूप में उपयोग कर सकते हैं।

— user49404
स्रोत

चंचलता क्या है?

पासा से रिश्ता

राज्यों की संख्या