एन-ग्राम मॉडल के लिए प्रतिशत और क्रॉस-एन्ट्रापी

10

क्रॉस-एन्ट्रापी और पेप्लेक्सिटी के बीच संबंधों को समझने की कोशिश करना। सामान्य तौर पर एक मॉडल M , Perplexity (M) = 2 ^ एन्ट्रॉपी (M) के लिए । क्या यह रिश्ता सभी अलग-अलग एन-ग्रामों, यानी यूग्राम, बिग्राम आदि के लिए है?

natural-language entropy perplexity

— Margalit
स्रोत

वह वास्तव में चंचलता की परिभाषा है; द चीज इससे ली गई है;)

\sqrt[N]{Π_{i = 1}^{N} \frac{1}{P (w_{i} | w_{1}, . . . w_{i - 1})}}

$\sqrt[N]{\Pi^N_{i=1} \frac{1}{P(w_i|w_1, ... w_{i-1})}}$

— WavesWideSands

9

हां, एन्ट्रापी हमेशा एन्ट्रापी की शक्ति के दो के बराबर होती है। इससे कोई फर्क नहीं पड़ता कि आपके पास किस प्रकार का मॉडल है, एन-ग्राम, यूनीग्राम, या तंत्रिका नेटवर्क।

कुछ कारण हैं कि भाषा मॉडलिंग लोगों को केवल एन्ट्रॉपी का उपयोग करने के बजाय चंचलता पसंद करते हैं। एक यह है कि प्रतिपादक की वजह से, गड़बड़ी में सुधार "महसूस" होता है जैसे कि वे एन्ट्रापी में समान सुधार से अधिक पर्याप्त हैं। एक और यह है कि इससे पहले कि वे perplexity का उपयोग करना शुरू कर देते हैं, एक भाषा मॉडल की जटिलता को एक सरलीकृत शाखाओं में बंटी कारक माप का उपयोग करके सूचित किया गया था जो कि एंट्रॉपी की तुलना में perplexity के समान है।

— हारून
स्रोत

1

एक मामूली संशोधन के साथ @Aaron जवाब से सहमत:

यह हमेशा एन्ट्रापी की शक्ति के बराबर दो नहीं होता है। दरअसल, यह एन्ट्रापी की शक्ति के लिए (लॉग के लिए आधार) होगा। यदि आपने ई को अपने आधार के रूप में उपयोग किया है तो यह ई ^ एन्ट्रॉपी होगा।

— प्रशांत गुप्ता
स्रोत