मैं लॉग स्पेस में असतत (श्रेणीबद्ध) वितरण से कैसे नमूना ले सकता हूं?

Question

मान लीजिए कि मेरे पास एक असतत वितरण वेक्टर द्वारा परिभाषित है जैसे कि श्रेणी को प्रायिकता और इसी तरह तैयार किया जाएगा । मुझे पता चलता है कि वितरण में कुछ मूल्य इतने कम हैं कि वे मेरे कंप्यूटर के फ्लोटिंग पॉइंट नंबर प्रतिनिधित्व को कम करते हैं, इसलिए क्षतिपूर्ति करने के लिए, मैं अपने सभी गणना लॉग-स्पेस में करता हूं। अब मेरे पास एक लॉग-स्पेस वेक्टर । 0 θ 0 एल ओ जी ( θ 0 ) , एल ओ जी ( θ 1 ) , । । । , एल ओ जी ( θ एन$\theta_0, \theta_1, ..., \theta_N$$0$$\theta_0$$log(\theta_0), log(\theta_1), ..., log(\theta_N)$

क्या वितरण से ऐसा नमूना लेना संभव है कि मूल संभावनाएं पकड़ें (श्रेणी को प्रायिकता साथ तैयार किया गया है ), लेकिन कभी लॉग-स्पेस को छोड़े बिना? दूसरे शब्दों में, मैं इस वितरण से अंडरफ्लो के बिना कैसे नमूना ले सकता हूं?θ $i$$\theta_i$

Answer 1

गमबेल-मैक्स ट्रिक का उपयोग करके लॉग स्पेस को छोड़े बिना लॉग-प्रोबिटीज दिए गए श्रेणीबद्ध वितरण से नमूना लेना संभव है । यह विचार है कि यदि आपको असमान्य रूप से लॉग-प्रायिकताएं α 1 , … , α k , दी जाती हैं , तो सॉफ्टमैक्स फ़ंक्शन का उपयोग करके उचित संभावनाओं में अनुवाद किया जा सकता है$\alpha_1,\dots,\alpha_k$

$$p_i = \frac{\exp(\alpha_i)}{\sum_j \exp(\alpha_j)}$$

तो इस तरह वितरण से नमूना करने के लिए आप इस तथ्य है कि अगर उपयोग कर सकते हैं स्वतंत्र मानक Gumbel वितरण से लिए गए नमूनों स्थान के आधार पर कर रहे हैं parametrized मीटर ,$g_1,\dots,g_k \sim \mathcal{G}(0)$$m$

$$F(G \le g) = \exp(-\exp(-g+m))$$

फिर इसे दिखाया जा सकता है (नीचे संदर्भ देखें)

$$\DeclareMathOperator*{\argmax}{arg\,max} \begin{align} \argmax_i \,\{\, g_i + \alpha_i \,\} &\sim \frac{\exp(\alpha_i)}{\sum_j \exp(\alpha_j)} \\ \max_i\,\{\, g_i + \alpha_i \,\} &\sim \mathcal{G}(\; \log\sum_i\exp\{\alpha_i\}\;) \end{align}$$

और हम ले सकते हैं

$$z = \argmax_i \,\{\, g_i + \alpha_i \,\}$$

प्रायिकताओं द्वारा श्रेणीबद्ध वितरण पैरामीट्रिक से एक नमूने के रूप में । इस दृष्टिकोण का वर्णन रेयान एडम्स और लॉरेंट दीन्ह द्वारा ब्लॉग प्रविष्टियों में अधिक विस्तार से किया गया था , इसके अलावा क्रिस जे। मैडिसन, डैनियल टारलो और टॉम मिंका ने न्यूरल इंफॉर्मेशन प्रोसेसिंग सिस्टम्स कॉन्फ्रेंस (2014) पर एक स्पीच ( स्लाइड ) दी और A * शीर्षक से एक पेपर लिखा । नमूनाकरण जिसने उन विचारों को सामान्य किया (देखें मैडिसन, 2016; मैडिसन, मेन्ह और तेह, 2016; जंग और पूले, 2016), जो येलॉट (1977) का उल्लेख करते हैं, जिन्होंने इस संपत्ति का वर्णन किया है।$p_1,\dots,p_k$

यह इसे का उपयोग लागू करने के लिए बहुत आसान है उलटा नमूने को बदलने लेने के द्वारा जहां पर समान वितरण से ड्रॉ रहे हैं । यह निश्चित रूप से श्रेणीगत वितरण से नमूना लेने के लिए सबसे अधिक समय तक प्रभावी एल्गोरिदम नहीं है, लेकिन यह आपको लॉग-स्पेस में रहने के लिए देता है कि कुछ परिदृश्यों में क्या फायदा हो सकता है।u i ( 0 , 1 $g_i=-\log(-\log u_i)$$u_i$$(0,1)$

---

मैडिसन, सीजे, टारलो, डी।, और मिंका, टी। (2014)। एक * नमूना। [में:] तंत्रिका सूचना प्रसंस्करण प्रणाली में अग्रिम (पीपी। 3086-3094)।

येलोट, जेआई (1977)। लूस की पसंद के स्वयंसिद्ध, थर्स्टोन के तुलनात्मक निर्णय के सिद्धांत और दोहरे घातीय वितरण के बीच संबंध। गणितीय मनोविज्ञान की पत्रिका, 15 (2), 109-144।

मैडिसन, सीजे, मिन्ह, ए।, और तेह, वाईडब्ल्यू (2016)। कंक्रीट वितरण: असतत रैंडम चर की निरंतरता। arXiv प्रीप्रिंट arXiv: 1611.00712।

जंग, ई।, गु, एस, और पूले, बी (2016)। गम्बल-सॉफ्टमैक्स के साथ श्रेणीबद्ध पुनर्मूल्यांकन। arXiv प्रीप्रिंट arXiv: 1611.01144।

मैडिसन, सीजे (2016)। मोंटे कार्लो के लिए एक पॉइज़न प्रक्रिया मॉडल। arXiv प्रीप्रिंट arXiv: 1602.05986।

Answer 2

अंडरफ्लो / ओवरफ्लो से बचने का एक सामान्य तरीका यहां दिया गया है।

चलो ।$m = \max_i \log(\theta_i)$

Let ।$\theta_i' = \exp( \log(\theta_i) - m )$

आप से नमूना ले सकते हैं ।$\theta' = [\theta_1' , \theta_2',...]$

Comments

यह तब तक काम करता है जब तक कि किसी एक मान और अधिकतम के बीच का अंतर बहुत अधिक न हो --- जब ऐसा होता है, तो expसटीक नुकसान हो सकता है, जिससे वितरण में कमी आती है, जैसे [1.0, 3.45e-66, 0.0, 7.54e-121] । मैं कुछ जवाब के लिए पकड़ बनाना चाहता हूं जो उस मामले में भी मजबूत है। लेकिन अभी के लिए मैं आपके जवाब को बढ़ा रहा हूं।

— जोश हेंसन