क्या कोई अनिवारी वितरण मौजूद है जिससे हम नमूना नहीं बना सकते हैं?

Question

हमारे पास अविभाजित वितरण (व्युत्क्रम परिवर्तन, स्वीकार-अस्वीकार, मेट्रोपोलिस-हेस्टिंग्स आदि) से यादृच्छिक पीढ़ी के लिए कई प्रकार के तरीके हैं और ऐसा लगता है कि हम शाब्दिक रूप से किसी भी वैध वितरण से नमूना ले सकते हैं - क्या यह सच है?

क्या आप एकतरफा वितरण का कोई उदाहरण प्रदान कर सकते हैं जो यादृच्छिक से उत्पन्न करना असंभव है? मुझे लगता है कि उदाहरण जहां यह असंभव है, वहां मौजूद नहीं है!), तो हम कहते हैं कि "असंभव" से हमारा मतलब उन मामलों से भी है, जो बहुत ही कम्प्यूटेशनल रूप से महंगे हैं, जैसे कि ब्रूट-फोर्स सिमुलेशन की जरूरत है, जैसे भारी मात्रा में नमूने खींचने के लिए सिर्फ एक को स्वीकार करना उनमें से कुछ।

यदि ऐसा उदाहरण मौजूद नहीं है, तो क्या हम वास्तव में साबित कर सकते हैं कि हम किसी भी वैध वितरण से यादृच्छिक ड्रॉ उत्पन्न कर सकते हैं ? मैं बस उत्सुक हूँ अगर वहाँ इस के लिए counterexample मौजूद है।

Comments

यह वास्तव में आपके द्वारा "नहीं / असंभव" से नीचे आता है, मुझे लगता है। ऐसे मामले हैं जब cdf और pdf का मूल्यांकन करना बहुत महंगा है, उदाहरण के लिए, जो अधिकांश तरीकों को निषेधात्मक बना देगा, और यह वितरणीय आकृतियों के साथ आने के लिए कठिन नहीं है, जहां पीडीएफ पर अच्छा लिफाफा-सीमा (स्वीकार-अस्वीकार के लिए) ज्यादातर फ़ंक्शन मूल्यांकन से बचा जाता है) आसानी से उपलब्ध नहीं हैं। तो यह उस मामले को विफल कर देगा जो आप पहले से ही छोड़ चुके हैं और हम को और भी अधिक महंगा बना सकते हैं (औसतन प्रति विचलन), स्वीकार-अस्वीकार का उपयोग करने की तुलना में गणना करने के लिए (जो कि $F$

— सीएफडी के

हम कंप्यूटर का उपयोग करके अंतराल (0,1) पर अपरिमेय संख्याओं के सेट से समान यादृच्छिक नमूने नहीं खींच सकते। सबूत पाठक के लिए एक अभ्यास के रूप में छोड़ दिया जाता है।

— क्लिफ एबी

@ क्लिफ एबी यह अंतराल अंकगणित द्वारा नियंत्रित किया जा सकता है। प्रत्येक कंप्यूटर के मूल्यांकन योग्य (तर्कसंगत) बिंदु के चारों ओर (सबसे छोटा) अंतराल को परिभाषित करें, जैसे कि [0,1] की संपूर्णता इन अंतरालों द्वारा कवर की जाती है। प्रत्येक कंप्यूटर के लिए मूल्यांकन योग्य "वर्दी" तैयार की गई है, इस अंतराल तर्क पर संचयी वितरण फ़ंक्शन के टी (आउटवर्ड राउंडिंग के साथ) rhe अंतराल का मूल्यांकन करें। यह रैंडम वैरिएबल के अंतराल के नमूने का उत्पादन करेगा, जिसमें सच्चे नमूने को रखने के लिए 100% गारंटी है।

— मार्क एल। स्टोन

जो मैं कर रहा हूं, वह यह है कि जब से आप पहले से ही पर्याप्त रूप से अक्षम को अस्वीकार करते हैं, "असंभव" के रूप में स्वीकार करते हैं, यदि आप इसे इतना महंगा बनाते हैं कि आपके बारे में जानने वाला कोई अन्य दृष्टिकोण बदतर है (अधिक गणना की आवश्यकता है) तो आप संभवतः उन "असंभव" पर भी विचार करेंगे। महंगे-से-मूल्यांकन का F और f का निर्माण कठिन नहीं है, और उन्हें ऐसा बनाना है कि वास्तव में या तो अधिकांश समय की गणना करने से बचने के स्पष्ट तरीके भी अक्षम हैं, संभव है ,,, ctd

— Glen_b -Reinstone Monica

ctd ... (लेकिन सामूहिक रूप से, लोग बहुत ही सरल होते हैं, इसलिए लगता है कि एक दिन बहुत मुश्किल हो सकता है यदि आप एक अच्छा विचार लेकर आएं जो अधिकांश समस्या के आसपास हो)। यदि हम कहते हैं, "ऐसी-और-ऐसी सटीकता के लिए अनुमान ठीक है" तो कई मामलों में इनमें से कई कठिनाइयां हो सकती हैं (उदाहरण के लिए, कोई बड़े लुकअप टेबल / पीढ़ी-दर-हिस्टोग्राम्स का निर्माण करने में सक्षम हो सकता है, कहते हैं, जैसे) उस समय के अधिकांश आप अनुमानित मूल्यों को काफी तेजी से उत्पन्न करते हैं)।

— Glen_b -Reinstate मोनिका

Answer 1

यदि आप संचयी वितरण फ़ंक्शन, जानते हैं , तो आप इसे उल्टा कर सकते हैं, चाहे विश्लेषणात्मक रूप से या संख्यात्मक रूप से, और यादृच्छिक नमूने बनाने के लिए उलटा रूपांतरण नमूना विधि का उपयोग करें https://en.wikipedia.org/wiki/Inverse-transform_sampling ।$F(x)$

परिभाषित । यह किसी भी वितरण, चाहे निरंतर, असतत, या किसी भी संयोजन को संभाल लेगा। यह हमेशा संख्यात्मक रूप से हल किया जा सकता है, और शायद विश्लेषणात्मक रूप से। यू को यूनिफार्म [0,1] के रूप में वितरित एक यादृच्छिक चर से एक नमूना हो, यानी, एक समान [0,1] यादृच्छिक संख्या जनरेटर से। फिर एफ - 1 ( यू ) , ऊपर के रूप में परिभाषित किया गया है, एक यादृच्छिक चर वितरण एफ ( एक्स ) से एक यादृच्छिक नमूना है । $F^{-1}(y) = inf(x:F(x) \ge y)$$F^{-1}(U)$$F(x)$

यह यादृच्छिक नमूने उत्पन्न करने का सबसे तेज़ तरीका नहीं हो सकता है, लेकिन यह एक तरीका है, यह मानते हुए कि एफ (एक्स) ज्ञात है।

यदि F (x) ज्ञात नहीं है, तो यह एक अलग कहानी है।

Comments

यदि ज्ञात नहीं है, तो क्या ज्ञात है? स्पष्ट रूप से प्रासंगिक है। यदि आप कुछ नहीं जानते हैं, तो आप कुछ भी नहीं कर पाएंगे। यदि आप कुछ जानते हैं, तो यह इस बात पर निर्भर करता है कि कुछ क्या है।$F(x$

— मार्क एल। स्टोन

@ यह वास्तव में, यह काफी सामान्य है कि हम एफ (एक्स) को नहीं जानते हैं, लेकिन हम इससे नमूने उत्पन्न कर सकते हैं। मोंटे कार्लो (स्टोचस्टिक) सिमुलेशन में यह एक विशिष्ट परिदृश्य है।

— मार्क एल स्टोन

@ समय: यदि आप इस कहानी में रुचि नहीं रखते हैं, तो यह स्पष्ट नहीं है कि आप किस कहानी में रुचि रखते हैं। ग्लेन_ब की टिप्पणी के जवाब में, आपने कहा कि आप अकुशल नमूने से चिंतित नहीं थे। यह विधि, अक्षम होने पर, आपको किसी भी पीडीएफ से नमूना करने की अनुमति देगा (यह मानते हुए कि यह इतना बुरा व्यवहार नहीं है कि संख्यात्मक एकीकरण विफल हो जाता है, लेकिन मुझे नहीं लगता कि किसी को इस तरह के वितरण का उपयोग करने की परवाह है)। इसलिए जब तक आप रुचि रखते हैं, कहते हैं, वितरण जो अनंत स्थानों पर बंद हैं, तो यह आपके प्रश्न का उत्तर होना चाहिए: हाँ हम कर सकते हैं।

— एबी एबी

दरअसल, यदि ज्ञात है लेकिन F - 1 नहीं है , तो यह एक समस्या है। $F$$F^{-1}$

— शीआन

यह निर्भर करता है कि आपको समस्या से क्या मतलब है। यदि में जाना जाता है, तो मेरा उत्तर, प्रति एफ - 1 ( y ) = मैं n च ( एक्स : एफ ( एक्स ) ≥ y ) हमेशा अच्छी तरह से परिभाषित है और संख्यानुसार हल किया जा सकता। यह उतनी तेजी से नहीं हो सकता है जितना आप चाहते हैं, इसलिए यदि आप समस्या से मतलब रखते हैं, तो ठीक है यदि आपका मतलब यह नहीं है, तो समस्या क्या है? $F$$F^{-1}(y) = inf(x:F(x) \ge y)$

— मार्क एल। स्टोन

Answer 2

जब एक वितरण केवल अपने पल पैदा समारोह द्वारा परिभाषित किया गया या अपनी विशेषता समारोह से Φ ( टी ) = ई [ exp { मैं टी एक्स } ] , यह दुर्लभ है तरीके खोजने के लिए उन वितरणों से उत्पन्न होने वाली।$\phi(t)=\mathbb{E}[\exp\{tX\}]$$\Phi(t)=\mathbb{E}[\exp\{itX\}]$

एक प्रासंगिक उदाहरण स्थिर वितरण$\alpha$ से बना है , जिसका घनत्व या सीएफडी के लिए कोई ज्ञात रूप नहीं है, कोई पल उत्पन्न करने वाला फ़ंक्शन नहीं है, लेकिन एक बंद प्रपत्र विशेषता फ़ंक्शन है।

बेयसियन आंकड़ों में, अंतरंग संभावनाएं या बस डेटासेट से जुड़े पीछे के वितरण जो एक कंप्यूटर में फिट होने के लिए बहुत बड़े हैं, उन्हें (वास्तव में) अनुकरण के रूप में असंभव देखा जा सकता है।

Comments

यदि आप केवल क्षण उत्पन्न करने वाले फ़ंक्शन को जानते हैं, तो आप काठी बिंदु का उपयोग कर सकते हैं और फिर उसी से अनुकरण कर सकते हैं।

— kjetil b halvorsen

@ शीआन आपने "कुशलतापूर्वक" शब्द को छोड़ दिया। सबसे खराब स्थिति में, आप रूपांतरण के संख्यात्मक उलटा को संख्यात्मक रूप से उल्टा कर सकते हैं। वह काम करेगा, शायद "कुशलता से" नहीं, लेकिन यह करेगा।

— मार्क एल। स्टोन

@kjetilbhalvorsen: काठी बिंदु सन्निकटन, मेरे द्वारा डाले गए लिंक में प्रस्तावित समाधान है। लेकिन यह एक अनुमान है!

— शीआन

Answer 3

मान लें कि आप निरंतर वितरण का उल्लेख करते हैं। का उपयोग करके संभावना अभिन्न को बदलने , आप किसी भी univariate वितरण से अनुकरण कर सकते हैं अनुकरण करके यू ~ ( 0 , 1 ) और फिर लेने एफ - 1 ( यू ) । तो, हम एक वर्दी का अनुकरण कर सकते हैं, फिर उस भाग को किया जाता है। केवल एक चीज जो एफ से सिमुलेशन को रोक सकती है, वह यह है कि आप इसके उलट एफ - 1 की गणना नहीं कर सकते हैं , लेकिन यह कुछ सैद्धांतिक के बजाय कम्प्यूटेशनल कठिनाइयों से संबंधित है।$F$$u \sim (0,1)$$F^{-1}(u)$$F$$F^{-1}$

Answer 4

अब जब कि अपने प्रश्न, बस एक के साथ किसी भी मॉडल ले "से नमूना करने के लिए मुश्किल" के रूप में विकसित असभ्य संभावना , मॉडल के अपने पूर्व-वितरण आवंटित मापदंडों , और लगता है कि आप रुचि रखते हैं प्रविष्टियों में से एक के सीमांत वितरण में post जे । इसका मतलब यह है कि आपको पोस्टीरियर से नमूना लेने की आवश्यकता है, जो संभावना की अंतरंगता के कारण अव्यावहारिक है।${\bf \theta} = (\theta_1,...,\theta_d)$$\theta_j$

कुछ मामलों में इस पोस्टीरियर से लगभग नमूने के तरीके हैं, लेकिन कोई भी सामान्य सामान्य विधि फिलहाल मौजूद नहीं है।

Comments

... लेकिन सवाल एकतरफा वितरण के बारे में है। जटिल मॉडलों के बहुत सारे उदाहरण हैं जहां एमसीएमसी भारी संख्या में पुनरावृत्तियों के बाद भी अभिसरण करने में विफल रहता है।

— टिम

@ टिम और यही कारण है कि मैंने कहा कि सीमांत पीछे , जिसका अर्थ है कि अविभाज्य है ... यह मुझे लगता है कि आपके पास स्पष्ट नहीं है कि आप क्या पूछ रहे हैं। पहले दो उत्तर उस सिद्धांत में स्पष्ट हैं, किसी भी वितरण से नमूना लेना संभव है बशर्ते आप इसे जानते हों।

— नूह

जब तक ओपी स्पष्ट नहीं करता कि वह क्या पूछ रहा है और हर बार एक नए उत्तर को प्रकट करने के लिए उत्तर को अनुपयुक्त बनाने के लिए एक प्रश्न का उत्तर देना बंद कर देता है, तो मैं इस सवाल को [ON HOLD] पर डाल देता हूं।

— नूह

मैं अपना प्रश्न "हर बार एक नया उत्तर प्रकट होने पर" नहीं बदल रहा हूँ ... स्पष्ट रूप से संभावना के साथ सांख्यिकीय मॉडल और इससे पहले कि यह सशर्त वितरण के संदर्भ में घोषित नहीं किया गया है, तब तक यह अविभाज्य नहीं है। यदि आप पोस्टीरियर से नमूना लेते हैं तो यह अविभाज्य है, लेकिन फिर मुझे लगता है कि आप मानते हैं कि हमारे पास पहले से ही सीमांत वितरण है, इसलिए इंट्राकेबल पोस्टीरियर के साथ कोई समस्या नहीं है।

— टिम

आप भ्रमित सीमांत साथ univariate , जब उन दो विचार कोई संबंध नहीं है। Univariate का अर्थ है यादृच्छिक चर , जबकि सीमांत का अर्थ है कि वितरण को किसी अन्य घनत्व के खिलाफ अभिन्न के रूप में दर्शाया जा सकता है। दरअसल, इस अभिन्न प्रतिनिधित्व का उपयोग करने का मतलब है कि एक अविभाज्य आरवी को पहले मल्टीवेरेट आरवी का अनुकरण करके बनाया जा सकता है। $\mathbb{R}$

— शीआन

Answer 5

यकीन नहीं होता कि क्या यह वास्तव में एक उत्तर है ... मैं अनुमान लगा रहा हूं (लेकिन पता नहीं है) कि कोई केवल एकमात्र additive वितरण से नमूना नहीं ले सकता। एक उदाहरण तर्कसंगत संख्याओं पर एकसमान वितरण होगा, जो केवल एक अंतिम रूप से additive वितरण के रूप में मौजूद हो सकता है। इस देखने के लिए, चलो परिमेय के गणन किया। चूंकि वितरण समान है, P ( X = q $(q_i)_{i=1}^\infty$ किसी भी व्यक्ति के लिए मैं , इसलिए Σ ∞ मैं = 1 पी ( एक्स = क्ष मैं$P(X=q_i)=0$$i$ लेकिन पी ( एक्स ∈ क्यू ) = 1 ।$\sum_{i=1}^\infty P(X=q_i)=0$$P(X\in \mathbb{Q})=1$

यदि यह उत्तर अजीब और यहां तक ​​कि अप्रासंगिक लगता है, तो अधिक व्यावहारिक उदाहरण देखें जो कभी-कभी बायेसियन निष्कर्ष में उपयोग किए जाते हैं: एक वास्तविक पैरामीटर पर एक समान पूर्व वितरण, जैसे सामान्य वितरण का मतलब, कहें । इसे एक "घनत्व" (वास्तविक संभावना घनत्व नहीं) द्वारा मॉडल किया जा सकता है जो कि पहचान में एक: π ( μ ) = 1 है । इस तरह के एक पूर्व का उपयोग बायेसियन विश्लेषण में किया जा सकता है (और कभी-कभी इसका उपयोग किया जाता है, बॉक्स और टियाओ द्वारा क्लासिक पुस्तक देखें), लेकिन हम इससे नमूना नहीं ले सकते। और, संभाव्यता वितरण को इस तरह परिभाषित किया गया है कि केवल सूक्ष्म रूप से योगात्मक है, जिसे आप ऊपर दिए गए परिमेय संख्या उदाहरण के समान एक तर्क द्वारा देख सकते हैं। $\mu$$\pi(\mu) = 1$

Answer 6

क्या आप एकतरफा वितरण का कोई उदाहरण प्रदान कर सकते हैं जो यादृच्छिक से उत्पन्न करना असंभव है?

चलो $c$ हो Chaitin के लगातार , और यादृच्छिक चर जो लगातार है (के वितरण) नमूना $c$ ।

यदि आप केवल रैंडम वैरिएबल के नमूने लेने में रुचि रखते हैं, जिनके मान 64-बिट फ्लोटिंग-पॉइंट नंबरों द्वारा अनुमानित किए जा सकते हैं, या आपके पास मूल्य में परिमित त्रुटि के लिए कुछ समान सहिष्णुता है, और आप अपने नमूनों का प्रतिनिधित्व नहीं कर रहे थे, वैसे भी ट्यूरिंग मशीन , इस पर विचार करो:

चलो $X \sim \text{Ber}(p)$ के साथ $p = 1 - c$$0$$1$

$0$$(-∞, c)$$1$$[c, ∞)$$0$$(-∞, 0)$$c$$[0, 1)$$1$$[1, ∞)$$c$$x$$y$-एक्सिस। मुझे यकीन नहीं है कि जो नमूना सबसे कठिन बनाता है, इसलिए आपको सबसे अधिक पसंद है;

मान लीजिए कि "असंभव" से हमारा तात्पर्य ऐसे मामलों से भी है, जो बहुत ही कम्प्यूटेशनल रूप से महंगे हैं, उदाहरण के लिए, उनमें से कुछ को स्वीकार करने के लिए भारी मात्रा में नमूनों को खींचने जैसे क्रूर-बल सिमुलेशन की आवश्यकता है।

इस मामले में, स्पष्ट जवाब स्पष्ट लगता है:

• $n$$n$
• एक क्रिप्टोग्राफिक हैश फ़ंक्शन (यानी बिटकॉइन और ब्रेक गिट और मर्क्यूरियल उत्पन्न) के पहले के नमूने का नमूना लें।
• इष्टतम Go रणनीतियों के सेट का नमूना (चीनी सुपरको नियमों के साथ, जो सभी खेलों को परिमित बनाते हैं - जहां तक ​​मैं समझता हूं)।

थोड़ा और औपचारिक रूप से: मैं आपको एक एनपी-पूर्ण समस्या (या EXP- पूर्ण, आदि) का एक बड़ा उदाहरण देता हूं और आपसे मेरे लिए समाधान के सेट को समान रूप से नमूना करने के लिए कहता हूं।

$\bot$$\mathbb{R}$$-1$$\bot$

आप आसानी से जांच सकते हैं कि क्या कोई भी दिया गया सत्य असाइनमेंट मेरे SAT उदाहरण को संतुष्ट करता है, और उन सभी की जाँच करके आपको पता है कि क्या कोई करता है, इसलिए मैंने आपको बूलियन फॉर्मूला (या सर्किट) देकर पूरी तरह से सीडीएफ निर्दिष्ट किया है, फिर भी संबंधित वितरण का नमूना लेने के लिए आपको अनिवार्य रूप से सैट-सॉल्वैबिलिटी ओरेकल के रूप में कम से कम कुछ शक्तिशाली बनना है।

---

इसलिए मैंने आपको एक असम्भव संख्या दी जो आपके गियर्स में रेत फेंकनी चाहिए, और मैंने आपको एक सीडीएफ दिया जो गणना के लिए धीमा है। हो सकता है कि अगला स्पष्ट प्रश्न कुछ इस तरह से हो: क्या कुछ कुशल रूप में सीडीएफ का प्रतिनिधित्व किया जाता है (जैसे कि बहुपद समय में मूल्यांकन किया जा सकता है) जैसे कि उस वितरण के साथ नमूने उत्पन्न करना कठिन है? मैं उस एक का जवाब नहीं जानता। मैं उस एक का जवाब नहीं जानता।