लगातार बर्नौली सफलताओं की गैर-पूर्णांक राशि कैसे उत्पन्न करें?

Question

दिया हुआ:

1. अज्ञात पूर्वाग्रह (सिर) के साथ एक सिक्का ।$p$
2. एक सख्ती से सकारात्मक वास्तविक ।$a > 0$

मुसीबत:

पूर्वाग्रह साथ एक यादृच्छिक बर्नोली संस्करण उत्पन्न करें ।$p^{a}$

क्या किसी को भी यह करना आता है? उदाहरण के लिए, जब सकारात्मक पूर्णांक होता है, तो कोई सिक्का को बार फ्लिप कर सकता है और देख सकता है कि सभी परिणाम प्रमुख थे: यदि वे तब '0' जारी कर रहे हैं, अन्यथा '1' जारी करें। कठिनाई तथ्य यह है कि में निहित है जरूरी एक पूर्णांक नहीं है। इसके अलावा, अगर मुझे पूर्वाग्रह पता था, तो मैं वांछित पूर्वाग्रह के साथ एक और सिक्का बना सकता था। $a$$a$$a$$p$

Comments

@ गुंग: मुझे लगता है कि बर्नौली संस्करण उत्पन्न करने के लिए एक सिक्का दिया गया एल्गोरिदम क्या चाहता है।

— नील जी

मुझे लगता है कि यहां मुद्दा यह है कि जब $a>1$ आप केवल 1 के एक औसत हर से बाहर रखने के $a$ सिर पॉप-अप होने और जब $a < 1$ , आप सिर के एक औसत से प्रत्येक नकल $1/a$ बार।

— मैक्रो

@ मैक्रो, क्या आप इस विचार पर विस्तार कर सकते हैं?

— पेड्रो ए। ऑर्टेगा

प्रिय पेड्रो, (+1) आपकी पोस्ट के लिए, जो एक ऐसा सवाल है जो सीवी को बहुत कम और उत्तेजित करता है, कम से कम मेरे लिए। क्या मैं पूछ सकता हूं कि इस प्रश्न का मूल क्या है?

— कार्डिनल

@ कार्डिनल: आपके उत्तर के लिए फिर से धन्यवाद! यह समस्या स्टोकेस्टिक नियंत्रण समस्याओं को हल करने के लिए एक नमूना का एक हिस्सा है जो मैं काम कर रहा हूं। पी क्यों $p$अज्ञात है इसका कारण यह है कि इसे सामान्यीकृत स्थिरांक को जानने की आवश्यकता होगी (जो इस मामले में एक बुरा विभाजन कार्य है), लेकिन हम अभी भी इसे अस्वीकृति नमूने का उपयोग करके नमूना कर सकते हैं। Btw, यह अच्छा होगा कि आप नाम से ही उद्धृत करें, न कि केवल सीवी ;-) के लिंक।

— पेड्रो ए। ऑर्टेगा

Answer 1

हम इसे "ट्रिक्स" और थोड़ा गणित के एक जोड़े के माध्यम से हल कर सकते हैं।

यहाँ बुनियादी एल्गोरिथ्म है:

1. सफलता पी की संभावना के साथ एक ज्यामितीय यादृच्छिक चर उत्पन्न करें $p$।
2. इस यादृच्छिक चर के परिणाम एक निश्चित ज्ञात मूल्य निर्धारित करता है $f_n \in [0,1]$ ।
3. हमारे B e r ( p ) सिक्के के ब्लॉक वाइज प्लीट्स से उत्पन्न फेयर कॉइन फ्लिप्स का उपयोग करके एक $\mathrm{Ber}(f_n)$ रैंडम वेरिएबल जेनरेट करें ।$\mathrm{Ber}(p)$
4. जिसके परिणामस्वरूप परिणाम हो जाएगा $\mathrm{Ber}(p^a)$ किसी के लिए $a \in (0,1)$ जो हम सभी की जरूरत है।

चीजों को अधिक सुपाच्य बनाने के लिए, हम चीजों को टुकड़ों में तोड़ देंगे।

टुकड़ा 1 : व्यापकता के नुकसान के बिना मान लें कि $0 < a < 1$ ।

यदि $a \geq 1$ है, तो, हम लिख सकते हैं $p^a = p^n p^b$ कुछ सकारात्मक पूर्णांक के लिए $n$ और कुछ $0 \leq b < 1$ । लेकिन, किसी भी दो स्वतंत्र बर्नौली के लिए, हमारे पास

$$\renewcommand{\Pr}{\mathbb P} \Pr(X_1 = X_2 = 1) = p_1 p_2 \>.$$ हमस्पष्ट रूप से अपने सिक्के सेएक$p^n$ बर्नौलीउत्पन्न कर सकते हैं। इसलिए, हम केवल चिंता का विषय अपने आप को पैदा करने के साथ की जरूरत$\mathrm{Ber}(p^a)$ जब$a \in (0,1)$ ।

टुकड़ा 2 : पता है कि कैसे एक मनमाना बी ई उत्पन्न करने के लिए$\mathrm{Ber}(q)$फेयर कॉइन फ्लिप्स से r ( q )।

ऐसा करने का एक मानक तरीका है। विस्तृत $q = 0.q_1 q_2 q_3 \ldots$ अपने द्विआधारी विस्तार में और फिर हमारे निष्पक्ष सिक्का "मैच" के अंकों को flips का उपयोग $q$ । पहला मैच यह निर्धारित करता है कि क्या हम एक सफलता ("प्रमुख") या विफलता ("पूंछ") घोषित करते हैं। यदि $q_n = 1$ और हमारा सिक्का फ्लिप है, तो सिर की घोषणा करें, यदि $q_n = 0$ और हमारा सिक्का फ्लिप पूंछ है, तो मेल की घोषणा करें। अन्यथा, एक नया सिक्का फ्लिप के खिलाफ बाद के अंक पर विचार करें।

टुकड़ा 3 : अज्ञात पूर्वाग्रह के साथ अनुचित लोगों से फ्लिप एक निष्पक्ष सिक्का उत्पन्न करने के लिए कैसे पता है।

यह किया जाता है, मानों $p \in (0,1)$ , जोड़े में सिक्का flipping द्वारा। यदि हम एच टी प्राप्त $HT$करते हैं, तो सिर घोषित करें; यदि हमें T H मिलता है $TH$, तो एक पूंछ घोषित करें, और अन्यथा प्रयोग को दोहराएं जब तक कि दो उल्लिखित परिणामों में से एक न हो। वे समान रूप से संभावित हैं, इसलिए संभावना होनी चाहिए$1/2$ ।

टुकड़ा ४ : कुछ गणित। (बचाव के लिए टेलर)

विस्तार करके $h(p) = p^a$ के आसपास $p_0 = 1$ , टेलर की प्रमेय का दावा है कि

$$p^a = 1 - a(1-p) - \frac{a(1-a)}{2!} (1-p)^2 - \frac{a(1-a)(2-a)}{3!} (1-p)^3 \cdots \>.$$ ध्यान दें कि क्योंकि$0 < a < 1$ , के बाद प्रत्येक शब्द पहली बार हैनकारात्मकहै, तो हमारे पास पी एक = 1 - ∞ Σ n = 1 ख n ( 1 - पी ) n, जहां 0 ≤ ख n ≤ 1 में जाना जाता हैएक प्रायोरी। इसलिए 1 - पी एक = ∞ Σ n = 1 ख n ( 1 - पी ) n = ∞ Σ n = 1 ख n पी ( G ≥ n ) = ∞ Σ n = 1 च n पी ( G = n ) = $$p^a = 1 - \sum_{n=1}^\infty b_n (1-p)^n \>,$$ $0 \leq b_n \leq 1$ च ( जी ) , जहां जी ~ जी ई ओ मीटर ( पी ) , च 0 = 0 और च n = Σ n कश्मीर = 1 ख कश्मीर के लिए n ≥ 1 । $$1 - p^a = \sum_{n=1}^{\infty} b_n (1-p)^n = \sum_{n=1}^\infty b_n \Pr(G \geq n) = \sum_{n=1}^\infty f_n \Pr(G = n) = \mathbb E f(G),$$ $G \sim \mathrm{Geom}(p)$$f_0 = 0$$f_n = \sum_{k=1}^n b_k$$n \geq 1$

और, हम पहले से ही कैसे हमारे सिक्का उपयोग करने के लिए सफलता की संभावना के साथ एक ज्यामितीय यादृच्छिक चर उत्पन्न करने के लिए पता पी ।$p$

टुकड़ा 5 : एक मोंटे कार्लो चाल।

चलो एक्स एक असतत यादृच्छिक में मान लेने परिवर्तनशील हो [ 0 , 1 ] के साथ पी ( एक्स = एक्स एन ) = पी एन । चलो यू | एक्स ~ बी ई आर ( एक्स ) । फिर पी ( यू = 1 ) = Σ एन एक्स एन पी एन$X$$[0,1]$$\Pr(X = x_n) = p_n$$U \mid X \sim \mathrm{Ber}(X)$

$$\Pr(U = 1) = \sum_n x_n p_n.$$

लेकिन, लेने पी एन = पी ( 1 - पी ) n और एक्स एन = च n , अब हम देखते हैं कि कैसे एक उत्पन्न करने के लिए बी ई आर ( 1 - पी एक ) यादृच्छिक चर और यह एक पैदा करने के बराबर है बी ई आर ( पी क ) एक।$p_n = p(1-p)^n$$x_n = f_n$$\mathrm{Ber}(1-p^a)$$\mathrm{Ber}(p^a)$

Comments

मैं आपको (या आपके समाधान) कैसे उद्धृत कर सकता हूं?

— पेड्रो ए। ऑर्टेगा

@Proro: मुझे लगता है कि आप इस उत्तर के नीचे "शेयर" लिंक पर क्लिक कर सकते हैं। यह एक स्थिर कड़ी होनी चाहिए। Math.SE में एक उद्धरण तंत्र है , जो इस साइट पर सक्षम नहीं दिखता है, लेकिन आप इसे अनुकूलित करने में सक्षम हो सकते हैं।

— कार्डिनल

अब, यह एक शानदार जवाब है!

— झेन

मैंने एनालिटिक कॉम्बिनेटरिक्स पर कौरसेरा क्लास के जनरल डिस्कशन फ़ोरम में इसे लिखा था क्योंकि यह वहां कवर की गई कुछ सामग्री से संबंधित पावर सीरीज़ का अच्छा उपयोग था। class.coursera.org/introACpartI-001/forum/thread?thread_id=108

— डगलस

@ डगलस: धन्यवाद! क्या उस धागे का सार्वजनिक रूप से देखने योग्य संस्करण है या मुझे इसे देखने के लिए पाठ्यक्रम के लिए साइन अप करना होगा? पेड्रो और मैं अपने कुछ शोधों में इस दृष्टिकोण को शामिल करने के लिए संभावित ईमेल के बारे में चर्चा कर रहे हैं।

— कार्डिनल

Answer 2

निम्नलिखित उत्तर मूर्खतापूर्ण है?

यदि एक्स 1 , ... , एक्स एन हैं स्वतंत्र बी ई आर ( पी ) और वाई एन वितरण है बी ई आर ( ( Σ n मैं = 1 एक्स मैं / n ) एक ) , तो Y n लगभग के रूप में वितरित किया जाएगा बी ई आर ( पी एक ) , जब एन → $X_1,\dots,X_n$$\mathrm{Ber}(p)$$Y_n$$\mathrm{Ber}\left(\left(\sum_{i=1}^n X_i/n \right)^a\right)$$Y_n$$\mathrm{Ber}(p^a)$$n\to\infty$ ।

इसलिए, अगर आप नहीं जानते कि पी , लेकिन आप इस सिक्के को उछाल कर सकते हैं एक बहुत समय की है, यह संभव नमूने के लिए (लगभग) एक से है बी ई आर ( पी एक ) यादृच्छिक चर।$p$$\mathrm{Ber}(p^a)$

उदाहरण Rकोड:

n <- 1000000
p <- 1/3 # works for any 0 <= p <= 1
a <- 4
x <- rbinom(n, 1, p)
y <- rbinom(n, 1, mean(x)^a)
cat("p^a =", p^a, "\n")
cat("est =", mean(y))

परिणाम:

p^a = 0.01234568 
est = 0.012291 

Comments

I like this answer but I suspect it misses the point of the question, which I interpreted as asking for an algorithm that generates from the requested distribution without knowing $p$ (or empirical information about $p$). But, the problem does presuppose that you can generate ${\rm Bernoulli}(p)$ random variables, so this is a perfectly reasonable answer and isn't silly at all! +1

— Macro

+1: I like it. I assume you mean $Y_n$ is distributed…?

— Neil G

Much better! Tks, @Neil G!

— Zen

This is cute (+1), but we can do it exactly in an almost surely finite number of flips (and, on average, that number will be relatively small).

— cardinal

Answer 3

I posted the following exposition of this question and cardinal's answer to the General Discussion forum of the current Analytic Combinatorics class on Coursera, "Application of power series to constructing a random variable." I'm posting a copy here as community wiki to make this publicly and more permanently available.

---

There was an interesting question and answer on stat.stackexchange.com related to power series: "How to generate a non-integer amount of consecutive Bernoulli successes?" I'll paraphrase the question and the answer by cardinal.

Suppose we have a possibly unfair coin which is heads with probability $p$, and a positive real number $\alpha$. How can we construct an event whose probability is $p^\alpha$?

If $\alpha$ were a positive integer, we could just flip the coin $\alpha$ times and let the event be that all tosses were heads. However, if $\alpha$ is not an integer, say $1/2$, then this doesn't make sense, but we can use this idea to reduce to the case that $0 \lt \alpha \lt 1$. If we want to construct an event whose probability is $p^{3.5}$, we take the intersection of independent events whose probabilities are $p^3$ and $p^{0.5}$.

One thing we can do is construct an event with any known probability $p' \in [0,1]$. To do this, we can construct a stream of fair bits by repeatedly flipping the coin twice, reading $HT$ as $1$ and $TH$ as $0$, and ignoring $HH$ and $TT$. We compare this stream with the binary expansion of $p' = 0.a_1a_2a_3..._2$. The event that the first disagreement is where $a_i=1$ has probability $p'$. We don't know $p^\alpha$, so we can't use this directly, but it will be a useful tool.

The main idea is that we would like to use the power series for $p^\alpha = (1-q)^\alpha = 1 - \alpha q - \frac{\alpha(1-\alpha)}{2} q^2 - \frac{\alpha (1-\alpha)(2-\alpha)}{3!}q^3 -...$ where $p=1-q$. We can construct events whose probabilities are $q^n$ by flipping the coin $n$ times and seeing if they are all tails, and we can produce an event with probability $p' q^n$ by comparing the binary digits of $p'$ with a fair bit stream as above and checking whether $n$ tosses are all tails.

Construct a geometric random variable $G$ with parameter $p$. This is the number of tails before the first head in an infinite sequence of coin tosses. $P(G=n) = (1-p)^np = q^n p$. (Some people use a definition which differs by $1$.)

Given a sequence $t_0, t_1, t_2, ...$, we can produce $t_G$: Flip the coin until the first head, and if there are $G$ tails before the first head, take the element of the sequence of index $G$. If each $t_n \in [0,1]$, we can compare $t_G$ with a uniform random variable in $[0,1]$ (constructed as above) to get an event with probability $E[t_G] = \sum_n t_n P(G=n) = \sum_n t_n q^n p$.

This is almost what we need. We would like to eliminate that $p$ to use the power series for $p^\alpha$ in $q$.

$$1 = p + qp + q^2p + q^3p + ...$$

$$q^n = q^np + q^{n+1}p + q^{n+2}p + ...$$

$$\begin{eqnarray} \sum_n s_n q^n & = & \sum_n s_n (q^n p + q^{n+1}p + q^{n+2}p + ...) \newline & = & \sum_n (s_0 + s_1 + ... + s_n) q^n p \end{eqnarray}$$

Consider $1-p^\alpha = \alpha q + \frac{\alpha(1-\alpha)}{2} q^2 + ...$. Let $t_n$ be the sum of the coefficients of $q$ through $q^n$. Then $1-p^\alpha = \sum_n t_n q^n p$. Each $t_n\in [0,1]$ since the coefficients are positive and sum to $1-0^\alpha = 1$, so we can construct an event with probability $1-p^\alpha$ by comparing a fair bit stream with the binary expansion of $t_G$. The complement has probability $p^\alpha$ as required.

---

Again, the argument is due to cardinal.

Comments

(+1) Thanks for going to the trouble to post this. The differences in exposition, while relatively slight, help make the approach more clear.

— cardinal

Answer 4

The very complete answer by cardinal and subsequent contributions inspired the following remark/variant.

Let PZ stand "Probability of Zero" and $q:=1-p$. If $X_n$ is an iid Bernoulli sequence with PZ $q$, then $M_n := \max(X_1,\,X_2,\,\dots, X_n)$ is a Bernoulli r.v. with PZ $q^n$. Now making $n$ random i.e., replacing it by an integer rv $N \geq 1$ leads to Bernoulli rv $M_N$ with

$$\mathrm{Pr}\{M_N =0\} = \sum_{n=1}^\infty \mathrm{Pr}\{M_N =0 \,\vert\, N =n\} \mathrm{Pr}\{N =n\} = \sum_{n=1}^\infty \mathrm{Pr}\{N =n\} \, q^n.$$ So if $0 < a < 1$ and if we take $\mathrm{Pr}\{N =n\} =b_n$ from cardinal's answer, we find $\mathrm{Pr}\{M_N =0\} = 1- p^a$ and $1-M_N$ is $\mathrm{Ber}(p^a)$ as wanted. This is indeed possible since the coefficients $b_n$ satisfy $b_n \geqslant 0$ and they sum to $1$.

The discrete distribution of $N$ depends only on $a$ with $0 < a < 1$, recall

$$\mathrm{Pr}\{N =n\} = \frac{a}{n}\,\prod_{k=1}^{n-1}\left(1 - a/k\right) \qquad (n \geq 1).$$ It has interesting features. It turns out to have an infinite expectation and an heavy tail behaviour $n \,b_n \sim c/n^a$ with $c = -1/\Gamma(-a) >0$.

Though $M_N$ is the maximum of $N$ rvs, its determination needs a number of $X_k$ which is $\leq N$ since the result is known as soon as one $X_k$ is $1$. The number of computed $X_k$ is geometrically distributed.

Comments

A related idea would be to make the rvs $X_k$ dependent with extremal index $\theta$ $(0 < \theta < 1)$, meaning that $M_n$ has PZ $q^{n\theta}$ rather than $q^n$. Taking $n\theta = a$ would do the job for any $a>0$. Given a sequence of iid rv.s $X_n$ following a standard Frechet, there are known methods to generate a dependent sequence $X_n^\star$ with standard Frechet margin and the prescribed extremal index $\theta$. However, what happens if we replace standard Frechet'' by Bernoulli''?

— Yves

(+1) Very nice, @Yves. A few remarks: (1) The first part can be viewed as the complement of the approach I've taken. In fact, when I first got the series in $b_n q^n$, while I immediately saw the connection to the geometric, I first tried something more direct and didn't come up with a natural way to do it. Your answer solves that problem. (2) Your approach can also be implemented using only a $\mathrm{Ber}(p)$ coin. In particular, $N$ can be generated by descending down a full binary tree based on fair coin flips, where the left nodes are leaves and the decision is made by (...)

— cardinal

(...) comparing the number in $(0,1)$ constructed from the (partial) sequence of coin flips to the partial sums $f_n = \sum_{i=1}^n b_i$. The termination depth gives $N$. (3) I believe that $n b_n \sim c n^{-(1+a)}$, which will change your conclusion regarding the finiteness of the mean. (4) In both your approach and mine, it seems we cannot escape computing $f_n = \sum_{i=1}^n b_i$, even if we allow for uniform random variates in addition to our $\mathrm{Ber}(p)$ coin for the purposes of sampling. Finding a way to avoid that would seem to be the most obvious way to improve efficiency.

— cardinal

Thank you @cardinal. I agree with all your comments except perhaps (3). I actually made an error since $c$ is $-1/\Gamma(-a)$ (edited), but the exponent of $n$ seems the right one. I used the representation of $\Gamma(z)$ as found e.g. on Wikipedia page on infinite product and took $z:=-a$ which gives an equivalent for the product $\prod_{k=1}^{n-1}$. I would be more confident if you could check this.

— Yves

Dear @Yves, (+1) You are correct about the constant and about (3). My apologies. Somehow, when I went to transcribe things to paper, I ended up focusing on the asymptotics of $b_n$ instead of $n b_n$. :-)

— cardinal