क्या बेयस प्रमेय उम्मीदों के लिए रखती है?

Question

क्या यह सच है कि दो यादृच्छिक चर और ,$A$$B$

$$E(A\mid B)=E(B\mid A)\frac{E(A)}{E(B)}?$$

Comments

हम्म ... मुझे नहीं लगता कि वे दो पक्ष बराबर हैं

— जॉन

जैसा कि उत्तर में कहा गया है, प्रश्न एक तरफ यादृच्छिक चर के एकीकरण के कारण संभावित रूप से अर्थहीन है जो दूसरी तरफ कंडीशनिंग चर हैं।

— शीआन

Answer 1

$$E[A\mid B] \stackrel{?}= E[B\mid A]\frac{E[A]}{E[B]} \tag 1$$ अनुमानित परिणाम स्वतंत्र यादृच्छिक अक्षरों के लिए तुच्छ रूप से सच है नॉनजरो मतलब और ।$(1)$$A$$B$

यदि , तो के दाईं ओर एक विभाजन शामिल है और इसलिए अर्थहीन है। ध्यान दें कि और स्वतंत्र हैं या नहीं, प्रासंगिक नहीं है।$E[B]=0$$(1)$$0$$(1)$$A$$B$

सामान्य तौर पर , निर्भर यादृच्छिक चर के लिए नहीं होता है , लेकिन आश्रित और संतोषजनक विशिष्ट उदाहरण पाए जा सकते हैं। ध्यान दें कि हमें यह आग्रह करना चाहिए कि , के दाईं ओर का अर्थ व्यर्थ है। यह ध्यान रखें कि एक यादृच्छिक चर है जो यादृच्छिक चर कार्य के रूप में होता है , कहते हैं जबकि एक यादृच्छिक चर है जो एक कार्य है। यादृच्छिक चर , कहते हैं$(1)$$A$$B$$(1)$$E[B]\neq 0$$(1)$$E[A\mid B]$$B$$g(B)$$E[B\mid A]$$A$$h(A)$ । तो, यह पूछने के समान है कि क्या$(1)$

$$g(B)\stackrel{?}= h(A)\frac{E[A]}{E[B]} \tag 2$$ एक सही कथन हो सकता है, और जाहिर है कि इसका उत्तर यह है किजी(बी)सामान्य रूप$g(B)$सेएच(ए)का एक बहु नहीं हो सकता है$h(A)$ ।

मेरी जानकारी के लिए, केवल दो विशेष मामले हैं जहां $(1)$ पकड़ सकते हैं।

• जैसा कि ऊपर बताया, के लिए स्वतंत्र यादृच्छिक चर $A$ और $B$ , $g(B)$ और $h(A)$ हैं पतित यादृच्छिक चर (सांख्यिकीय-अनपढ़ लोगों द्वारा कहा जाता स्थिरांक) कि बराबर $E[A]$ और $E[B]$ क्रमश: और यदि ऐसा है तो $E[B]\neq 0$ , हम में समानता है ।$(1)$

• स्वतंत्रता से स्पेक्ट्रम के दूसरे छोर पर, मान लीजिए कि $A=g(B)$ जहां $g(\cdot)$ एक उलटा कार्य है और इस प्रकार $A=g(B)$ और $B=g^{-1}(A)$ पूरी तरह से यादृच्छिक यादृच्छिक चर हैं। इस मामले में,

  $$E[A\mid B] = g(B), \quad E[B\mid A] = g^{-1}(A) = g^{-1}(g(B)) = B$$ और इतने$(1)$ हो जाता है $$g(B)\stackrel{?}= B\frac{E[A]}{E[B]}$$ जो$g(x) = \alpha x$जहां$\alpha$किसी भी गैर-वास्तविक संख्या हो सकती है। इस प्रकार,$(1)$जब भीA,$A$का एक स्केलर मल्टीपल है, और निश्चित रूप सेE[B]को नॉनजरो (cf.माइकल हार्डी का उत्तर)होना चाहिए। उपरोक्त विकास से पता चलता है किजी(x)एकरैखिककार्यहोना चाहिएऔर यह (1)affine केलिए धारण नहीं कर सकता है$B$$E[B]$$g(x)$$(1)$कार्यों $g(x) = \alpha x + \beta$ के साथ $\beta \neq 0$ । हालांकि, ध्यान दें कि में Alecos Papadopolous अपने जवाब और उनकी टिप्पणियों उसके बाद दावा है कि अगर $B$ एक है सामान्य के साथ यादृच्छिक चर अशून्य मतलब है, तो के लिए विशिष्ट के मूल्यों $\alpha$ और $\beta\neq 0$ कि वह प्रदान करता है, $A=\alpha B+\beta$ और $B$ संतुष्ट $(1)$ । मेरी राय में, उसका उदाहरण गलत है।

इस जवाब पर एक टिप्पणी में, ह्यूबर सममित conjectured समानता पर विचार का सुझाव दिया है ई [ एक | बी ] ई [ बी ] ? = ई [ बी | एक ] ई [ एक ] जो निश्चित रूप से हमेशा के मूल्यों की परवाह किए बिना स्वतंत्र यादृच्छिक चर के लिए रखती है ई [ एक ] और ई [ बी ] और अदिश गुणकों के लिए एक = α बी भी। बेशक, अधिक तुच्छ, ( 3 ) के लिए है

$$E[A\mid B]E[B] \stackrel{?}=E[B\mid A]E[A]\tag{3}$$ $E[A]$$E[B]$$A = \alpha B$$(3)$किसी भी शून्य-मतलब यादृच्छिक चर ए और बी (स्वतंत्र या आश्रित, स्केलर मल्टीपल या नहीं; यह कोई फर्क नहीं पड़ता!): ई [ ए ] = ई [ बी ] = ० ( ३ ) में समानता के लिए पर्याप्त है । इस प्रकार, ( 3 ) चर्चा के लिए एक विषय के रूप में ( 1 ) के रूप में दिलचस्प नहीं हो सकता है ।$A$$B$$E[A]=E[B]=0$ $(3)$$(3)$$(1)$

Comments

+1। उदार होने के लिए, इस प्रश्न की व्याख्या इस रूप में की जा सकती है कि क्या E ( A | B ) E ( B ) = E ( B | A ) E ( A ) है , जहाँ शून्य द्वारा विभाजन का प्रश्न गायब हो जाता है। $E(A|B)E(B)=E(B|A)E(A)$

— whuber

@ शुभंकर धन्यवाद। मेरे पतों संपादित के रूप में है कि क्या यह संभव है करने के लिए अधिक सामान्य प्रश्न करने के लिए ई [ एक | बी ] ई [ बी ] = ई [ बी | एक ] ई [ एक ] । $E[A\mid B]E[B]=E[B\mid A]E[A]$

— दिलीप सरवटे

Answer 2

परिणाम सामान्य रूप से असत्य है, आइए हम इसे एक साधारण उदाहरण में देखते हैं। चलो एक्स | पी = पी मानकों के साथ एक द्विपद बंटन है n , पी और पी मानकों के साथ बीटा distrubution है ( α , β ) , कि है, संयुग्म पूर्व के साथ एक बायेसियन मॉडल। अब बस अपने सूत्र के दो पहलू की गणना, बाएं हाथ की ओर है ई एक्स | पी = n पी जबकि दाहिने हाथ की ओर है, ई ( पी | एक्स ) ई$X \mid P=p$$n,p$$P$$(\alpha, \beta)$$\DeclareMathOperator{\E}{\mathbb{E}} \E X \mid P = nP$

$$\E( P\mid X) \frac{\E X}{\E P} = \frac{\alpha+X}{n+\alpha+\beta} \frac{\alpha/(\alpha+\beta)}{n\alpha/(\alpha+\beta)}$$ and those are certainly not equal.

Answer 3

The conditional expected value of a random variable $A$ given the event that $B=b$ is a number that depends on what number $b$ is. So call it $h(b).$ Then the conditional expected value $\operatorname{E}(A\mid B)$ is $h(B),$ a random variable whose value is completely determined by the value of the random variable $B$. Thus $\operatorname{E}(A\mid B)$ is a function of $B$ and $\operatorname{E}(B\mid A)$ is a function of $A$.

The quotient $\operatorname{E}(A)/\operatorname{E}(B)$ is just a number.

So one side of your proposed equality is determined by $A$ and the other by $B$, so they cannot generally be equal.

(Perhaps I should add that they can be equal in the trivial case when the values of $A$ and $B$ determine each other, as when for example, $A = \alpha B, \alpha \neq 0$ and $E[B]\neq 0$, when

$$E[A\mid B] = \alpha B = E[B\mid A]\cdot\alpha = E[B\mid A]\frac{\alpha E[B]}{E[B]} = E[B\mid A]\frac{E[A]}{E[B]}.$$ But functions equal to each other only at a few points are not equal.)

Comments

You mean they are not necessarily equal? I mean they CAN be equal?

— BCLC

@BCLC : They are equal only in trivial cases. And two functions equal to each other at some points and not at others are not equal.

— Michael Hardy

"But only in that trivial case can they be equal" (emphasis added) is not quite correct. Consider independent $A$ and $B$ with $E[B]\neq 0$. Then, $E[A\mid B] = E[A]$ while $E[B\mid A] = E[B]$ and so $$E[B\mid A] \frac{E[A]}{E[B]} = E[B]\frac{E[A]}{E[B]} = E[A] = E[A\mid B].$$

— Dilip Sarwate

@DilipSarwate I was about to say that haha!

— BCLC

I edited your answer to add a few details for the case you pointed out. Please roll back if you don't like the changes.

— Dilip Sarwate

Answer 4

The expression certainly does not hold in general. For the fun of it, I show below that if $A$ and $B$ follow jointly a bivariate normal distribution, and have non-zero means, the result will hold if the two variables are linear functions of each other and have the same coefficient of variation (the ratio of standard deviation over mean) in absolute terms.

For jointly normals we have

$$\operatorname{E}(A \mid B) = \mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B)$$

and we want to impose

$$\mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B) = \left[\mu_B + \rho \frac{\sigma_B}{\sigma_A}(A - \mu_A)\right]\frac{\mu_A}{\mu_B}$$

$$\implies \mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B) = \mu_A + \rho \frac{\sigma_B}{\sigma_A}\frac{\mu_A}{\mu_B}(A - \mu_A)$$

Simplify $\mu_A$ and then $\rho$, and re-arrange to get

$$B = \mu_B +\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}(A - \mu_A)$$

So this is the linear relationship that must hold between the two variables (so they are certainly dependent, with correlation coefficient equal to unity in absolute terms) in order to get the desired equality. What it implies?

First, it must also be satisfied that

$$E(B) \equiv \mu_B = \mu_B+\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}(E(A) - \mu_A) \implies \mu_B = \mu_B$$

so no other restirction is imposed on the mean of $B$ ( or of $A$) except of them being non-zero. Also a relation for the variance must be satisfied,

$$\operatorname{Var}(B) \equiv \sigma^2_B = \left(\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}\right)^2\operatorname{Var}(A)$$

$$\implies \left(\sigma^2_A\right)^2\sigma^2_B = \left(\sigma^2_B\right)^2\sigma^2_A\left(\frac{\mu_A}{\mu_B}\right)^2$$

$$\implies \left(\frac{\sigma_A}{\mu_A}\right)^2 = \left(\frac{\sigma_B}{\mu_B}\right)^2 \implies (\text{cv}_A)^2 = (\text{cv}_B)^2$$

$$\implies |\text{cv}_A| = |\text{cv}_B|$$

which was to be shown.

Note that equality of the coefficient of variation in absolute terms, allows the variables to have different variances, and also, one to have positive mean and the other negative.

Comments

Isn't this a convoluted way to $A = \alpha B$ where $\alpha$ is some scalar?

— Matthew Gunn

@MatthewGunn Your comment is right on target. Normality has nothing to do with the matter. For random variables $A$ and $B$ such that $A = \alpha B$, $E[A\mid B] = \alpha B = A$ and similarly, $E[B\mid A] = B$. Consequently, assuming that $E[B]\neq 0$, $$E[A\mid B] = \alpha B = E[B\mid A]\cdot\alpha = E[B\mid A]\frac{\alpha E[B]}{E[B]} = E[B\mid A]\frac{E[A]}{E[B]}.$$ No normality, no $|cv_A|=|cv_B|$ etc, and actually just a rehash of a comment in Michael Hardy's answer.

— Dilip Sarwate

If you write \text{Var} instaed of \operatorname{Var} then you'll see $a\text{Var}X$ and $a\text{Var}(X)$ instead of $a\operatorname{Var}X$ and $a\operatorname{Var}(X).$ That's why the latter is standard usage.

— Michael Hardy

@MatthewGun It seems to me that providing answers that contain specific examples is considered valuable content in this site. So yes, when a random variable is an affine function of another, and they are jointly normal with non-zero means, then one needs to have equal coefficients of variation, while, also there are no restrictions on the means of these rv's. On the other hand, when a random variable is just a linear function of another, the relation holds always. So no my answer is not a convoluted way to say $A=aB$. (cc:@DilipSarwate)

— Alecos Papadopoulos

If $B$ is a non-normal random variable with $E[B]=\mu_B\neq 0$ and $A=c B+d$ (and so $B=\frac{A-d}{c}$), then $$E[A\mid B]=cB+d=A, E[B\mid A]=\frac{A-d}{c}=B.$$ Now, if we want to have $E[A\mid B]=cB+d$ to equal $E[B\mid A]\cdot\frac{\mu_A}{\mu_B} =B\cdot\frac{\mu_A}{\mu_B}$, it must be that $$cB+d=B\cdot\frac{\mu_A}{\mu_B}\implies d=0,c=\frac{\mu_A}{\mu_B}$$ and so $A=cB=\frac{\mu_A}{\mu_B}B$. So, for nonnormal $B$, the OP's conjectured result holds if $A=cB$ but not if $A=cB+d, d\neq 0$.Of course, as you have proved, the result holds for normal random variables if $A=cB+d, d\neq 0$ .

— Dilip Sarwate