Iterated Expectations के कानून का एक सामान्यीकरण

43

मैं हाल ही में इस पहचान में आया:

E [E (Y | X, Z) | X] = E [Y | X]

$E \left[ E \left(Y|X,Z \right) |X \right] =E \left[Y | X \right]$

मैं निश्चित रूप से उस नियम के सरल संस्करण से परिचित हूं, अर्थात् लेकिन मैं इसके लिए औचित्य नहीं ढूंढ पा रहा था इसका सामान्यीकरण। $E \left[ E \left(Y|X \right) \right]=E \left(Y\right)$

मैं आभारी रहूंगा यदि कोई मुझे इस तथ्य के लिए एक न-तकनीकी संदर्भ में इंगित कर सकता है, या इससे भी बेहतर, अगर कोई इस महत्वपूर्ण परिणाम के लिए एक साधारण प्रमाण दे सकता है।

self-study conditional-probability conditional-expectation

— JohnK
स्रोत

2

यदि को कुछ पर वातानुकूलित किया गया होता, तो क्या यह बिल्कुल सरल संस्करण से बाहर नहीं होता?

y

$y$

x

$x$

— मेहरदाद

36

सामान्य उपचार

हमें यह याद रखना चाहिए कि जहां हम यादृच्छिक चर पर शर्त लगाते हैं, वह गलत है, हालांकि अर्थ के रूप में, संकेतन। वास्तव में हम इन यादृच्छिक चर उत्पन्न करने वाले सिग्मा-बीजगणित पर शर्त लगाते हैं। दूसरे शब्दों में $E[Y\mid X]$ मतलब करने के लिए है $E[Y\mid \sigma(X)]$ । यह टिप्पणी "अनौपचारिक उपचार" में जगह से बाहर लग सकती है, लेकिन यह हमें याद दिलाती है कि हमारी कंडीशनिंग इकाइयां सेट का संग्रह हैं (और जब हम एक एकल मूल्य पर शर्त लगाते हैं, तो यह एक सिंगलटन सेट है)। और इन सेटों में क्या है? उनमें जानकारी होती हैजिसके साथ रैंडम वैरिएबल के संभावित मान $X$ हमें इस बात की आपूर्ति करते हैं कि की प्राप्ति के साथ क्या हो सकता है $Y$ ।
सूचना की अवधारणा में लाना, हमें बहुत सहज तरीके से Iterated Expectations (कभी-कभी "टॉवर संपत्ति" कहा जाता है) के कानून के बारे में सोचने (और उपयोग) की अनुमति देता है:
दो यादृच्छिक चर द्वारा उत्पन्न सिग्मा-बीजगणित, कम से कम उतना ही है : एक यादृच्छिक चर द्वारा उत्पन्न कि के रूप में बड़े $\sigma (X) \subseteq \sigma(X,Z)$ उचित सेट सैद्धांतिक अर्थ में। तो जानकारी के बारे में $Y$ में निहित $\sigma(X,Z)$ में संबंधित जानकारी के रूप में महान के रूप में कम से कम है $\sigma (X)$ ।
अब, सांकेतिक व्यंग्य के रूप में, सेट $\sigma (X) \equiv I_x$ और $\sigma(X,Z) \equiv I_{xz}$ । फिर जिस समीकरण को हम देख रहे हैं उसका एलएचएस लिखा जा सकता है

मौखिक रूप से ऊपर अभिव्यक्ति हम बताते: "की {की उम्मीद मूल्य उम्मीद क्या है दी गई जानकारी } यह देखते हुए कि हम उपलब्ध जानकारी नहीं है केवल?"

E [E (Y | I_{x z}) | I_{x}]

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right]$

Y

$Y$

I_{x z}

$I_{xz}$

I_{x}

$I_x$

क्या हम किसी तरह " " को ध्यान में ? नहीं - हम केवल जानते हैं । लेकिन अगर हम अपने पास मौजूद उस चीज़ का उपयोग करते हैं (जैसा कि हम जिस अभिव्यक्ति को हल करना चाहते हैं, उसके द्वारा बाध्य हैं), तो हम अनिवार्य रूप से के बारे में उम्मीद ऑपरेटर के तहत बातें कर रहे हैं , अर्थात हम कहते हैं " ", और नहीं - हमने अभी-अभी अपनी जानकारी समाप्त की है। $I_{xz}$ $I_x$ $Y$ $E(Y\mid I_x)$

इसलिए

E [E (Y | I_{x z}) | I_{x}] = E (Y | I_{x})

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right] = E\left(Y|I_{x} \right)$

अगर कोई और नहीं करता है, तो मैं औपचारिक उपचार के लिए लौटूंगा।

(थोड़ा और) औपचारिक उपचार

आइए देखें कि कैसे दो बहुत महत्वपूर्ण किताबें हैं प्रायिकता सिद्धांत, पी। बिलिंग्सले की संभावना और माप (3 डी एड।-1995) और डी। विलियम्स "प्रोबेलबिलिटी विद मार्टिंगेल्स" (1991), "लॉ ऑफ़ आईटर एक्सपेक्टेशंस" को साबित करने के मामले को मानते हैं:
बिलिंग्सले ने प्रमाण के लिए ठीक तीन पंक्तियों को समर्पित किया है। विलियम्स, और मैं बोली, कहते हैं

"(टॉवर संपत्ति) वस्तुतः सशर्त अपेक्षा की परिभाषा से तत्काल है"।

यह पाठ की एक पंक्ति है। बिलिंग्सले का प्रमाण कम अपारदर्शी नहीं है।

वे निश्चित रूप से सही हैं: सशर्त अपेक्षा की यह महत्वपूर्ण और बहुत सहज संपत्ति अनिवार्य रूप से सीधे (और लगभग तुरंत) अपनी परिभाषा से प्राप्त करती है-केवल समस्या यह है, मुझे संदेह है कि यह परिभाषा आमतौर पर नहीं सिखाई जाती है, या कम से कम हाइलाइट नहीं की जाती है, बाहर की संभावना या सिद्धांतिक हलकों को मापें। लेकिन (लगभग) तीन पंक्तियों को दिखाने के लिए जो कानून की प्रत्याशित अपेक्षाएं रखती हैं, हमें सशर्त अपेक्षा की परिभाषा की आवश्यकता है, या बल्कि, इसकी परिभाषित संपत्ति ।

एक प्रायिकता स्थान और एक पूर्णांक रैंडम वेरिएबल । चलो हो एक उप की -algebra , । फिर एक फ़ंक्शन मौजूद है जो -measurable है, पूर्णांक है और (यह परिभाषित करने वाली संपत्ति है) $(\Omega, \mathcal F, \mathbf P)$ $Y$ $\mathcal G$ $\sigma$ $\mathcal F$ $\mathcal G \subseteq \mathcal F$ $W$ $\mathcal G$

E (W \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in G [1]

$E(W\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal G \qquad [1]$

जहाँ सेट का सूचक कार्य है । हम कहते हैं कि की सशर्त उम्मीद ( "का एक संस्करण") है दिया , और हम लिखने $1_{G}$ $G$ $W$ $Y$ $\mathcal G$ यहाँ ध्यान दें करने के लिए महत्वपूर्ण विस्तार कि सशर्त उम्मीद, एक ही उम्मीद मूल्य के रूप में है , करता है न सिर्फ पूरे से अधिक ,लेकिन हर सबसेट में की । $W = E(Y\mid \mathcal G) \;a.s.$
$Y$ $\mathcal G$ $G$ $\mathcal G$

(मैं अब पेश करने की कोशिश करूँगा कि कैसे टॉवर संपत्ति सशर्त अपेक्षा की परिभाषा से निकलती है)।

एक -measurable यादृच्छिक चर है। तो विचार करें कुछ उप -algebra, का कहना है कि । फिर । तो, पहले की तरह एक अनुरूप तरीके से, हमें दी गई की सशर्त अपेक्षा है, कहें $W$ $\mathcal G$ $\sigma$ $\mathcal H \subseteq \mathcal G$ $G\in \mathcal H \Rightarrow G\in \mathcal G$ $W$ $\mathcal H$ यह विशेषता है $U=E(W\mid \mathcal H) \;a.s.$

E (U \cdot 1_{G}) = E (W \cdot 1_{G}) \forall G \in H [2]

$E(U\cdot\mathbb 1_{G}) = E(W\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [2]$

के बाद से , समीकरण और हमें देने के $\mathcal H \subseteq \mathcal G$ $[1]$ $[2]$

E (U \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in H [3]

$E(U\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [3]$

लेकिन यह दी गई की सशर्त अपेक्षा की परिभाषित संपत्ति है । $Y$ $\mathcal H$ इसलिए हम लिखने के लिए हकदार हैं जब से हम निर्माण से भी - आठ लाइनों में, हम बस टॉवर संपत्ति, या पुनरावृत्त के कानून उम्मीदें के सामान्य रूप से साबित कर दिया। $U=E(Y\mid \mathcal H)\; a.s.$
$U = E(W\mid \mathcal H) = E\big(E[Y\mid \mathcal G]\mid \mathcal H\big)$

— एलेकोस पापाडोपोलोस
स्रोत

6

(+1) यह एक अमूर्त और कठिन अवधारणा का वर्णन करने के लिए एक उपयोगी तरीका है। मेरा मानना है, हालांकि, वाक्यांश "... कोई बड़ा नहीं है ..." होना चाहिए "कोई छोटा नहीं है।" बेहतर अभी तक, उस खंड को नकारात्मक को हटाकर और एक समानांतर निर्माण का उपयोग करके स्पष्ट किया जा सकता है, जैसा कि "दो चर द्वारा उत्पन्न सिग्मा बीजगणित कम से कम उतना ही बड़ा है जितना कि एक यादृच्छिक चर द्वारा उत्पन्न ... तो

बारे में जानकारी निहित में

के रूप में कम से कम है महान के रूप में में संबंधित जानकारी के

। "

Y

$Y$

σ (X, Z)

$\sigma(X,Z)$

σ (X)

$\sigma(X)$

— whuber

आप दोनों को धन्यवाद, cc @whuber। यह बहुत उपयोगी प्रमेय है।

— जॉनके

@ whuber सुझाव के लिए इस -और जगह के लिए धन्यवाद।

— एलेकोस पापाडोपोलोस

24

जिस तरह से मैं सशर्त अपेक्षा को समझता हूं और अपने छात्रों को सिखाता हूं वह निम्नलिखित है:

सशर्त अपेक्षा एक तस्वीर संकल्प के साथ एक कैमरे से ली गई है $E[Y|\sigma(X)]$ $\sigma(X)$

जैसा कि एलेकोस पापाडोपोलोस ने उल्लेख किया है, संकेतन से अधिक सटीक है । कैमरे की लाइन के साथ, कोई को मूल वस्तु के रूप में सोच सकता है , उदाहरण के लिए, एक परिदृश्य, दृश्य। एक तस्वीर संकल्प के साथ एक कैमरे से ली गई है $E[Y|\sigma(X)]$ $E[Y|X]$ $Y$ $E[Y|\sigma(X,Z)]$ $\sigma(X,Z)$ । उम्मीद एक औसत ऑपरेटर ("धुंधला" ऑपरेटर है?)। दर्शनीय स्थान में बहुत सारा सामान हो सकता है, लेकिन कम रिज़ॉल्यूशन वाले कैमरे का उपयोग करके जो चित्र लिया गया है, वह निश्चित रूप से कुछ विस्तार कर देगा, उदाहरण के लिए, आकाश में एक यूएफओ हो सकता है जो आपकी नग्न आंखों से देखा जा सकता है लेकिन ऐसा नहीं है आपके द्वारा ली गई तस्वीर में (iphone 3?)

संकल्प इतनी अधिक है कि इस तरह के है , तो इस तस्वीर असली दृश्यों के हर विस्तार पर कब्जा करने में सक्षम है। इस मामले में, हमारे पास । $\sigma(X,Z)=\sigma(Y)$ $E[Y|\sigma(Y)]=Y$

अब, के रूप में देखा जा सकता है: संकल्प के साथ एक और कैमरे का उपयोग कर (जैसे, iphone 1) जो तुलना में कम है (जैसे, iphone 3) और के द्वारा उत्पन्न की है कि चित्र पर एक तस्वीर ले लो संकल्प के साथ कैमरा , तो यह स्पष्ट किया जाना चाहिए कि $E[E[Y|\sigma(X,Z)]|\sigma(X)]$ $\sigma(X)$ $\sigma(X,Z)$ $\sigma(X,Z)$ एक तस्वीर पर इस तस्वीर के लिए यदि आप मूल रूप से सिर्फ कम संकल्प के साथ एक कैमरे का उपयोग के रूप में ही किया जाना चाहिए दृश्यों पर। $\sigma(X)$

यह । वास्तव में यही अंतर्ज्ञान हमें बताता है कि $E[E[Y|X,Z]|X]=E[Y|X]$ $E[E[Y|X]|X,Z]=E[Y|X]$ फिर भी। इसका कारण यह है: यदि आपकी पहली तस्वीर iphone 1 (यानी, कम रिज़ॉल्यूशन) द्वारा ली गई है, और अब आप पहली तस्वीर पर एक और फोटो जेनरेट करने के लिए एक बेहतर कैमरा (जैसे, iphone 3) का उपयोग करना चाहते हैं, तो आपके लिए कोई रास्ता नहीं है पहली तस्वीर की गुणवत्ता में सुधार कर सकते हैं।

— KevinKim
स्रोत

2

इसे प्यार करना! :) महान व्याख्या।

— जेसिका

1

— @ जेसिका

21

पुनरावृत्त उम्मीद के कानून (झूठ), में , कि भीतर उम्मीद एक है यादृच्छिक चर जो के एक समारोह होने वाला , का कहना है कि , और नहीं एक कार्य । कि के इस कार्य की अपेक्षा की अपेक्षा के बराबर होती है, LIE का परिणाम है। सभी कि यह, हाथ से wavingly, बस दावे के औसत मूल्य कि द्वारा पाया जा सकता औसतन $E\left[E[Y \mid X]\right] = E[Y]$ $X$ $g(X)$ $Y$ $X$ $Y$ $Y$ विभिन्न परिस्थितियों में का औसत मूल्य । वास्तव में, यह सब कुल संभाव्यता के कानून का प्रत्यक्ष परिणाम है। उदाहरण के लिए, यदि और संयुक्त pmf साथ यादृच्छिक चर असतत हैं , तो $Y$ $X$ $Y$ $p_{X,Y}(x,y)$ सूचना कैसे है कि पिछले उम्मीद के संबंध में है; की एक समारोह हैकी नहीं,, लेकिन फिर भी अपने मतलब का मतलब रूप में ही है।

\begin{aligned} E [Y] & = \sum_{y} y \cdot p_{Y} (y) & definition \\ = \sum_{y} y \cdot \sum_{x} p_{X, Y} (x, y) & write in terms of joint pmf \\ = \sum_{y} y \cdot \sum_{x} p_{Y ∣ X} (y ∣ X = x) \cdot p_{X} (x) & write in terms of conditional pmf \\ = \sum_{x} p_{X} (x) \cdot \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) & interchange order of summation \\ = \sum_{x} p_{X} (x) \cdot E [Y ∣ X = x] & inner sum is conditional expectation \\ = E [E [Y ∣ X]] & RV E [Y ∣ X] has value E [Y ∣ X = x] when X = x \end{aligned}

$\begin{align} E[Y] &= \sum_y y\cdot p_Y(y) &\scriptstyle{\text{definition}}\\ &= \sum_y y \cdot \sum_x p_{X,Y}(x,y) &\scriptstyle{\text{write in terms of joint pmf}}\\ &= \sum_y y \cdot \sum_x p_{Y\mid X}(y \mid X=x)\cdot p_X(x) &\scriptstyle{\text{write in terms of conditional pmf}}\\ &= \sum_x p_X(x)\cdot \sum_y y \cdot p_{Y\mid X}(y \mid X=x) &\scriptstyle{\text{interchange order of summation}}\\ &= \sum_x p_X(x)\cdot E[Y \mid X = x] &\scriptstyle{\text{inner sum is conditional expectation}}\\ &= E\left[E[Y\mid X]\right] &\scriptstyle{\text{RV}~E[Y\mid X]~\text{has value}~E[Y\mid X=x]~\text{when}~X=x} \end{align}$

X

$X$

E [Y ∣ X]

$E[Y\mid X]$

X

$X$

Y

$Y$

Y

$Y$

सामान्यीकृत झूठ है कि आप देख रहे हैं बाईं तरफ है जिसमें भीतरी उम्मीद एक समारोह है के दो यादृच्छिक चर और । तर्क ऊपर उल्लिखित के समान है, लेकिन अब हम दिखाने के लिए कि है यादृच्छिक चर एक और यादृच्छिक चर बराबर होती है। हम का मूल्य को देखकर ऐसा करने $E\left[E[Y \mid X, Z] \mid X\right]$ $h(X,Z)$ $X$ $Z$ $E[Y\mid X]$ जब का मान होता है। स्पष्टीकरणों को छोड़कर, हमारे पास वह $E[Y\mid X]$ $X$ $x$ ध्यान दें कि अंत से पहले सही पक्ष के लिए सूत्र हैसशर्त उम्मीद मूल्ययादृच्छिक चर के(के एक समारोहऔर) के मान परवातानुकूलित। हम फिक्सिंग रहे हैंमूल्य के लिए, यादृच्छिक चर के मान गुणा

\begin{aligned} E [Y ∣ X = x] & = \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) \\ = \sum_{y} y \cdot \frac{p_{X, Y} (x, y)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{X, Y, Z} (x, y, z)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \cdot p_{X, Z} (x, z)}{p_{X} (x)} \\ = \sum_{z} \frac{p_{X, Z} (x, z)}{p_{X} (x)} \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot E [Y ∣ X = x, Z = z) \\ = E [E [Y ∣ X, Z] ∣ X = x] \end{aligned}

$\begin{align} E[Y \mid X = x] &= \sum_y y\cdot p_{Y\mid X}(y\mid X = x)\\ &= \sum_y y \cdot \frac{p_{X,Y}(x,y)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{X,Y,Z}(x,y,z)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{Y\mid X,Z}(y \mid X=x, Z=z)\cdot p_{X,Z}(x,z)}{p_X(x)}\\ &= \sum_z \frac{p_{X,Z}(x,z)}{p_X(x)}\sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot \sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot E[Y \mid X=x, Z=z)\\ &= E\left[E[Y\mid X,Z]\mid X = x\right] \end{align}$

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

X

$X$

Z

$Z$

X

$X$

X

$X$

x

$x$

द्वारासशर्तकी PMF मूल्य

दिया

, और ऐसे सभी मामले संक्षेप।

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

Z

$Z$

X

$X$

इस प्रकार, के लिए प्रत्येक मान यादृच्छिक चर के , यादृच्छिक चर का मान (जो हम पहले उल्लेख किया की एक समारोह है , की नहीं ,) यादृच्छिक चर के मान के समान है , है कि, इन दो यादृच्छिक चर बराबर हैं। क्या मैं तुमसे झूठ बोलूंगा? $x$ $X$ $E[Y\mid X]$ $X$ $Y$ $E\left[E[Y \mid X,Z]\mid X\right]$

— दिलीप सरवटे
स्रोत