GLM के लिए परिवर्तन को सामान्य बनाने की व्युत्पत्ति

Question

$\newcommand{\E}{\mathbb{E}}$ कैसे है $A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)}$ सामान्य घातीय परिवार के लिए बदलना निकाली गई?

अधिक विशेष रूप से : मैंने पेज 3 पर टेलर विस्तार स्केच का पालन करने की कोशिश की, यहां 1 स्लाइड करें लेकिन कई प्रश्न हैं। एक घातीय परिवार के एक्स के साथ $X$, ट्रांसफ़ॉर्मेशन $h(X)$ , और $\kappa _i$ जो i ^ {th} क्यूमुलेंट को दर्शाते हुए $i^{th}$, स्लाइड्स का तर्क है कि:

$$\kappa _3(h(\bar{X})) \approx h'(\mu)^3\frac{\kappa _3(\bar{X})}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N} + O(N^{-3}),$$ और यह केवल h (X) को खोजने के लिए बना रहता है $h(X)$जैसे कि उपरोक्त 0 का मूल्यांकन करता है।

1. मेरा पहला सवाल अंकगणित के बारे में है: मेरे टेलर के विस्तार में अलग-अलग गुणांक हैं, और मैं उनकी शर्तों को बहुत कम कर सकता हूं।

   $$\begin{align} \text{Since }h(x) &\approx h(\mu) + h'(\mu)(x - \mu) + \frac{h''(x)}{2}(x - \mu)^2\text{, we have:} \\ h(\bar{X}) - h(u) &\approx h'(u))(\bar{X} - \mu) + \frac{h''(x)}{2}(\bar{X} - \mu)^2 \\ \E\left(h(\bar{X}) - h(u)\right)^3 &\approx h'(\mu)^3 \E(\bar{X}-\mu)^3 + \frac{3}{2}h'(\mu)^2h''(\mu) \E(\bar{X} - \mu)^4 + \\ &\quad \frac{3}{4}h'(\mu)h''(\mu)^2 \E(\bar{X}-\mu)^5 + \frac{1}{8}h''(\mu)^3 \E(\bar{X} - \mu)^6. \end{align}$$

   मैं उनके सह-समकक्ष समकक्षों द्वारा केंद्रीय क्षणों की जगह कुछ इसी तरह प्राप्त कर सकता हूं, लेकिन यह अभी भी नहीं जोड़ता है।

2. दूसरा सवाल: क्यों साथ विश्लेषण शुरू करता है $\bar{X}$ के बजाय $X$ , मात्रा हम वास्तव में के बारे में परवाह?

Comments

आप है लगता है कई बार जहां मतलबयू $u$$\mu$

— Glen_b -Reinstate मोनिका

Answer 1

आपके द्वारा लिंक की जाने वाली स्लाइडें कुछ भ्रामक हैं, कदम बाहर छोड़ने और कुछ टाइपो बनाने के लिए, लेकिन वे अंततः सही हैं। यह पहले प्रश्न 2 का उत्तर देने में मदद करेगा, फिर 1, और फिर अंत में सममित रूप से परिवर्तन ।$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$

प्रश्न 2. हम विश्लेषण कर रहे यह के रूप में आकार का एक नमूना का मतलब आईआईडी यादृच्छिक चर के$\bar{X}$$N$$X_1, ..., X_N$ । यह एक महत्वपूर्ण मात्रा है क्योंकि समान वितरण का नमूना लेना और हर समय विज्ञान में होता है। हम जानना चाहते हैं कि करीब चाहते सच मतलब है । सेंट्रल लिमिट प्रमेय का कहना है कि यह m को रूप में परिवर्तित करेगा, लेकिन हम के विचरण और तिरछापन को जानना चाहेंगे ।$\bar{X}$$\mu$$\mu$$N \to \infty$$\bar{X}$

प्रश्न 1. आपका टेलर श्रृंखला सन्निकटन गलत नहीं है, लेकिन हमें बनाम ट्रैक रखने के बारे में सावधान रहने की आवश्यकता है$\bar{X}$$X_i$ स्लाइड के समान निष्कर्ष निकालने और शक्तियों पर । हम की और केंद्रीय क्षणों से शुरू और लिए सूत्र प्राप्त करेंगे :$N$$\bar{X}$$X_i$$\kappa_3(h(\bar{X}))$

$\bar{X} = \frac{1}{N}\sum_{i=1}^N X_i$

$\mathbb{E}[X_i] = \mu$

$V(X_i) = \mathbb{E}[(X_i - \mu)^2] = \sigma^2$

$\kappa_3(X_i) = \mathbb{E}[(X_i - \mu)^3]$

अब, के केंद्रीय क्षण :$\bar{X}$

$\mathbb{E}[\bar{X}] = \frac{1}{N}\sum_{i=1}^N \mathbb{E}[X_i] = \frac{1}{N}(N\mu) = \mu$

$\begin{align} V(\bar{X}) &=\mathbb{E}[(\bar{X} - \mu)^2]\\ &=\mathbb{E}[\Big((\frac{1}{N}\sum_{i=1}^N X_i) - \mu\Big)^2]\\ &=\mathbb{E}[\Big(\frac{1}{N}\sum_{i=1}^N (X_i - \mu)\Big)^2]\\ &=\frac{1}{N^2}\Big(N\mathbb{E}[(X_i - \mu)^2] + N(N-1)\mathbb{E}[X_i - \mu]\mathbb{E}[X_j - \mu]\Big)\\ &= \frac{1}{N}\sigma^2 \end{align}$

अंतिम चरण , और । यह की सबसे आसान व्युत्पत्ति नहीं हो सकती है , लेकिन यह वही प्रक्रिया है जिसे हमें और खोजने के लिए करने की आवश्यकता है , जहां हम एक योग के उत्पाद को तोड़ते हैं और विभिन्न चर की शक्तियों के साथ शब्दों की संख्या की गणना करते हैं। उपरोक्त मामले में, शब्द थे जो फॉर्म के थे और फॉर्म की शर्तें$\mathbb{E}[X_i - \mu] = 0$$\mathbb{E}[(X_i - \mu)^2] = \sigma^2$$V(\bar{X})$$\kappa_3(\bar{X})$$\kappa_3(h(\bar{X}))$$N$$(X_i - \mu)^2$$N(N-1)$$(X_i - \mu)(X_j - \mu)$ ।

$\begin{align} \kappa_3(\bar{X}) &= \mathbb{E}[(\bar{X}-\mu)^3)]\\ &= \mathbb{E}[\Big((\frac{1}{N}\sum_{i=1}^N X_i) - \mu\Big)^3]\\ &= \mathbb{E}[\Big(\frac{1}{N}\sum_{i=1}^N (X_i - \mu)\Big)^3]\\ &= \frac{1}{N^3}\Big(N\mathbb{E}[(X_i - \mu)^3] + 3N(N-1)\mathbb{E}[(X_i - \mu)\mathbb{E}[(X_j - \mu)^2]+N(N-1)(N-2)\mathbb{E}[(X_i - \mu)]\mathbb{E}[(X_j - \mu)]\mathbb{E}[(X_k - \mu)]\\ &= \frac{1}{N^2}\mathbb{E}[(X_i - \mu)^3]\\ &= \frac{\kappa_3(X_i)}{N^2} \end{align}$

अगला, हम विस्तार करेंगे $h(\bar{X})$ आपके पास एक टेलर श्रृंखला में का करेंगे:

$h(\bar{X}) = h(\mu) + h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 + \frac{1}{3}h'''(\mu)(\bar{X}-\mu)^3 + ...$

$\begin{align} \mathbb{E}[h(\bar{X})] &= h(\mu) + h'(\mu)\mathbb{E}[\bar{X} - \mu] + \frac{1}{2}h''(\mu)\mathbb{E}[(\bar{X}-\mu)^2] + \frac{1}{3}h'''(\mu)\mathbb{E}[(\bar{X}-\mu)^3] + ...\\ &= h(\mu) + \frac{1}{2}h''(\mu)\frac{\sigma^2}{N} + \frac{1}{3}h'''(\mu)\frac{\kappa_3(X_i)}{N^2} + ...\\ \end{align}$

कुछ और प्रयासों से आप यह साबित कर सकते हैं कि बाकी शर्तें । अंत में, चूंकि , (जो कि समान नहीं है), हम फिर से एक समान गणना करते हैं:$O(N^{-3})$$\kappa_3(h(\bar{X})) = \mathbb{E}[(h(\bar{X})-\mathbb{E}[h(\bar{X})])^3]$$\mathbb{E}[(h(\bar{X})-h(\mu))^3]$

$\begin{align} \kappa_3(h(\bar{X})) &= \mathbb{E}[(h(\bar{X})-\mathbb{E}[h(\bar{X})])^3]\\ &=\mathbb{E}\Big[\Big(h(\mu) + h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 + O((\bar{X}-\mu)^3) - h(\mu) - \frac{1}{2}h''(\mu)\frac{\sigma^2}{N} - O(N^{-2})\Big)^3\Big] \end{align}$

हम केवल आदेश परिणामस्वरूप शर्तों में रुचि रखते हैं , और अतिरिक्त कार्य के साथ आप दिखा सकते हैं कि आपको " शब्दों की आवश्यकता नहीं है "या" "तीसरी शक्ति लेने से पहले, क्योंकि वे केवल आदेश संदर्भ में परिणाम देंगे । तो, सरलीकरण, हम प्राप्त करते हैं$O(N^{-2})$$O((\bar{X}-\mu)^3)$$- O(N^{-2})$$O(N^{-3})$

$\begin{align} \kappa_3(h(\bar{X})) &= \mathbb{E}\Big[\Big(h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 - \frac{1}{2}h''(\mu)\frac{\sigma^2}{N})\Big)^3\Big]\\ &=\mathbb{E}\Big[h'(\mu)^3(\bar{X} - \mu)^3 + \frac{1}{8}h''(\mu)^3(\bar{X}-\mu)^6 - \frac{1}{8}h''(\mu)^3\frac{\sigma^6}{N^3} + \frac{3}{2}h'(\mu)^2h''(\mu)(\bar{X}-\mu)^4 + \frac{3}{4}h'(\mu)h''(\mu)(\bar{X}-\mu)^5 - \frac{3}{2}h'(\mu)^2h''(\mu)(\bar{X} - \mu)^2\frac{\sigma^2}{N} + O(N^{-3})\Big] \end{align}$

मैंने कुछ ऐसे शब्द छोड़ दिए जो जाहिर तौर पर इस उत्पाद में थे। आपको खुद को यह समझाना होगा कि शर्तें और हैं साथ ही। तथापि,$O(N^{-3})$$\mathbb{E}[(\bar{X}-\mu)^5]$$\mathbb{E}[(\bar{X}-\mu)^6]$$O(N^{-3})$

$\begin{align} \mathbb{E}[(\bar{X}-\mu)^4] &= \mathbb{E}[\frac{1}{N^4}\Big(\sum_{i=1}^N(\bar{X}-\mu)\Big)^4]\\ &=\frac{1}{N^4}\Big(N\mathbb{E}[(X_i-\mu)^4] + 3N(N-1)\mathbb{E}[(X_i-\mu)^2]\mathbb{E}[(X_j-\mu)^2] + 0\Big)\\ &=\frac{3}{N^2}\sigma^4 + O(N^{-3}) \end{align}$

फिर हमारे समीकरण पर लिए उम्मीद$\kappa_3(h(\bar{X}))$ , हमारे पास है

$\begin{align}\kappa_3(h(\bar{X})) &= h'(\mu)^3\mathbb{E}[(\bar{X} - \mu)^3] + \frac{3}{2}h'(\mu)^2h''(\mu)\mathbb{E}[(\bar{X}-\mu)^4] - \frac{3}{2}h'(\mu)^2h''(\mu)\mathbb{E}[(\bar{X} - \mu)^2]\frac{\sigma^2}{N} + O(N^{-3})\\ &= h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + \frac{9}{2}h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} - \frac{3}{2}h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} + O(N^{-3})\\ &=h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} + O(N^{-3}) \end{align}$

यह की व्युत्पत्ति को समाप्त करता है । अब, अंत में, हम को सममित रूपांतरित करेंगे ।$\kappa_3(h(\bar{X}))$$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$

इस परिवर्तन के लिए, यह महत्वपूर्ण है कि एक घातीय पारिवारिक वितरण से है, और विशेष रूप से एक प्राकृतिक घातीय परिवार (या इसे इस वितरण में बदल दिया गया है), प्रपत्र$X_i$$f_{X_i}(x;\theta) = h(x)\exp(\theta x - b(\theta))$

इस स्थिति में, वितरण के द्वारा दी जाती हैं । सो , , और । हम लिख सकते हैं पैरामीटर के एक समारोह के रूप में बस का प्रतिलोम लेने , लेखन । फिर$\kappa_k = b^{(k)}(\theta)$$\mu = b'(\theta)$$\sigma^2 = V(\theta) = b''(\theta)$$\kappa_3 = b'''(\theta)$$\theta$$\mu$$b'$$\theta(\mu) = (b')^{-1}(\mu)$

$\theta'(\mu) = \frac{1}{b''((b')^{-1}(\mu))} = \frac{1}{b''(\theta))} = \frac{1}{\sigma^2}$

आगे हम विचरण को फ़ंक्शन के रूप में लिख सकते हैं , और इस फ़ंक्शन को कह सकते हैं :$\mu$$\bar{V}$

$\bar{V}(\mu) = V(\theta(\mu)) = b''(\theta(\mu))$

फिर

$\frac{d}{d\mu}\bar{V}(\mu) = V'(\theta(\mu))\theta'(\mu) = b'''(\theta)\frac{1}{\sigma^2} = \frac{\kappa_3}{\sigma^2}$

इसलिए , ।$\mu$$\kappa_3(\mu) = \bar{V}'(\mu)\bar{V}(\mu)$

अब, समरूपता परिवर्तन के लिए, हम बनाकर का तिरछापन कम करना चाहते हैं ताकि है$h(\bar{X})$$h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} = 0$$h(\bar{X})$$O(N^{-3})$ । इस प्रकार, हम चाहते हैं

$h'(\mu)^3\kappa_3(X_i) + 3h'(\mu)^2h''(\mu)\sigma^4 = 0$

हमारे अभिव्यक्तियों को और के लिए कार्यों के रूप में प्रतिस्थापित करना , हमारे पास है:$\sigma^2$$\kappa_3$$\mu$

$h'(\mu)^3\bar{V}'(\mu)\bar{V}(\mu) + 3h'(\mu)^2h''(\mu)\bar{V}(\mu)^2 = 0$

अतः , लिए अग्रणी ।$h'(\mu)^3\bar{V}'(\mu) + 3h'(\mu)^2h''(\mu)\bar{V}(\mu) = 0$$\frac{d}{d\mu}(h'(\mu)^3\bar{V}(\mu)) = 0$

इस विभेदक समीकरण का एक हल है:

$h'(\mu)^3\bar{V}(\mu) = 1$ ,

$h'(\mu) = \frac{1}{[\bar{V}(\mu)]^{1/3}}$

अतः, , किसी भी स्थिरांक के लिए, । यह हमें सममिति परिवर्तन , जहाँ का भिन्न रूप है एक प्राकृतिक घातीय परिवार में माध्य का एक कार्य।$h(\mu) = \int_c^\mu \frac{1}{[\bar{V}(\theta)]^{1/3}} d\theta$$c$$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$$V$

Answer 2

$\blacksquare$ क्यों मैं noncentral क्षणों के मामले में अनुमान एक ही परिणाम प्राप्त नहीं कर सकता है और फिर केंद्रीय क्षणों की गणना करें$\mathbb{E}\bar{X}^k$$\mathbb{E}(\bar{X}-\mathbb{E}\bar{X})^k$ सन्निकट noncentral क्षणों का उपयोग कर रहा है?

क्योंकि आप व्युत्पत्ति को मनमाने ढंग से बदलते हैं और अवशेष शब्द को छोड़ देते हैं जो महत्वपूर्ण है। यदि आप बड़े ओ संकेतन और प्रासंगिक परिणामों से परिचित नहीं हैं, तो एक अच्छा संदर्भ [कैसैला और लेहमन] है।

$$h(\bar{X}) - h(u) \approx h'(u)(\bar{X} - \mu) + \frac{h''(x)}{2}(\bar{X} - \mu)^2 +O[(\bar{X} - \mu)^3]$$

$$\mathbb{E}[h(\bar{X}) - h(u)] \approx h'(u)\mathbb{E}(\bar{X} - \mu) + \frac{h''(x)}{2}\mathbb{E}(\bar{X} - \mu)^2+(?)$$

लेकिन यहां तक ​​कि अगर आप हमेशा यह तर्क देकर ड्रॉप नहीं करते हैं कि आप हमेशा (जो कानूनी नहीं है ...) कर रहे हैं, तो निम्न चरण: कह रहा है कि$N\rightarrow \infty$

$$\E\left(h(\bar{X}) - h(u)\right)^3 \approx h'(\mu)^3 \E(\bar{X}-\mu)^3 + \frac{3}{2}h'(\mu)^2h''(\mu) \E(\bar{X} - \mu)^4 + \frac{3}{4}h'(\mu)h''(\mu)^2 \E(\bar{X}-\mu)^5 + \frac{1}{8}h''(\mu)^3 \E(\bar{X} - \mu)^6. (1)$$ $$\int [h(x)-h(x_0)]^3dx=\int [h'(x_0)(x-x_0)+\frac{1}{2}h''(x_0)(x-x_0)^2+O((x-x_0)^3)]^3dx=(1)$$

यदि यह अभी भी स्पष्ट नहीं है, तो हम इस बात का बीजगणित देख सकते हैं कि एकीकृत का विस्तार किस प्रकार होता है

$[h'(x_0)(x-x_0)+\frac{1}{2}h''(x_0)(x-x_0)^2+O((x-x_0)^3)]^3(2)$

दे , ,$A=h'(x_0)(x-x_0)$$B=\frac{1}{2}h''(x_0)(x-x_0)^2$$C=O((x-x_0)^3)$ $(2)=[A+B+C]^3$ $\color{red}{\neq}[A^3+3A^2 B+3A B^2+B^3]=[A+B]^3=(1)$

आपकी गलती विस्तार से पहले अवशेषों को छोड़ना है, जो बड़े ओ नोटेशन में "शास्त्रीय" गलती है और बाद में बड़े ओ नोटेशन के उपयोग की आलोचना बन गई।

$\blacksquare$ 2.Why साथ विश्लेषण शुरू करता है के बजाय , मात्रा हम वास्तव में के बारे में परवाह?$\bar{X}$$X$

क्योंकि हम अपने विश्लेषण को हमारे द्वारा प्रस्तुत किए जा रहे घातीय मॉडल के पर्याप्त आंकड़ों पर आधारित करना चाहते हैं। यदि आपके पास आकार 1 का एक नमूना है, तो कोई अंतर नहीं है कि आप OR ।$\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_i$$X_1$

यह बड़े O अंकन में एक अच्छा सबक है, हालांकि यह GLM के लिए प्रासंगिक नहीं है ...

संदर्भ [कासेला और लेहमन] लेहमैन, एरिच लियो और जॉर्ज कैसेला। बिंदु अनुमान का सिद्धांत। स्प्रिंगर साइंस एंड बिजनेस मीडिया, 2006।