घातीय परिवार: अवलोकन बनाम अपेक्षित पर्याप्त आँकड़े

मेरा प्रश्न मिंका के "एक डिरिचलेट डिस्ट्रिब्यूशन का अनुमान" पढ़ने से उत्पन्न होता है , जो यादृच्छिक वैक्टर की टिप्पणियों के आधार पर एक ड्यूरिचलेट वितरण के लिए अधिकतम-संभावना अनुमानक को प्राप्त करने के संदर्भ में प्रमाण के बिना निम्नलिखित बताता है:

हमेशा घातीय परिवार के साथ, जब ढाल शून्य होता है, अपेक्षित पर्याप्त आँकड़े मनाया पर्याप्त आँकड़ों के बराबर होते हैं।

मैंने इस तरह से प्रस्तुत किए गए घातीय परिवार में अधिकतम संभावना का अनुमान नहीं देखा है, न ही मुझे अपनी खोज में कोई उपयुक्त स्पष्टीकरण मिला है। क्या कोई देखे गए और अपेक्षित पर्याप्त आंकड़ों के बीच के संबंध में अंतर्दृष्टि प्रदान कर सकता है, और शायद उनके अंतर को कम करने के रूप में अधिकतम संभावना आकलन को समझने में मदद करता है?

— बेन ब्रे
स्रोत

यह घातीय परिवार के बारे में एक सामान्य दावा है, लेकिन मेरी राय में, ज्यादातर बार इसे एक तरह से कहा जाता है जो कम अनुभवी पाठक को भ्रमित कर सकता है। क्योंकि, अंकित मूल्य पर लिया गया, यह कहा जा सकता है "यदि हमारे यादृच्छिक चर घातीय परिवार में वितरण का अनुसरण करते हैं, तो यदि हम एक नमूना लेते हैं और इसे पर्याप्त सांख्यिकीय में सम्मिलित करते हैं, तो हम सांख्यिकीय के वास्तविक अपेक्षित मूल्य को प्राप्त करेंगे। "। यदि केवल यह ऐसा था ... अधिक से अधिक यह नमूने के आकार को ध्यान में नहीं रखता है, जो आगे भ्रम पैदा कर सकता है।

घातीय घनत्व फ़ंक्शन है

\begin{matrix} (1) & f_{X} (x) = h (x) e^{η (θ) T (x)} e^{- A (θ)} \end{matrix}

$f_X(x) = h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)} \tag{1}$

जहाँ पर्याप्त आँकड़ा है। $T(x)$

चूंकि यह एक घनत्व है, इसलिए इसे एकता को एकीकृत करना है, इसलिए ( का समर्थन है ) $S_x$ $X$

\begin{matrix} (2) & \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = 1 \end{matrix}

$\int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =1 \tag{2}$

Eq। सभी इसलिए हम दोनों पक्षों को इसके संबंध में अंतर कर सकते हैं: $(2)$ $\theta$

\begin{matrix} (3) & \frac{\partial}{\partial θ} \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = \frac{\partial (1)}{\partial θ} = 0 \end{matrix}

$\frac {\partial}{\partial \theta} \int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =\frac {\partial (1)}{\partial \theta} =0 \tag{3}$

विभेदन और एकीकरण के क्रम को बदलकर, हम प्राप्त करते हैं

\begin{matrix} (4) & \int_{S_{x}} \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- A (θ)}) d x = 0 \end{matrix}

$\int_{S_x} \frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right)dx =0 \tag{4}$

हमारे पास विभेदीकरण करना

\begin{matrix} (5) & \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- A (θ)}) = f_{X} (x) [T (x) η^{'} (θ) - A^{'} (θ)] \end{matrix}

$\frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right) = f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big] \tag{5}$

में डालने से हमें प्राप्त होता है $(5)$ $(4)$

\int_{S_{x}} f_{X} (x) [T (x) η^{'} (θ) - A^{'} (θ)] d x = 0

$\int_{S_x} f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big]dx =0$

\begin{matrix} (6) & \Rightarrow η^{'} (θ) E [T (X)] - A^{'} (θ) = 0 \Rightarrow E [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} \end{matrix}

$\Rightarrow \eta'(\theta)E[T(X)] - A'(\theta) = 0 \Rightarrow E[T(X)] = \frac {A'(\theta)}{\eta'(\theta)} \tag{6}$

अब हम पूछते हैं: के बाएं हाथ एक वास्तविक संख्या है। तो, राइट-हैंड-साइड भी एक वास्तविक संख्या होनी चाहिए, और फ़ंक्शन नहीं । इसलिए इसका मूल्यांकन एक विशिष्ट किया जाना चाहिए, और यह "सत्य" " " होना चाहिए , अन्यथा बाएं-हाथ में हमारे पास का वास्तविक अपेक्षित मान नहीं होगा । इस पर जोर देने के लिए हम द्वारा सही मान को , और हम को फिर से लिखते हैं $(6)$ $\theta$ $\theta$ $T(X)$ $\theta_0$ $(6)$

\begin{matrix} (6a) & E_{θ_{0}} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = θ_{0}} \end{matrix}

$E_{\theta_0}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\theta_0} \tag{6a}$

हम अब अधिकतम संभावना अनुमान की ओर मुड़ते हैं । आकार नमूने के लिए लॉग-संभावना है $n$

L (θ ∣ x) = \sum_{i = 1}^{n} \ln h (x_{i}) + η (θ) \sum_{i = 1}^{n} T (x_{i}) - n A (θ)

$L(\theta \mid \mathbf x) = \sum_{i=1}^n\ln h(x_i) +\eta(\theta)\sum_{i=1}^nT(x_i) -nA(\theta)$

बराबर संबंध में इसके व्युत्पन्न की स्थापना हम MLE प्राप्त करते हैं $\theta$ $0$

\begin{matrix} (7) & \hat{θ} (x) : \frac{1}{n} \sum_{i = 1}^{n} T (x_{i}) = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$\hat \theta(x) : \frac 1n\sum_{i=1}^nT(x_i) = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat \theta(x)} \tag {7}$

की तुलना करें के साथ । दाएं हाथ के किनारे बराबर नहीं हैं , क्योंकि हम यह तर्क नहीं दे सकते हैं कि MLE आकलनकर्ता सही मूल्य पर हिट करता है। इसलिए न तो बाएं हाथ-बाजू हैं। लेकिन उस इक को याद करो। धारण के लिए सभी और इतने के लिए भी। तो इक में कदम। को संबंध में लिया जा सकता है और इसलिए हम eq लिख सकते हैं। for : $(7)$ $(6a)$ $2$ $\theta$ $\hat \theta$ $3,4,5,6$ $\hat \theta$ $6a$ $\hat \theta$

\begin{matrix} (6b) & E_{\hat{θ} (x)} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$E_{\hat\theta(x)}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat\theta(x)} \tag{6b}$

के साथ संयुक्त , हमें वैध संबंध की ओर ले जाता है $(7)$

E_{\hat{θ} (x)} [T (X)] = \frac{1}{n} \sum_{i = 1}^{n} T (x_{i})

$E_{\hat\theta(x)}[T(X)] = \frac 1n\sum_{i=1}^nT(x_i)$

वास्तव में परीक्षा के तहत दावा क्या है: अज्ञात मापदंडों के लिए MLE के तहत पर्याप्त आँकड़ा का अपेक्षित मूल्य (दूसरे शब्दों में, वितरण के पहले कच्चे क्षण का मूल्य जो हम प्राप्त करेंगे अगर हम उपयोग करते हैं। के स्थान पर ), नमूना ( से गणना के अनुसार पर्याप्त सांख्यिकीय के औसत के बराबर होता है (और यह केवल अनुमानित नहीं है) । $\hat \theta(x)$ $\theta$ $\mathbf x$

इसके अलावा, केवल अगर नमूना आकार तो हम सटीक रूप से कह सकते हैं, "MLE के तहत पर्याप्त सांख्यिकीय का अपेक्षित मूल्य पर्याप्त सांख्यिकीय के बराबर है"। $n=1$

— एलेकोस पापाडोपोलोस
स्रोत

क्या आप आगे विस्तार से बता सकते हैं कि ६ ए से ६ बी तक का संक्रमण वैध क्यों है?

— थियोडेन

@ थियोडेन ईक के बीच में। और मैं "eq" लिखता हूं सभी " " के लिए रखता है - और इसलिए भी। तो सभी कदम eq में। को संबंध में लिया जा सकता है । मैंने इस टिप्पणी को स्पष्टता के लिए पाठ में दोहराया।

(2)

$(2)$

(3)

$(3)$

(2)

$(2)$

θ

$\theta$

\hat{θ}

$\hat \theta$

3, 4, 5, 6

$3,4,5,6$

\hat{θ}

$\hat \theta$

— एलेकोस पापाडोपोलोस

@AlecosPapadopoulos नीचे आपके प्रमाण से यह पता लगता है कि आप शुरू में क्या कहते हैं - "अगर हमारे यादृच्छिक चर घातीय परिवार में वितरण का अनुसरण करते हैं, तो यदि हम एक नमूना लेते हैं और इसे पर्याप्त सांख्यिकीय में सम्मिलित करते हैं, तो हम सही अपेक्षित मूल्य प्राप्त करेंगे। सांख्यिकीय "सच है। मेरा मतलब है कि मैं हमेशा बस (2) के लिए ऐसा कर सकता हूं, इसकी जगह पर्याप्त स्टैट लगाकर परिणाम प्राप्त कर सकता हूं। मुझे यहां क्या समझ नहीं आ रहा है? मैं काफी नहीं मिलता।

— user10024395

@ user136266 आँकड़ों का सही अपेक्षित मूल्य , और गणना करने के लिए, किसी को डिज़ाइन अज्ञात, पैरामीटर द्वारा जानना आवश्यक है । तो क्या हम वास्तव में गणना कर सकते हैं जो इस अनुमान के तहत सांख्यिकीय का अपेक्षित मूल्य है कि हमारे बिंदु अनुमान ने सही मूल्य मारा है ।

6 a

$6a$

θ

$\theta$

6 b

$6b$

— एलेकोस पापाडोपोलोस

क्या आप बता सकते हैं कि हम eq में भेदभाव और एकीकरण के क्रम को क्यों बदल सकते हैं। (३) कृपया?

— मार्कस 777