जब माध्य और विचरण ज्ञात होते हैं तो द्विभाजित सामान्य डेटा के सहसंयोजक का अधिकतम संभावना अनुमान क्या है?

मान लें कि हमारे पास एक द्विभाजित सामान्य वितरण से एक यादृच्छिक नमूना है जिसमें शून्य और साधन के रूप में शून्य हैं, इसलिए एकमात्र अज्ञात पैरामीटर सहसंयोजक है। कोविर्सियस का MLE क्या है? मुझे पता है कि यह जैसा कुछ होना चाहिए लेकिन हम यह कैसे जानते हैं? $\frac{1}{n} \sum_{j=1}^{n}x_j y_j$

— स्टेसी
स्रोत

एक स्टार्टर के रूप में, क्या आपको नहीं लगता कि और साथ साधनों का अनुमान लगाना थोड़ा सा चाचा है जब वास्तव में हम जानते हैं कि वे 0 और 0 हैं?

\bar{x}

$\bar{x}$

\bar{y}

$\bar{y}$

— वोल्फगैंग

बहुत चाचा ने, इसे ठीक किया। फिर भी यह नहीं देखते कि यह आसानी से कैसे चल सकता है। यह नमूना प्रसरण के अनुरूप है, लेकिन यह MLE क्यों है (जब तक कि यह नहीं है और मैंने एक और गलती की है)

— स्टेसी

क्या आपने

हटा दिया है

? इस सूत्र को लेने का मतलब यह नहीं है कि आप

और

को साधन का अनुमान

।

\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)(y_i - \bar y)$

\bar{x}

$\bar x$

\bar{y}

$\bar y$

— स्टीफन लॉरेंट

@ StéphaneLaurent हां, शुरुआती पोस्ट में, सूत्र दिया गया था जैसा आपने लिखा है।

— वोल्फगैंग

सहसंबंध गुणांक के लिए अनुमानक (जो एक सामान्य मानक के मामले में सहसंयोजक के बराबर होता है)

\tilde{r} = \frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}

$\tilde r = \frac 1n\sum_{i=1}^nx_iy_i$

विधि का पल-पल अनुमानक, नमूना सहसंयोजक है। देखते हैं अगर यह अधिकतम संभावना के साथ मेल खाता करते । $\hat \rho$

सहसंबंध गुणांक साथ एक द्विभाजित मानक सामान्य का संयुक्त घनत्व है $\rho$

f (x, y) = \frac{1}{2 π \sqrt{1 - ρ^{2}}} \exp {- \frac{x^{2} + y^{2} - 2 ρ x y}{2 (1 - ρ^{2})}}

$f(x,y) = \frac{1}{2 \pi \sqrt{1-\rho^2}} \exp\left\{-\frac{x^2 +y^2 -2\rho xy}{2(1-\rho^2)}\right\}$

और इसलिए आकार के एक iid नमूने की लॉग-संभावना है $n$

\ln L = - n \ln (2 π) - \frac{n}{2} \ln (1 - ρ^{2}) - \frac{1}{2 (1 - ρ^{2})} \sum_{i = 1}^{n} (x_{i}^{2} + y_{i}^{2} - 2 ρ x_{i} y_{i})

$\ln L = -n\ln(2\pi) -\frac n2\ln(1-\rho^2) - \frac 1{2(1-\rho^2)}\sum_{i=1}^n(x_i^2 +y_i^2 -2\rho x_iy_i)$

(यहाँ आईआईडी धारणा दो आयामी आबादी के पाठ्यक्रम के प्रत्येक ड्रा के संबंध में है)

सम्मान के साथ व्युत्पन्न ले रहा है करने के लिए और यह शून्य के बराबर की स्थापना एक 3 डी-डिग्री देता है बहुपद में : $\rho$ $\rho$

\hat{ρ} : n {\hat{ρ}}^{3} - (\sum_{i = 1}^{n} x_{i} y_{i}) {\hat{ρ}}^{2} - (1 - \frac{1}{n} \sum_{i = 1}^{n} (x_{i}^{2} + y_{i}^{2})) n \hat{ρ} - \sum_{i = 1}^{n} x_{i} y_{i} = 0

$\hat \rho: n\hat \rho^3 -\left(\sum_{i=1}^nx_iy_i\right)\hat\rho^2 -\left(1- \frac 1n\sum_{i=1}^n(x_i^2 +y_i^2) \right)n\hat \rho - \sum_{i=1}^nx_iy_i =0$

यदि गणना सही हो तो सत्यापित किया जा सकता है कि यदि कोई सही गुणांक -it पर मूल्यांकन किए गए व्युत्पन्न के अपेक्षित मूल्य को शून्य के बराबर ले जाएगा। $\rho$

कॉम्पैक्ट, लिखने के लिए , जो का योग है नमूना के प्रसरण और । यदि हम 1-व्युत्पन्न अभिव्यक्ति को से विभाजित करते हैं तो एमओएम अनुमानक प्रकट होगा, विशिष्ट $(1/n)\sum_{i=1}^n(x_i^2 +y_i^2) = (1/n)S_2$ $X$ $Y$ $n$

\hat{ρ} : {\hat{ρ}}^{3} - \tilde{r} {\hat{ρ}}^{2} + [(1 / n) S_{2} - 1] \hat{ρ} - \tilde{r} = 0

$\hat \rho: \hat \rho^3 -\tilde r \hat \rho^2 + \big[(1/n)S_2-1\big]\hat \rho -\tilde r=0$

\Rightarrow \hat{ρ} ({\hat{ρ}}^{2} - \tilde{r} \hat{ρ} + [(1 / n) S_{2} - 1]) = \tilde{r}

$\Rightarrow \hat \rho\Big(\hat \rho^2 -\tilde r \hat \rho + \big[(1/n)S_2-1\big] \Big) = \tilde r$

बीजगणित कर रही है, यह समाप्त करने के लिए है कि हम प्राप्त करेंगे मुश्किल नहीं है केवल और केवल तभी, अगर , यानी केवल अगर यह इतना है कि नमूना की राशि प्रसरण राशि के बराबर होती है सच्चे रूपांतरों का। तो सामान्य तौर पर $\hat \rho = \tilde r$ $(1/n)S_2 =2$

\hat{ρ} \neq \tilde{r}

$\hat \rho \neq \tilde r$

तो यहाँ क्या होता है? कोई समझदार इसे समझाएगा, फिलहाल, आइए अनुकरण की कोशिश करें: मैंने सहसंबंध गुणांक साथ दो मानक मानदंडों का एक आईआईडी नमूना तैयार किया । नमूने का आकार । नमूना मूल्य थे $\rho=0.6$ $n=1.000$

\sum_{i = 1}^{n} x_{i} y_{i} = 522.05, S_{2} = 1913.28

$\sum_{i=1}^nx_iy_i = 522.05,\;\;S_2 = 1913.28$

विधि का पल-पल का अनुमानक हमें देता है

\tilde{r} = \frac{522.05}{1000} = 0.522

$\tilde r = \frac {522.05}{1000} = 0.522$

लॉग-लाइक के साथ क्या होता है? नेत्रहीन, हमारे पास है

यहां छवि विवरण दर्ज करें

संख्यात्मक रूप से, हमारे पास है

\begin{array}{rrr} ρ & 1st deriv & lnL \\ 0.5 & - 70.92 & - 783.65 \\ 0.51 & - 59.41 & - 782.47 \\ 0.52 & - 47.7 & - 781.48 \\ 0.53 & - 35.78 & - 780.68 \\ 0.54 & - 23.64 & - 780.1 \\ 0.55 & - 11.29 & - 779.75 \\ 0.56 & 1.29 & - 779.64 \\ 0.57 & 14.1 & - 779.81 \\ 0.58 & 27.15 & - 780.27 \\ 0.59 & 40.44 & - 781.05 \\ 0.6 & 53.98 & - 782.18 \end{array}

$\begin{array}{| r | r | r |} \hline \hline ρ&\text{1st deriv}&\text{lnL}\\ \hline 0.5&-70.92&-783.65\\ 0.51&-59.41&-782.47\\ 0.52&-47.7&-781.48\\ 0.53&-35.78&-780.68\\ 0.54&-23.64&-780.1\\ 0.55&-11.29&-779.75\\ 0.56&1.29&-779.64\\ 0.57&14.1&-779.81\\ 0.58&27.15&-780.27\\ 0.59&40.44&-781.05\\ 0.6&53.98&-782.18\\ \hline \end{array}$

और हम देखते हैं लॉग-संभावना अधिकतम से पहले एक बालक है कि जहां भी 1 व्युत्पन्न शून्य हो जाता है । के मूल्यों के लिए कोई आश्चर्य नहीं दिखाया गया है। इसके अलावा, 1 व्युत्पन्न की कोई दूसरी जड़ नहीं है। $\rho=0.56$ $(\hat \rho = 0.558985)$ $\rho$

तो यह सिमुलेशन परिणाम के साथ कहता है कि अधिकतम संभावना अनुमानक क्षण आकलनकर्ता की विधि के बराबर नहीं है (जो कि दो आरवी के बीच नमूना सहसंयोजक है)।

लेकिन ऐसा प्रतीत होता है कि "हर कोई" कह रहा है कि यह होना चाहिए ... इसलिए किसी को स्पष्टीकरण के साथ आना चाहिए।

अपडेट करें

एक संदर्भ जो साबित करता है कि MLE मेथड-ऑफ-मोमेंट्स अनुमानक है: एंडरसन, TW, और ऑल्किन, आई (1985)। एक बहुभिन्नरूपी सामान्य वितरण के मापदंडों का अधिकतम-संभावना अनुमान। रेखीय बीजगणित और इसके अनुप्रयोग, 70, 147-171।
क्या यह मायने रखता है कि यहां सभी साधन और संस्करण अलग-अलग हैं और निश्चित नहीं हैं?

... शायद हां, क्योंकि @ पुरुष की टिप्पणी में एक और (अब हटाए गए) उत्तर का कहना है कि, दिए गए माध्य और विचरण के मापदंडों के साथ, बाइवरिएट सामान्य घुमावदार घातीय परिवार का सदस्य बन जाता है (और इसलिए कुछ परिणाम और गुण बदलते हैं) ... यह एकमात्र तरीका प्रतीत होता है जो दो परिणामों को समेट सकता है।

— एलेकोस पापाडोपोलोस
स्रोत

यह थोड़ा आश्चर्य की बात है, लेकिन कुछ प्रतिबिंब के बाद इसकी उम्मीद की जानी चाहिए। समस्या प्रतिगमन गुणांक अनुमान लगाने जैसे rephrased जा सकता है

मॉडल में

जहां

ρ

$\rho$

Y = ρ X + ϵ

$Y = \rho X + \epsilon$

। यह एक रैखिक मॉडल नहीं है, इसलिए MLE को एक साधारण डॉट उत्पाद होने की उम्मीद करने का कोई कारण नहीं है। यही तर्क से पता चलता है (मुझे लगता है कि!) है कि यदि हम केवल पता

तो MLE है

, और

अगर हम केवल पता

। अगर हमें पता नहीं है, तो हमें आपका MOM आकलनकर्ता मिलेगा।

ϵ \sim N (0, {\sqrt{1 - ρ^{2}}}^{2})

$\epsilon \sim \mathcal N(0, \sqrt{1 - \rho^2}^2)$

Var (X)

$\mbox{Var}(X)$

x^{'} y / x^{'} x

$x'y / x'x$

x^{'} y / y^{'} y

$x'y / y'y$

Var (Y)

$\mbox{Var}(Y)$

— लड़का

@ गुई: बहुत दिलचस्प। मुझे लगता है कि इन तर्कों को, अगर थोड़ा विस्तारित किया जाए, तो पूरी तरह से एक अलग उत्तर के रूप में पोस्ट किए जाने के लायक है!

— अमीबा

ϵ^{2} = (y - ρ x)^{2} = y^{2} - 2 ρ x y + ρ^{2} x^{2}

$\epsilon^2=(y-\rho x)^2 = y^2 -2\rho xy + \rho^2 x^2$

ρ^{2}

$\rho^2$

x^{2}

$x^2$

\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)(y_i - \bar y)$

n = 2

$n=2$

y_{1} = y_{2}

$y_1=y_2$

0

$0$

x^{2} + y^{2} - 2 ρ x y = (1 - ρ^{2}) x^{2} + (y - ρ x)^{2}

$x^2 + y^2 - 2\rho x y = (1 - \rho^2) x^2 + (y - \rho x)^2$

(1 - ρ^{2}) x^{2}

$(1 - \rho^2) x^2$

(1 - ρ^{2})

$(1 - \rho^2)$

(y - ρ x)^{2} / (1 - ρ^{2})

$(y - \rho x)^2 / (1 - \rho^2)$

X \sim N (μ_{X}, σ_{X}^{2})

$X \sim N(\mu_X, \sigma^2_X)$

[Y | X] \sim N (μ_{Y} + ρ_{X} \frac{σ_{Y}}{σ_{X}} (X - μ_{X}), σ_{Y | X}^{2} {\sqrt{1 - ρ^{2}}}^{2})

$[Y|X] \sim N(\mu_Y + \rho_X \frac{\sigma_Y}{\sigma_X} (X - \mu_X), \sigma^2_{Y|X} \sqrt{1 - \rho^2}^2)$

σ_{Y} / σ_{X}

$\sigma_Y/\sigma_X$

$\mu_X = \mu_Y = 0$ $\sigma_X = \sigma_Y = 1$ $n$

L (ρ | X, Y) = \frac{1}{(2 π [1 - ρ^{2}])^{n / 2}} \exp [- \frac{1}{2 (1 - ρ^{2})} (X^{'} X - 2 ρ X^{'} Y + Y^{'} Y)] .

$L(\rho\; |\; X, Y) = \frac{1}{(2\pi[1-\rho^2])^{n/2}}\exp \left[-\frac{1}{2(1-\rho^2)}(X'X - 2\rho X'Y + Y'Y)\right].$

$\rho$ $\hat{\rho}$

— डेनिस
स्रोत