क्या MLE को iid डेटा की आवश्यकता है? या सिर्फ स्वतंत्र पैरामीटर?

16

अधिकतम संभावना अनुमान (MLE) का उपयोग करते हुए मापदंडों का अनुमान लगाना, संभावना फ़ंक्शन का मूल्यांकन करना शामिल है, जो पैरामीटर स्पेस (θ) पर मान (x) के लिए नमूना वितरण की संभावना को मैप करता है (θ) एक वितरण परिवार (P (X = x) | ) right के संभावित मूल्यों पर ध्यान दें (ध्यान दें: क्या मैं इस पर सही हूं?)। सभी उदाहरण मैंने पी (एक्स = एक्स | ating) की गणना में एफ (एक्स) के उत्पाद को लेते हुए देखा है जहां एफ स्थानीय के साथ वितरण है। ) और X का मान नमूना (एक सदिश) है।

चूंकि हम सिर्फ डेटा को गुणा कर रहे हैं, क्या यह पालन करता है कि डेटा स्वतंत्र हो? उदाहरण के लिए, हम MLE का उपयोग समय-श्रृंखला डेटा को फिट करने के लिए नहीं कर सकते हैं? या क्या मापदंडों को स्वतंत्र होना चाहिए?

maximum-likelihood

— फेलिक्स
स्रोत

14

संभावना फ़ंक्शन को मॉडल पैरामीटर एक फ़ंक्शन के रूप में एक घटना (डेटा सेट ) की संभावना के रूप में परिभाषित किया गया है $E$ ${\bf x}$ $\theta$

L (θ; x) \propto P (Event E; θ) = P (observing x; θ) .

${\mathcal L}(\theta;{\bf x})\propto {\mathbb P}(\text{Event }E;\theta)= {\mathbb P}(\text{observing } {\bf x};\theta).$

इसलिए, टिप्पणियों की स्वतंत्रता की कोई धारणा नहीं है। शास्त्रीय दृष्टिकोण में मापदंडों की स्वतंत्रता के लिए कोई परिभाषा नहीं है क्योंकि वे यादृच्छिक चर नहीं हैं; कुछ संबंधित अवधारणाएं पहचान , पैरामीटर ऑर्थोगोनलिटी , और अधिकतम संभावना अनुमानकों की स्वतंत्रता (जो यादृच्छिक परिवर्तनशील हैं) हो सकती हैं।

कुछ उदाहरण,

(1)। असतत मामला । ${\bf x}=(x_1,...,x_n)$ के साथ (स्वतंत्र) असतत टिप्पणियों का एक नमूना है ${\mathbb P}(\text{observing } x_j ; \theta)>0$ , तो

L (θ; x) \propto \prod_{j = 1}^{n} P (observing x_{j}; θ) .

${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n{\mathbb P}(\text{observing } x_j ; \theta).$

विशेष रूप से, अगर , के साथ जाना जाता है, हम चाहते हैं कि राशि $x_j\sim \text{Binomial}(N,\theta)$ $N$

L (θ; x) \propto \prod_{j = 1}^{n} θ^{x_{j}} (1 - θ)^{N - x_{j}} .

${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n \theta^{x_j}(1-\theta)^{N-x_j}.$

(2)। निरंतर सन्निकटन । चलो एक सतत यादृच्छिक चर से एक नमूना हो , वितरण के साथ और घनत्व , माप त्रुटि के साथ , इस है, तो आप सेट का निरीक्षण । फिर ${\bf x}=(x_1,...,x_n)$ $X$ $F$ $f$ $\epsilon$ $(x_j-\epsilon,x_j+\epsilon)$

\begin{array}{rcl} L (θ; x) \propto \prod_{j = 1}^{n} P [observing (x_{j} - ϵ, x_{j} + ϵ); θ] = \prod_{j = 1}^{n} [F (x_{j} + ϵ; θ) - F (x_{j} - ϵ; θ)] \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n {\mathbb P}[\text{observing } (x_j-\epsilon,x_j+\epsilon);\theta] = \prod_{j=1}^n[F(x_j+\epsilon;\theta)-F(x_j-\epsilon;\theta)] \end{eqnarray*}$

जब छोटा है, इस से (माध्य मूल्य प्रमेय का प्रयोग करके) अनुमान लगाया जा सकता $\epsilon$

\begin{array}{rcl} L (θ; x) \propto \prod_{j = 1}^{n} f (x_{j}; θ) \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n f(x_j;\theta) \end{eqnarray*}$

सामान्य मामले के साथ एक उदाहरण के लिए, इस पर एक नज़र डालें ।

(3)। आश्रित और मार्कोव मॉडल । मान लीजिए कि टिप्पणियों संभवतः निर्भर है और जाने का एक सेट है के संयुक्त घनत्व हो , तो ${\bf x}=(x_1,...,x_n)$ $f$ ${\bf x}$

\begin{array}{rcl} L (θ; x) \propto f (x; θ) . \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta). \end{eqnarray*}$

यदि अतिरिक्त रूप से मार्कोव संपत्ति संतुष्ट है, तो

\begin{array}{rcl} L (θ; x) \propto f (x; θ) = f (x_{1}; θ) \prod_{j = 1}^{n - 1} f (x_{j + 1} | x_{j}; θ) . \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta) = f(x_1;\theta)\prod_{j=1}^{n-1} f(x_{j+1} \vert x_j ;\theta). \end{eqnarray*}$

इस पर भी गौर करें ।

— समुदाय
स्रोत

3

आप एक उत्पाद के रूप में संभावना फ़ंक्शन लिखते हैं, आप संक्षेप में टिप्पणियों के बीच एक निर्भरता संरचना मान रहे हैं । इसलिए MLE के लिए प्रत्येक व्यक्ति के परिणामों पर निर्भरता पर प्रत्येक व्यक्ति के परिणाम और (b) एक के वितरण पर दो मान्यताओं (ए) की आवश्यकता होती है।

10

(+1) बहुत अच्छा सवाल।

मामूली बात, MLE अधिकतम के लिए खड़ा है संभावना अनुमान (एकाधिक नहीं), जिसका अर्थ है कि आप केवल संभावना को अधिकतम करते हैं। यह निर्दिष्ट नहीं करता है कि आईआईडी नमूने द्वारा संभावना का उत्पादन किया जाना है।

यदि नमूने की निर्भरता सांख्यिकीय मॉडल में लिखी जा सकती है, तो आप केवल तदनुसार संभावना लिखते हैं और इसे हमेशा की तरह अधिकतम करते हैं।

जब आप निर्भरता नहीं मानते हैं, तो ध्यान देने योग्य एक मामला बहुभिन्नरूपी गाऊसी नमूना (उदाहरण के लिए समय श्रृंखला विश्लेषण) में है। दो गाऊसी चर के बीच की निर्भरता को उनके सहसंयोजक शब्द द्वारा प्रतिरूपित किया जा सकता है, जिसे आप संभावना की दृष्टि से देखते हैं।

एक सरलीकृत उदाहरण देने के लिए, मान लें कि आप समान माध्य और विचरण के साथ सहसंबद्ध गाऊसी चर से आकार का एक नमूना बनाते हैं। आप के रूप में संभावना लिखेंगे $2$

\frac{1}{2 π σ^{2} \sqrt{1 - ρ^{2}}} \exp (- \frac{z}{2 σ^{2} (1 - ρ^{2})}),

$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$

कहाँ है $z$

z = (x_{1} - μ)^{2} - 2 ρ (x_{1} - μ) (x_{2} - μ) + (x_{2} - μ)^{2} .

$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$

यह व्यक्तिगत संभावना का उत्पाद नहीं है। फिर भी, आप पैरामीटर के साथ इस को अधिकतम होगा उनके MLE मिलता है। $(\mu, \sigma, \rho)$

— gui11aume
स्रोत

2

ये अच्छे उत्तर और उदाहरण हैं। केवल एक चीज जो मैं इसे सरल शब्दों में देखूंगा, वह यह है कि संभावना अनुमान के लिए केवल यह आवश्यक है कि कुछ अज्ञात मापदंडों के संदर्भ में डेटा की पीढ़ी के लिए एक मॉडल को कार्यात्मक रूप में वर्णित किया जाए।

— माइकल आर। चर्निक

(+1) बिलकुल सच! क्या आपके पास मॉडल का एक उदाहरण है जो उन शब्दों में निर्दिष्ट नहीं किया जा सकता है?

— gui11aume

@gu11aume I think you are referring to my remark. I would say that I was not giving a direct answer to the question. The answwer to the question is yes because there are examples that can be shown where the likelihood function can be expressed when the data are genersted by dependent random variables.

— Michael R. Chernick

2

Examples where this cannot be done would be where the data are given without any description of the data generating mechanism or the model is not presented in a parametric form such as when you are given two iid data sets and are asked to test whether they come from the same distribution where you only specify that the distributions are absolutely continuous.

— Michael R. Chernick

4

Of course, Gaussian ARMA models possess a likelihood, as their covariance function can be derived explicitly. This is basically an extension of gui11ame's answer to more than 2 observations. Minimal googling produces papers like this one where the likelihood is given in the general form.

Another, to an extent, more intriguing, class of examples is given by multilevel random effect models. If you have data of the form

y_{i j} = x_{i j}^{'} β + u_{i} + ϵ_{i j},

$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$ where indices

j

$j$ are nested in

i

$i$ (think of students

j

$j$ in classrooms

i

$i$ , say, for a classic application of multilevel models), then, assuming

ϵ_{i j} ⊥ u_{i}

$\epsilon_{ij} \perp u_i$ , the likelihood is

\ln L \sim \sum_{i} \ln \int \prod_{j} f (y_{i j} | β, u_{i}) d F (u_{i})

$\ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i)$ and is a sum over the likelihood contributions defined at the level of clusters, not individual observations. (Of course, in the Gaussian case, you can push the integrals around to produce an analytic ANOVA-like solution. However, if you have say a logit model for your response

y_{i j}

$y_{ij}$ , then there is no way out of numerical integration.)

— StasK
स्रोत

2

Stask and @gui11aume, these three answers are nice but I think they miss a point: what about the consistency of the MLE for dependent data ?

— Stéphane Laurent