अधिकतम वितरण की संभावना के लिए कौन से वितरण बंद-रूप समाधान हैं?

21

स्वतंत्र टिप्पणियों के एक नमूने से मापदंडों के अधिकतम संभावना अनुमानों के लिए कौन से वितरण बंद-बंद समाधान हैं?

distributions mathematical-statistics maximum-likelihood

25

सामान्यता के किसी भी प्रशंसनीय नुकसान के बिना हम यह मान सकते हैं कि किसी भी अवलोकन ( टिप्पणियों में से) के लिए संभाव्यता घनत्व (या द्रव्यमान) कड़ाई से सकारात्मक है, जिससे हम इसे एक घातांक के रूप में लिख सकें। $f(x_i)$ $x_i$ $n$

f (x_{i}) = \exp (g (x_{i}, θ))

$f(x_i) = \exp{(g(x_i,\theta))}$

एक पैरामीटर के वेक्टर के लिए । $\theta = (\theta_j)$

लॉग लाइबिलिटी फ़ंक्शन के ग्रैडिएंट को शून्य से बराबर करना (जो कि संभावना के स्थिर बिंदुओं को ढूंढता है, जिसके बीच सभी आंतरिक वैश्विक मैक्सिमा होंगे यदि कोई मौजूद है) फॉर्म के समीकरणों का एक सेट देता है

\sum_{i} \frac{d g (x_{i}, θ)}{d θ_{j}} = 0,

$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$

प्रत्येक लिए एक । इनमें से किसी भी एक के लिए तैयार समाधान करने के लिए, हम अलग करने के लिए सक्षम होने के लिए चाहते हैं से मामले शर्तों । (इस प्रमुख विचार से सब कुछ बहता है, गणितीय सिद्धांत के सिद्धांत से प्रेरित है : जितना संभव हो उतना कम काम करें, कंप्यूटिंग से पहले आगे बढ़ें। पहले कठिन समस्याओं के आसान संस्करणों से निपटें।) ऐसा करने का सबसे सामान्य तरीका समीकरणों को लेना है। फार्म $j$ $x_i$ $\theta$

\sum_{i} (η_{j} (θ) τ_{j} (x_{i}) - α_{j} (θ)) = η_{j} (θ) \sum_{i} τ_{j} (x_{i}) - n α_{j} (θ)

$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$

जाना जाता कार्यों के लिए , , और , तो के लिए समाधान एक साथ समीकरण को हल करके प्राप्त किया जाता $\eta_j$ $\tau_j$ $\alpha_j$

\frac{n α_{j} (θ)}{η_{j} (θ)} = \sum_{i} τ_{j} (x_{i})

$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$

के लिए । सामान्य तौर पर इन्हें हल करना मुश्किल होगा, लेकिन के मान प्रदान करें $\theta$ के बारे में पूरी जानकारी देने केइस सदिश, हम बस इस्तेमाल कर सकते हैंके स्थान परही (जिससे कुछ हद तक एक "बंद फार्म" समाधान के विचार सामान्यीकरण है, लेकिन एक उच्च उत्पादक तरीके से)। ऐसे मामले में,पैदावार केसंबंध में एकीकरण $\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$ $\theta$ $\theta$ $\theta_j$

g (x, θ) = τ_{j} (x) \int^{θ} η_{j} (θ) d θ_{j} - \int^{θ} α_{j} (θ) d θ_{j} + B (x, θ_{j}^{'})

$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$

(जहां के सभी घटकों के लिए खड़ा है को छोड़कर )। क्योंकि बाएं हाथ की ओर से कार्यात्मक रूप से स्वतंत्र है , हम होना चाहिए कि कुछ तय समारोह के लिए ; कि को पर निर्भर नहीं होना चाहिए ; और कुछ समारोह के डेरिवेटिव हैं और कर रहे हैं कुछ अन्य समारोह के डेरिवेटिव $\theta_j'$ $\theta$ $\theta_j$ $\theta_j$ $\tau_j(x)=T(x)$ $T$ $B$ $\theta$ $\eta_j$ $H(\theta)$ $\alpha_j$ , दोनों उनमें से डेटा के कार्यात्मक स्वतंत्र। जहां से $A(\theta)$

g (x, θ) = H (θ) T (x) - A (θ) + B (x) .

$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$

इस रूप में लिखी जाने वाली घनत्व प्रसिद्ध कोपमैन-पिटमैन-डॉर्मोइस , या घातीय , परिवार बनाते हैं । इसमें महत्वपूर्ण पैरामीट्रिक परिवार शामिल हैं, दोनों निरंतर और असतत हैं, जिनमें गामा, सामान्य, ची-चुकता, पॉइसन, मल्टीमोनियल और कई अन्य शामिल हैं ।

— व्हीबर
स्रोत

और जिनके पास बंद फॉर्म नहीं हैं, हम ईएम एल्गोरिथम का उपयोग कर सकते हैं। उदाहरण के लिए, शून्य-फुलाया हुआ पॉइसन मॉडेल पर विचार करें: आंकड़े

— डेमियन

0

मुझे नहीं पता कि क्या मैं उन सभी को सूचीबद्ध कर सकता हूं। घातीय, सामान्य और द्विपद मन में आते हैं और वे सभी घातीय परिवारों के वर्ग में आते हैं। घातांक परिवार के पास प्रतिपादक में पर्याप्त संख्या है और मील अक्सर इस पर्याप्त आंकड़े का एक अच्छा कार्य है।

— माइकल आर
स्रोत

8

यह प्रश्न अविश्वसनीय रूप से व्यापक है, लेकिन ऐसा प्रतीत होता है कि ओपी यह पूछ सकता है कि एक वितरण की विशेषता क्या है जो एक विस्तृत सूची के लिए पूछने के बजाय MLE के लिए एक बंद-रूप समाधान है । किसी भी मामले में, एक विस्तृत सूची भी संभव नहीं है।

— मैक्रो

2

[\log x \log (1 - x)]^{T}

$[\log x\; \log (1-x)]^{\rm T}$

a

$a$

b

$b$

उस ओर इशारा करने के लिए थैंक्स नील। मुझे लगता है कि सभी घातीय पारिवारिक वितरणों ने फॉर्म समाधान बंद नहीं किए हैं।

— माइकल आर। चेरिक जूल