Dirichlet वितरण में वास्तव में अल्फा क्या है?

मैं बायेसियन आंकड़ों के लिए काफी नया हूं और मैं एक सही सहसंबंध उपाय, स्पारसीसी पर आया हूं , जो कि एल्गोरिथ्म के बैकएंड में डिरिक्लेट प्रक्रिया का उपयोग करता है। मैं एल्गोरिथ्म चरण-दर-चरण के माध्यम से जाने की कोशिश कर रहा हूं कि वास्तव में क्या हो रहा है, लेकिन मुझे यकीन नहीं है कि alphaवेक्टर पैरामीटर एक डिरिक्लेट वितरण में क्या करता है और यह alphaवेक्टर पैरामीटर को कैसे सामान्य करता है ?

कार्यान्वयन का Pythonउपयोग कर रहा है NumPy: https://docs.scipy.org/doc/numpy/reference/generated/numpy.random.dirichlet.html

डॉक्स कहते हैं:

अल्फा: वितरण का पैरामीटर (आयाम k के नमूने के लिए k)।

मेरे सवाल:

alphasवितरण को कैसे प्रभावित करते हैं ?;
कैसे alphasसामान्य किया जा रहा है ?; तथा
जब alphasपूर्णांक नहीं होते हैं तो क्या होता है ?

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# Reproducibility
np.random.seed(0)

# Integer values for alphas
alphas = np.arange(10)
# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

# Dirichlet Distribution
dd = np.random.dirichlet(alphas) 
# array([ 0.        ,  0.0175113 ,  0.00224837,  0.1041491 ,  0.1264133 ,
#         0.06936311,  0.13086698,  0.15698674,  0.13608845,  0.25637266])

# Plot
ax = pd.Series(dd).plot()
ax.set_xlabel("alpha")
ax.set_ylabel("Dirichlet Draw")

distributions bayesian dirichlet-distribution

— O.rka
स्रोत

क्या आपको इस वितरण पर विकिपीडिया प्रविष्टि के साथ समस्या है ?

— शीआन

क्षमा याचना, मुझे नहीं लगता कि मैंने इसे सही ढंग से लिखा है। मैं समझता हूं कि संभाव्यता वितरण / पीडीएफ / पीएमएफ क्या है, लेकिन मैं इस पर उलझन में था कि सामान्यीकरण कैसे हो रहा है। विकिपीडिया से, ऐसा लगता है कि सामान्यीकरण गामा फ़ंक्शंस के माध्यम से । मैंने सुना है कि यह वितरण पर एक वितरण के रूप में संदर्भित है और विकिपीडिया पर eqns से यह देखना मुश्किल है।

\prod {x_{i}}^{α - 1}

${\prod}{x_i}^{\alpha - 1}$

— 20

यदि आप अल्फ़ाज़ को सामान्य करते हैं, तो आपको वितरण का मतलब मिलता है। यदि आप वितरण को सामान्य करते हैं, तो आप इसके समर्थन पर इसके अभिन्न अंग का बीमा 1 के बराबर करते हैं और यह इस प्रकार एक वैध संभाव्यता वितरण है।

— Eskapp 21

डिरिचलेट वितरण सिम्प्लेक्स पर वितरण है, इसलिए परिमित समर्थन वितरण पर वितरण है। यदि आप निरंतर वितरण पर वितरण का लक्ष्य रखते हैं, तो आपको डिरिचलेट प्रक्रिया को देखना चाहिए।

— शीआन

जवाबों:

Dirichlet वितरण बहुविविध प्रायिकता वितरण का वर्णन करता है चर , इस तरह के प्रत्येक कि और , कि एक सदिश द्वारा parametrized है पॉजिटिव-वैल्यूड पैरामीटर । पैरामीटर नहीं है $k\ge2$ $X_1,\dots,X_k$ $x_i \in (0,1)$ $\sum_{i=1}^N x_i = 1$ $\boldsymbol{\alpha} = (\alpha_1,\dots,\alpha_k)$ पूर्णांक होना चाहिए, उन्हें केवल सकारात्मक वास्तविक संख्या होने की आवश्यकता है। वे किसी भी तरह से "सामान्यीकृत" नहीं हैं, वे इस वितरण के पैरामीटर हैं।

डिरिचलेट वितरण बीटा आयामों के कई आयामों में एक सामान्यीकरण है , इसलिए आप बीटा वितरण के बारे में सीखकर शुरू कर सकते हैं। बीटा एक यादृच्छिक चर पैरामीटर्स और द्वारा परिचालित वितरण है । इसके बारे में अच्छा अंतर्ज्ञान आता है जैसा कि आपको याद है कि यह एक है संयुग्म पूर्व के लिए द्विपद बंटन और अगर हम एक बीटा मान पहले से parameterized और द्विपद बंटन की संभावना पैरामीटर के लिए , फिर का पिछला वितरण भी एक है द्वारा वितरित बीटा वितरण $X \in (0,1)$ $\alpha$ $\beta$ $\alpha$ $\beta$ $p$ $p$ $\alpha' = \alpha + \text{number of successes}$ और । तो आप सफलताओं और विफलताओं के pseudocounts (उन्हें पूर्णांक होने की आवश्यकता नहीं है) के रूप में और बारे में सोच सकते हैं (यह भी धागा जांचें )। $\beta' = \beta + \text{number of failures}$ $\alpha$ $\beta$

Dirichlet वितरण के मामले में, यह एक संयुग्मी पहले है के लिए बहुपद वितरण । यदि द्विपद वितरण के मामले में हम इसे कलश से बदलने के साथ सफेद और काले रंग की गेंदों को खींचने के संदर्भ में सोच सकते हैं, तो बहुराष्ट्रीय वितरण के मामले में हम प्रतिस्थापन के साथ ड्राइंग कर रहे हैं बॉल्स रंगों में दिखाई दे रहे हैं, जहां प्रत्येक रंग गेंदों को प्रायिकता साथ खींचा जा सकता है । Dirichlet वितरण प्रायिकताओं और लिए एक संयुग्मित है हर रंग की गेंदों के छद्म रूप में सोचा जा सकता है , जिन्हें एक प्राथमिकता माना जाता है। $N$ $k$ $p_1,\dots,p_k$ $p_1,\dots,p_k$ $\alpha_1,\dots,\alpha_k$ (लेकिन आपको इस तरह के तर्क के नुकसान के बारे में भी पढ़ना चाहिए )। Dirichlet-multinomial model में प्रत्येक श्रेणी में प्रेक्षित संख्याओं के साथ उन्हें योग करके प्राप्त होते हैं: बीटा-द्विपद मॉडल के मामले में इसी तरह के में । $\alpha_1,\dots,\alpha_k$ $\alpha_1+n_1,\dots,\alpha_k+n_k$

के उच्च मूल्य , का अधिक से अधिक "वजन" (याद है कि कुल में यह होना चाहिए और कुल "बड़े पैमाने पर" की अधिक से अधिक राशि में डाला गया है )। यदि सभी समान हैं, तो वितरण सममित है। यदि , तो इसे एंटी-वेट के रूप में माना जा सकता है जो को चरम सीमा की ओर धकेलता है , जबकि जब यह उच्च होता है, तो यह को कुछ केंद्रीय मूल्य (इस अर्थ में केंद्रीय) की ओर आकर्षित करता है कि सभी बिंदु इसके चारों ओर केंद्रित होते हैं, न कि चरम पर भावना है कि यह सममित रूप से केंद्रीय है)। यदि , तो अंक समान रूप से वितरित किए जाते हैं। $\alpha_i$ $X_i$ $x_1+\dots+x_k=1$ $\alpha_i$ $\alpha_i < 1$ $x_i$ $x_i$ $\alpha_1 = \dots = \alpha_k = 1$

यह नीचे दिए गए भूखंडों पर देखा जा सकता है, जहाँ आप ट्राइएरिएट डिरिचलेट डिस्ट्रीब्यूशन देख सकते हैं (दुर्भाग्यवश हम केवल तीन आयामों तक उचित प्लॉट्स का उत्पादन कर सकते हैं) (a) (b) , (सी) , (डी) । $\alpha_1 = \alpha_2 = \alpha_3 = 1$ $\alpha_1 = \alpha_2 = \alpha_3 = 10$ $\alpha_1 = 1, \alpha_2 = 10, \alpha_3 = 5$ $\alpha_1 = \alpha_2 = \alpha_3 = 0.2$

डिरिचलेट वितरण को कभी-कभी "वितरण पर वितरण" कहा जाता है , क्योंकि इसे स्वयं संभावनाओं के वितरण के रूप में सोचा जा सकता है। ध्यान दें कि चूंकि प्रत्येक और , तो संभावना के पहले और दूसरे स्वयंसिद्ध के अनुरूप हैं । तो आप डिरिचलेट वितरण को श्रेणीबद्ध या बहुपद जैसे वितरण द्वारा वर्णित असतत घटनाओं के लिए संभावनाओं के वितरण के रूप में उपयोग कर सकते हैं । यह नहीं है $x_i \in (0,1)$ $\sum_{i=1}^k x_i = 1$ $x_i$ यह सच है कि यह किसी भी वितरण पर एक वितरण है, उदाहरण के लिए यह निरंतर यादृच्छिक चर की संभावनाओं से संबंधित नहीं है, या यहां तक कि कुछ असतत भी हैं (उदाहरण के लिए एक पॉइसन वितरित यादृच्छिक चर मानों को मानने की संभावनाओं का वर्णन करता है जो किसी भी प्राकृतिक संख्या हैं, इसलिए उपयोग करने के लिए उनकी संभावनाओं पर डिरिचलेट वितरण, आपको अनंत संख्या में यादृच्छिक चर ) की आवश्यकता होगी। $k$

— टिम
स्रोत

अतुल्य स्पष्टीकरण

— O.rka

अस्वीकरण: मैंने पहले कभी इस वितरण के साथ काम नहीं किया। यह उत्तर इस विकिपीडिया लेख और मेरी व्याख्या पर आधारित है।

डिरिचलेट वितरण एक बहुभिन्नरूपी संभावना वितरण है जो बीटा वितरण के समान गुणों के साथ है।

पीडीएफ को इस प्रकार परिभाषित किया गया है:

{x_{1}, \dots, x_{K}} \sim \frac{1}{B (α)} \prod_{i = 1}^{K} x_{i}^{α_{i} - 1}

$\{x_1, \dots, x_K\} \sim\frac{1}{B(\boldsymbol{\alpha})}\prod_{i=1}^Kx_i^{\alpha_i - 1}$

साथ , और । $K \geq 2$ $x_i \in (0,1)$ $\sum_{i=1}^Kx_i = 1$

अगर हम बारीकी से संबंधित बीटा वितरण को देखें:

{x_{1}, x_{2} (= 1 - x_{1})} \sim \frac{1}{B (α, β)} x_{1}^{α - 1} x_{2}^{β - 1}

$\{x_1, x_2 (=1-x_1)\} \sim \frac{1}{B(\alpha,\beta)}x_1^{\alpha-1}x_2^{\beta-1}$

हम देख सकते हैं कि ये दो वितरण समान हैं यदि । तो चलिए पहले उस पर हमारी व्याख्या को आधार बनाते हैं और फिर को सामान्य करते हैं । $K=2$ $K>2$

बायेसियन आंकड़ों में, बीटा वितरण का उपयोग द्विपद मापदंडों के लिए एक संयुग्म के रूप में किया जाता है ( बीटा वितरण देखें )। पूर्व को कुछ पूर्व ज्ञान के रूप में परिभाषित किया जा सकता है और (या वितरण और )। कुछ द्विपद परीक्षण तो है, तो सफलताओं और : विफलताओं, पिछला वितरण तो के रूप में है इस प्रकार है और । (मैं इसे बाहर काम नहीं करूंगा, क्योंकि यह संभवतः बेयसियन आंकड़ों के साथ सीखने वाली पहली चीजों में से एक है)। $\alpha$ $\beta$ $\alpha_1$ $\alpha_2$ $A$ $B$ $\alpha_{1,pos} = \alpha_1 + A$ $\alpha_{2,pos}=\alpha_2 + B$

तो बीटा वितरण फिर और पर कुछ पीछे वितरण का प्रतिनिधित्व करता है , जिसे एक द्विपद वितरण में क्रमशः सफलताओं और विफलताओं की संभावना के रूप में व्याख्या किया जा सकता है। और आपके पास ( और ) जितना अधिक डेटा होगा, यह वितरण उतना ही कम होगा। $x_1$ $x_2 (=1-x_1)$ $A$ $B$

अब हम जानते हैं कि वितरण लिए कैसे काम करता है , हम इसे द्विपद के बजाय बहुराष्ट्रीय वितरण के लिए काम करने के लिए सामान्य कर सकते हैं। जिसका अर्थ है कि दो संभावित परिणामों (सफलता या विफलता) के बजाय, हम परिणामों के लिए अनुमति देंगे (देखें कि ? इन परिणामों में से प्रत्येक में प्रायिकता , जो संभाव्यता के रूप में 1 तक बैठता है। $K=2$ $K$ $K=2$ $K$ $x_i$

$\alpha_i$ तब बीटा वितरण में से पहले के रूप में और समान भूमिका लेता है और समान रूप से अद्यतन हो जाता है। $\alpha_1$ $\alpha_2$ $x_i$

तो अब अपने प्रश्नों के लिए:

alphasवितरण को कैसे प्रभावित करते हैं?

वितरण और प्रतिबंध से घिरा है । जो निर्धारित के कुछ हिस्सों आयामी अंतरिक्ष सबसे बड़े पैमाने पर मिलता है। आप इसे इस चित्र में देख सकते हैं (इसे यहां एम्बेड नहीं किया गया है क्योंकि मेरे पास चित्र नहीं है)। जितना अधिक डेटा पोस्टीरियर में होता है (उस व्याख्या का उपयोग करके) उच्च , तो जितना अधिक आप के मूल्य के होते हैं , या प्रत्येक परिणाम के लिए संभाव्यताएं। इसका मतलब है कि घनत्व अधिक केंद्रित होगा। $x_i \in (0,1)$ $\sum_{i=1}^Kx_i = 1$ $\alpha_i$ $K$ $\sum_{i=1}^K\alpha_i$ $x_i$

कैसे alphasसामान्य किया जा रहा है?

वितरण का सामान्यीकरण (सुनिश्चित करता है कि अभिन्न 1 बराबर है) शब्द से होकर जाता है : $B(\boldsymbol{\alpha})$

B (α) = \frac{\prod_{i = 1}^{K} Γ (α_{i})}{Γ (\sum_{i = 1}^{K} α_{i})}

$B(\boldsymbol{\alpha}) = \frac{\prod_{i=1}^K\Gamma(\alpha_i)}{\Gamma(\sum_{i=1}^K\alpha_i)}$

फिर से अगर हम के मामले को देखते हैं तो हम देख सकते हैं कि बीटा वितरण में सामान्यीकरण कारक समान है, जो निम्नलिखित का उपयोग करता है: $K=2$

B (α_{1}, α_{2}) = \frac{Γ (α_{1}) Γ (α_{2})}{Γ (α_{1} + α_{2})}

$B(\alpha_1, \alpha_2) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)}{\Gamma(\alpha_1+\alpha_2)}$

यह तक फैली हुई है

B (α) = \frac{Γ (α_{1}) Γ (α_{2}) \dots Γ (α_{K})}{Γ (α_{1} + α_{2} + \dots + α_{K})}

$B(\boldsymbol{\alpha}) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)\dots\Gamma(\alpha_K)}{\Gamma(\alpha_1+\alpha_2+\dots+\alpha_K)}$

क्या होता है जब अल्फ़ाज़ पूर्णांक नहीं होते हैं?

व्याख्या लिए परिवर्तित नहीं होती है , लेकिन जैसा कि आप पहले आई इमेज में देख सकते हैं , अगर वितरण का द्रव्यमान लिए सीमा के किनारों पर जमा हो जाता है । दूसरी ओर को एक पूर्णांक और होना चाहिए । $\alpha_i>1$ $\alpha_i < 1$ $x_i$ $K$ $K\geq2$

— JAD
स्रोत

इसके लिए धन्यवाद। आपकी व्याख्या सुपर उपयोगी थी। काश, मैं उन दोनों को सही मान सकता।

— 21.35 बजे O.rka