घातीय परिवार में सभी वितरण शामिल क्यों नहीं हैं?

मैं किताब पढ़ रहा हूं:

बिशप, पैटर्न मान्यता और मशीन लर्निंग (2006)

जो फार्म के वितरण के रूप में घातीय परिवार को परिभाषित करता है (Eq। 2.194):

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

लेकिन मुझे $h(\mathbf x)$ या पर कोई प्रतिबंध नहीं दिखता है $\mathbf u(\mathbf x)$ । क्या इसका मतलब यह नहीं है कि और उपयुक्त पसंद द्वारा किसी भी वितरण को इस रूप में रखा जा सकता है, (वास्तव में उनमें से केवल एक को ठीक से चुना जाना है!)। तो कैसे घातीय परिवार में सभी संभावना वितरण शामिल नहीं हैं ? मुझे किसकी याद आ रही है? $h(\mathbf x)$ $\mathbf u(\mathbf x)$

अंत में, एक और विशेष सवाल जो मुझे दिलचस्पी है वह यह है: क्या घातीय परिवार में बर्नौली वितरण है ? विकिपीडिया यह दावा करता है, लेकिन जब से मैं स्पष्ट रूप से यहाँ कुछ के बारे में उलझन में हूँ, मैं देखना चाहूंगा कि क्यों।

mathematical-statistics exponential-family

— becko
स्रोत

इस प्रमाण के लिए कि बर्नौली वितरण घातीय परिवार में है, इस तथ्य का उपयोग करके प्रयास करें कि और देखें कि आपको कहाँ मिलता है

f (x; μ) = \exp (\log (f (x; μ)))

$f(x; \mu) = \exp (\log( f(x; \mu)))$

— jul

बस स्पष्ट करने के लिए, क्या आप पूछ रहे हैं कि क्या किसी भी वितरण को इस रूप में लिखा जा सकता है, या वितरण के किसी भी परिवार को इस रूप में लिखा जा सकता है? आपको बाद के प्रश्न के उत्तर मिल गए हैं।

— ओवेन

@ ओवेन, मैं अब देख रहा हूं कि यह महत्वपूर्ण बिंदु है। यद्यपि किसी भी वितरण को इस रूप में लिखा जा सकता है ( उचित रूप से सेट करके , और ), इसका अर्थ यह नहीं है कि किसी भी परिवार को इस रूप में लिखा जा सकता है।

h (x)

$h(\mathbf x)$

g = 1, u = 0

$g=1,\mathbf u= 0$

— बेको जू

@becko, यह बिल्कुल सही है। पाठ में वाक्यांश, "घातीय परिवार", कुछ भ्रामक है, क्योंकि केवल एक घातीय परिवार नहीं है; इसके बजाय, की प्रत्येक पसंद एक परिवार को जन्म देती है। इसके बजाय कई लेखक "एक घातीय परिवार" कहते हैं, जिससे यह अधिक स्पष्ट हो जाता है; उदाहरण के लिए, विकिपीडिया पृष्ठ देखें: en.wikipedia.org/wiki/Exponential_family

(h, g, u)

$(h, g, \mathbf u)$

— Brent Kerby

@becko मुझे लगता है कि आपका तर्क बताता है कि कोई भी वितरण एक घातीय परिवार का एक सदस्य हो सकता है , लेकिन यह नहीं कि वितरण का कोई भी परिवार एक घातीय परिवार हो सकता है।

— मैथ्यू ड्र्यू

जवाबों:

खैर, अपनी परिभाषा में से एक परिणाम:

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$ वह यह है कि समर्थन पैरामीटर द्वारा अनुक्रमित वितरण परिवार के

η

$\eta$ नहीं है पर निर्भर

η

$\eta$ । (प्रायिकता वितरण का समर्थन है (बंद होना) संभाव्यता एक के साथ कम से कम सेट, या दूसरे शब्दों में, जहाँ वितरण रहता है।) तो यह एक वितरण परिवार के प्रतिरूप को पैरामीटर के आधार पर समर्थन के साथ देने के लिए पर्याप्त है, सबसे आसान उदाहरण वर्दी वितरण के निम्न परिवार हैं:

U (0, η), η > 0

$\text{U}(0, \eta), \quad \eta > 0$ । (@Chaconne द्वारा दूसरा उत्तर एक अधिक परिष्कृत प्रतिधारण देता है)।

एक और असंबंधित कारण यह है कि सभी वितरण घातीय परिवार नहीं हैं, यह है कि एक घातीय परिवार वितरण में हमेशा एक विद्यमान गति उत्पन्न करने वाला कार्य होता है। सभी वितरणों में एक mgf नहीं होता है।

— kjetil b halvorsen
स्रोत

f (x; μ, σ) \propto \exp (- | x - μ | / σ) .

$f(x; \mu, \sigma) \propto \exp \left(-| x - \mu | / \sigma \right).$

$\mu = 0$ $|x - \mu|$ $\mu$ $x$

घातांक परिवार में बड़े पैमाने पर अच्छे नाम वाले वितरण शामिल होते हैं जिनसे हम आम तौर पर मुठभेड़ करते हैं, इसलिए पहली बार में ऐसा लग सकता है कि इसमें ब्याज की सब कुछ है, लेकिन यह किसी भी तरह से संपूर्ण नहीं है।

— जेएलडी
स्रोत