पैमाने के मापदंडों के लिए कमजोर सूचनात्मक पूर्व वितरण

Question

जब मैं पैमाने के मापदंडों (सामान्य वितरण, टी वितरण आदि) के लिए पूर्व वितरण के रूप में लॉग सामान्य वितरण का उपयोग कर रहा हूं, जब मुझे इस बारे में एक मोटा विचार है कि पैमाने क्या होना चाहिए, लेकिन मैं यह नहीं जानता कि मैं क्या करना चाहता हूं इसके बारे में बहुत कुछ। मैं इसका उपयोग करता हूं क्योंकि यह उपयोग मेरे लिए सहज ज्ञान युक्त है, लेकिन मैंने दूसरों को इसका उपयोग करते नहीं देखा है। क्या इसके कोई छिपे हुए खतरे हैं?

Comments

नॉर्मल के पास पुजारी होते हैं: en.wikipedia.org/wiki/Normal-gamma_distribution । आपको इनका उपयोग करना बहुत आसान लग सकता है।

— whuber

दिलचस्प। मैं संख्यात्मक सामान कर रहा हूं, क्या इन वितरणों के साथ-साथ शंक्वाकारता का भी कोई फायदा है?

— जॉन साल्वेटियर

वास्तव में मेरा क्षेत्र नहीं, लेकिन यह 'प्रासंगिक' हो सकता है? जेलमैन ए। पदानुक्रमित मॉडल में विचरण मापदंडों के लिए पूर्व वितरण। बायेसियन विश्लेषण 2006; 1: 515-533। dx.doi.org/10.1214/06-BA117A

— onestop

मुझे यह स्केल-बीटा 2 वितरण पेरेस और पेरिची द्वारा प्रस्तावित मिला है। $_2$

सामान्य की तरह एक विशेष वितरण के लिए संयुग्मक पुजारी सिर्फ पुजारी होते हैं जो उस वितरण को डेटा के एक सेट के रूप में उस वितरण की ओर ले जाते हैं। यदि आप पहले एक संयुग्म का उपयोग करते हैं तो आपको पश्च की गणना करने के लिए एकीकरण करने की गंदगी में नहीं पड़ना है। यह चीजों को सुविधाजनक बनाता है लेकिन इन दिनों MCMC यह संभव पुजारियों की एक विस्तृत विविधता का उपयोग करना आसान बनाता है।

— माइकल आर। चेरनिक

Answer 1

मैं एक हल्के ढंग से सूचनात्मक वितरण के लिए "दूसरी तरह के बीटा वितरण" ( शॉर्ट के लिए बीटा ₂ ) का उपयोग करने की सलाह दूंगा , और यदि आपके पास मजबूत पूर्व मान्यताएं हैं तो संयुग्म उलटा गामा वितरण का उपयोग करने के लिए । मेरे कहने का कारण यह है कि पूर्ववर्ती संयुग्मन इस अर्थ में गैर-मजबूत है कि, यदि पूर्व और डेटा संघर्ष, पूर्ववर्ती के पीछे वितरण पर एक अप्रभावित प्रभाव है। ऐसा व्यवहार जिसे मैं "हठधर्मिता" कहूंगा, और हल्के पूर्व सूचना द्वारा उचित नहीं होगा ।

संपत्ति जो मजबूती का निर्धारण करती है वह पूर्व और संभावना की पूंछ-व्यवहार है। तकनीकी विवरण को रेखांकित करने वाला एक बहुत अच्छा लेख यहाँ है । उदाहरण के लिए, एक संभावना को चुना जा सकता है (एक टी-वितरण कहो) जैसे कि एक अवलोकन (यानी मनमाने ढंग से बड़ा हो जाता है) यह एक स्थान पैरामीटर के विश्लेषण से खारिज कर दिया जाता है (बहुत कुछ उसी तरह से कि आप सहज रूप से ऐसे अवलोकन के साथ)। "त्यागने" की दर इस बात पर निर्भर करती है कि वितरण की पूंछ कितनी भारी है।$y_i \rightarrow \infty$

कुछ स्लाइड्स जो पदानुक्रमित मॉडलिंग संदर्भ में एक एप्लिकेशन दिखाती हैं , उन्हें यहां एक पेपर के साथ पाया जा सकता है (बीटा ₂ वितरण का गणितीय रूप दिखाता है ) ।

आप श्रेणीबद्ध मॉडलिंग संदर्भ में नहीं कर रहे हैं, तो मैं (या जो भी परिणाम आप बना रहे हैं) पीछे की तुलना सुझाव है लेकिन उपयोग करने से पहले जेफ्रेय्स पैमाने पैरामीटर, जो द्वारा दिया जाता है के लिए । इसे बीटा₂घनत्वकी सीमा के रूप में बनाया जा सकता है क्योंकिइसके दोनों पैरामीटर शून्य में परिवर्तित होते हैं। एक सन्निकटन के लिए आप छोटे मूल्यों का उपयोग कर सकते हैं। लेकिन मैं समाधान कोव्यावहारिक रूपसे काम करने की कोशिश करूंगायदि संभव हो तो (और यदि पूर्ण विश्लेषणात्मक समाधान नहीं है, तो विश्लेषणात्मक समाधान प्राप्त करें जहां तक ​​आप संभवतः आगे बढ़ सकते हैं), क्योंकि आप न केवल अपने आप को कुछ कम्प्यूटेशनल समय बचाएंगे, लेकिन आप हैं यह भीसमझने कीसंभावना हैकि आपके मॉडल में क्या बेहतर हो रहा है।$p(\sigma)\propto\frac{1}{\sigma}$

एक और विकल्प बाधाओं के रूप में आपकी पूर्व सूचना निर्दिष्ट करना है (मतलब बराबर , वी के बराबर विचरण , आई क्यू आर के बराबर आईक्यूआर , एम , वी , आई क्यू आर के मूल्यों के साथ खुद के द्वारा निर्दिष्ट)। और उसके बाद का उपयोग अधिकतम एन्ट्रापी वितरण जेफ्रेय्स करने के लिए '' अपरिवर्तनीय उपाय "सम्मान के साथ (और क्या अधिकतम Entropy है की एक अच्छी व्याख्या क्या ऐसा नहीं है के लिए एडविन Jaynes या लैरी Bretthorst द्वारा किसी भी काम खोज) मीटर ( σ ) = $M$$V$$IQR$$M,V,IQR$ । $m(\sigma)=\frac{1}{\sigma}$

MaxEnt "रोल्स रॉयस" संस्करण है, जबकि बीटा ₂ अधिक "सेडान" संस्करण है। इसका कारण यह है कि MaxEnt वितरण "आपके द्वारा लगाए गए अवरोधों के अधीन" कम से कम "विषय को मानता है (उदाहरण के लिए, कोई बाधा नहीं है इसका मतलब है कि आपको सिर्फ जेफ़रीज़ से पहले मिलता है), जबकि बीटा ₂ वितरण में कुछ" छिपी "विशेषताएं शामिल हो सकती हैं। आपके विशिष्ट मामले में वांछनीय हो सकता है या नहीं भी हो सकता है (उदाहरण के लिए, यदि पूर्व सूचना डेटा से अधिक विश्वसनीय है, तो बीटा ₂ खराब है)।

MAXENT वितरण के अन्य अच्छा संपत्ति है कि है यदि डेटा पैदा तंत्र में सक्रिय नहीं अनिर्दिष्ट की कमी कर रहे हैं तो MAXENT वितरण है घने सबसे अधिक संभावना वितरण है कि आप देखेंगे (हम एक के लिए अरबों और अरबों से अधिक बाधाओं तरह से बात कर रहे हैं)। इसलिए, यदि आप जो वितरण देखते हैं वह MaxEnt एक नहीं है, तो संभवतः अतिरिक्त बाधाएं हैं जिन्हें आपने वास्तविक प्रक्रिया पर काम करने के लिए निर्दिष्ट नहीं किया है, और देखे गए मान एक सुराग प्रदान कर सकते हैं कि क्या बाधा हो सकती है।

Comments

@probabilityislogic अच्छा जवाब। क्या आप जानते हैं कि तीसरे पैराग्राफ में आपके द्वारा उल्लेखित कागजात कहां मिल सकते हैं? लिंक काम नहीं कर रहे हैं।

जो कागज के लिए काम करता है वह यहां है । यह एक सम्मेलन "उद्देश्य बेस 09" वेबसाइट (वालेंसिया बैठकों) पर था। मुझे नहीं लगता कि स्लाइड अब उपलब्ध होगी, क्योंकि सम्मेलन के लिए वेबसाइट को नीचे ले जाया गया है ... :( दया, यह स्लाइड का एक अच्छा सेट था। इससे पहले कि horshoe आपके द्वारा दिए गए लिंक में दिलचस्प दिखता है।

— probabilityislogic

@probabilityislogic शायद मैं कुछ याद आ रही है, लेकिन मैं के लिए एक संदर्भ नहीं मिल रहा है बीए अखबार में। $Beta_2$

@Procrastinator क्या मुझे यह मानने का अधिकार है कि आप केवल उचित पुजारी चाहते हैं? आपने यह नहीं कहा, लेकिन यदि आप अनुचित पुरोहितों को पहले से ही उल्लेख किए गए जेफरीज़ के पुजारी काम करेंगे और मैं जेफ़रीज़ के सिद्धांत की संभावना का हवाला दे सकता हूं, डेनिस लिंडले की पुस्तकें या सांख्यिकी विश्वकोश। जिस तरह से अनुरोध का जवाब खोजने के लिए Google का उपयोग करके जांच की जा सकती है और यदि यह नहीं पाया जा सकता है कि आपके द्वारा बहिष्कृत लोगों के बाहर के साहित्य में शायद कुछ भी नहीं है।

— माइकल आर। चेरिक

@MichaelChernick हाँ, आप सही हैं, मुझे केवल उचित पादरियों में दिलचस्पी है। इसका कारण यह है कि उचित पुजारियों के लिए (1) पीछे के अस्तित्व के कुछ मॉडलों के लिए प्रतिबंधात्मक नहीं है और (2) मैं यह देखना चाहता था कि क्या मैं एक और दिलचस्प प्रस्ताव को याद नहीं कर रहा हूं। मैं आपसे सहमत हूं कि ऐसा लगता है कि जेलमैन, पेरीची और गामा के पुजारी साहित्य में सबसे लोकप्रिय हैं, लेकिन मैंने यह भी नोट किया है कि 'मजबूत' इंट्रेंस बनाने के लिए भारी पूंछ वाले पुजारियों को प्रपोज करने का चलन है।

Answer 2

डेनियल द्वारा निम्नलिखित पेपर में विचरण के लिए विभिन्न प्रकार के संकोचन पुजारियों की तुलना की गई है। ये उचित पुजारी हैं, लेकिन मुझे यकीन नहीं है कि यदि कोई हो तो कितने गैर-सूचनात्मक कहे जा सकते हैं। लेकिन, वह नॉनफॉर्मेटिव पादरियों की सूची भी प्रदान करता है (सभी उचित नहीं)। नीचे संदर्भ है।

एमजे डेनियल्स (1999), ए हिराज़िकल मॉडल में विचरण से पहले , कनाडाई जे। स्टेट। , वॉल्यूम। 27, नहीं। 3, पीपी 567-578।

महंतों

1. $K$
2. $\tau^{-2}$
3. $\tau^{-1}$
4. $1/(\sigma^2 + \tau^2)$
5. $\sigma / (2(\sigma^2 + \tau^2)^{3/2})$
6. $\sigma^2 / (\sigma^2 + \tau^2)$
7. $\sigma/(2\tau(\sigma+\tau)^2)$

संबंधित शिरा में एक और हालिया पेपर निम्नलिखित है।

ए। जेलमैन (2006), पदानुक्रमित मॉडल , बेयसियन विश्लेषण , वॉल्यूम में विचरण मापदंडों के लिए पूर्व वितरण । 1, नहीं। 3, पीपी। 515-533।

Comments

(+1) यह एक अच्छी खोज है। मैंने डेनियल पेपर के साथ-साथ एक अन्य संदर्भ में एक स्थिर लिंक जोड़ा है जो इसे पूरक लगता है।

— कार्डिनल

Answer 3

(सवाल बासी है, लेकिन मुद्दा यह नहीं है)

व्यक्तिगत रूप से, मुझे लगता है कि आपका अंतर्ज्ञान कुछ समझ में आता है। यह कहना है, अगर आपको संयुक्ताक्षरी के गणितीय tidiness की आवश्यकता नहीं है, तो आप जो भी वितरण स्थान पैरामीटर के लिए उपयोग करेंगे, आपको स्केल पैरामीटर के लॉग के लिए उसी का उपयोग करना चाहिए। तो, आप जो कह रहे हैं वह है: एक सामान्य से पहले के बराबर का उपयोग करें।

क्या आप वास्तव में एक स्थान पैरामीटर के लिए पहले एक सामान्य का उपयोग करेंगे? अधिकांश लोग कहते हैं कि, जब तक आप विचरण को विशाल नहीं बनाते हैं, तब तक शायद थोड़ा सा "बहुत ही हठधर्मिता" है, अन्य कारणों के बारे में यहां (बिना प्रभाव के) बताया गया है। एक अपवाद यह होगा कि यदि आप अनुभवजन्य बेस कर रहे हैं; वह है, अपने डेटा का उपयोग करके अपने पूर्व के मापदंडों का अनुमान लगाना।

यदि आप "कमजोर रूप से सूचनात्मक" होना चाहते हैं, तो आप शायद फटर टेल्स के साथ एक वितरण चुनेंगे; स्पष्ट उम्मीदवार टी वितरण हैं। गेलमैन की नवीनतम सलाह 3-7 के df के साथ प्रयोग करने की लगती है। (ध्यान दें कि लिंक मेरे सुझाव का भी समर्थन करता है कि आप लॉग ऑफ़ स्केल के लिए वही काम करना चाहते हैं जो आप स्थान के लिए करेंगे) इसलिए लॉगऑनॉर्मल के बजाय, आप लॉग-स्टूडेंट-टी का उपयोग कर सकते हैं। स्टेन में इसे पूरा करने के लिए, आप कुछ ऐसा कर सकते हैं:

real log_sigma_y; //declare at the top of your model block
//...some more code for your model
log_sigma_y <- log(sigma_y); increment_log_prob(-log_sigma_y);
log_sigma_y ~ student_t(3,1,3); //This is a 'weakly informative prior'.

हालाँकि, मुझे लगता है कि यदि ऊपर दिया गया कोड आपके लिए बहुत जटिल है, तो आप शायद दो कैविएट के साथ पहले से लॉगऑनॉर्मल से दूर हो सकते हैं। सबसे पहले, इस बात का विचरण करें कि आपके "कैसे आप अनिश्चित हैं" के मोटे तौर पर अनुमान से कुछ गुना व्यापक हैं; आप एक कमजोर सूचनात्मक पूर्व चाहते हैं, एक मजबूत जानकारीपूर्ण नहीं। और दूसरा, एक बार जब आप अपने मॉडल को फिट करते हैं, तो पैरामीटर के पीछे के माध्यिका की जांच करें, और सुनिश्चित करें कि इसका लॉग लॉगनल के केंद्र से बहुत दूर नहीं है। "बहुत दूर नहीं" शायद इसका मतलब है: दो मानक विचलन से कम, और अधिमानतः एक से अधिक एसडी नहीं।

Answer 4

पदानुक्रमित मॉडल स्केल मापदंडों के लिए, मैंने ज्यादातर तह, गैर-केंद्रित टी-वितरण का उपयोग करके एंड्रयू जेलमैन के सुझाव का उपयोग किया है। यह मेरे लिए काफी शालीनता से काम किया है।