बायेसियन पैरामीटर अनुमान में पूर्व का चयन कैसे करें

Question

मैं पैरामीटर आकलन, एमएल, एमएपी और बेयस दृष्टिकोण करने के लिए 3 तरीके जानता हूं। और एमएपी और बेयस दृष्टिकोण के लिए, हमें मापदंडों के लिए पुजारी चुनने की आवश्यकता है, है ना?

मैं इस मॉडल का कहना है कि $p(x|\alpha,\beta)$ , जिसमें $\alpha,\beta$ आदेश एमएपी या Bayes का उपयोग कर आकलन करने के लिए मापदंड हैं,, मैं किताब में पढ़ा है कि हम बेहतर था एक संयुग्मी पहले लेने $p(\alpha,\beta)$ है, जो एक है संयुक्त की संभावना $\alpha,\beta$ , है ना?

मेरे 2 सवाल हैं:

1. क्या हमारे पास इस संयुग्म के अलावा अन्य विकल्प चुनने से पहले अन्य विकल्प हैं?

2. हम के लिए महंतों चुन सकते हैं और बीटा की तरह क्रमश: पी ( α ) और पी ( β ) एक संयुक्त एक में एक साथ डाल के अलावा अन्य?$\alpha$$\beta$$p(\alpha)$$p(\beta)$

Comments

क्या सॉफ्टवेयर आप इस्तेमाल करेंगे पर निर्भर करता है, महंतों निश्चित रूप से संभावना कार्य करने के लिए संयुग्म होने के लिए ... पहले की जरूरत नहीं है और सबसे महत्वपूर्ण, आप सुनिश्चित करें कि आपके महंतों मापदंडों के वितरण के बारे में अपने पूर्व मान्यताओं का प्रतिनिधित्व करना चाहिए

— पैट्रिक कौलोंब

तो मैं सिर्फ मापदंडों के लिए क्रमशः पादरियों को चुन सकता था, है ना? वास्तव में मैं सिर्फ बेसी रेखीय प्रतिगमन को समझने की कोशिश करता हूं, कोई विशिष्ट सॉफ्टवेयर नहीं माना जाता है

— एवोकैडो

देखिए पहले निकालना , जैसे यहाँ

— Scortchi - को पुनः स्थापित मोनिका

Answer 1

जैसा कि टिप्पणी में कहा गया है, पूर्व वितरण मापदंडों के वितरण के बारे में पूर्व मान्यताओं का प्रतिनिधित्व करता है।

जब पूर्व विश्वास वास्तव में उपलब्ध हैं, तो आप कर सकते हैं:

• इन क्षणों (जैसे माध्य और विचरण) के रूप में इन क्षणों के लिए एक सामान्य वितरण फिट करने के लिए उन्हें परिवर्तित करें (जैसे गॉसियन यदि आपका पैरामीटर वास्तविक रेखा पर स्थित है, तो गामा अगर यह स्थित है )।$R^+$
• इन मान्यताओं की अपनी सहज समझ का उपयोग किसी दिए गए पूर्व वितरण को प्रस्तावित करने के लिए करें और जांचें कि क्या यह वास्तव में आपके उद्देश्य के अनुकूल है और यह मनमाने ढंग से विकल्पों के प्रति संवेदनशील नहीं है (एक मजबूती या संवेदनशीलता का विश्लेषण करना)

जब कोई स्पष्ट पूर्व मान्यताएं उपलब्ध नहीं हैं, तो आप कर सकते हैं:

• व्युत्पन्न (या बस उपयोग करें यदि पहले से ही उपलब्ध है, तो एक महान ressource http://www.stats.org.uk/priors/noninformative/YangBerger1998.pdf ) एक जेफ़रीज़ (जैसे स्थान पैरामीटर के लिए एक समान) या पहले एक संदर्भ (विशेष रूप से) बहुभिन्नरूपी मापदंडों का मामला)।
• कभी-कभी ऐसे विकल्प असंभव या काफी कठिन होते हैं और इस मामले में, आप कई "सामान्य" कमजोर सूचनात्मक पूर्व में से एक का चयन करने का प्रयास कर सकते हैं (उदाहरण के लिए पदानुक्रमित प्रतिगमन के लिए पदानुक्रमित मॉडल या -पीयर के पैमाने के लिए एक समान संकोचन वितरण ) ।$g$

कि कहा है, एक संयुक्त या एक स्वतंत्र पूर्व (उपयोग करने के लिए कोई प्रतिबंध नहीं है बनाम पी ( एक ) ⋅ पी ( ख ) )। एक पूरक के रूप में, मैं कहूंगा कि मेरी विनम्र राय में, पूर्व चयन करते समय ध्यान रखने वाली तीन प्रमुख बातें हैं:$p(a,b)$$p(a) \cdot p(b)$

• ध्यान रखें कि आपका पोस्टीरियर लगभग हर जगह (या उचित) पूर्णांक है, जो हमेशा सही होता है यदि आप एक पूर्णांक पूर्व का उपयोग करते हैं ( अधिक विवरण के लिए बायेसियन पोस्टीरियर को उचित वितरण की आवश्यकता है ) ?
• अपने पूर्व के समर्थन को सीमित करें यदि आप समर्थन सीमा पर अत्यधिक आश्वस्त हैं (तो इसे करने से बचें)।
• और अंतिम लेकिन कम से कम, यह सुनिश्चित करें (ज्यादातर समय प्रायोगिक रूप से) कि आपकी पसंद का पूर्व का मतलब है कि आप क्या व्यक्त करना चाहते हैं। मेरी राय में, यह कार्य कभी-कभी अधिक महत्वपूर्ण होता है। कभी नहीं भूल गया, कि जब एक पूर्व अनुमान लगाते हुए स्वयं के द्वारा कुछ भी नहीं किया जाता है, तो आपको पोस्टीरियर पर विचार करना होगा (जो कि पूर्व और संभावना का संयोजन है)।

Comments

बहुत बहुत धन्यवाद, क्या आप मुझे इस तरह के बायेसियन इंट्रैक्शन कैसे करें इस पर कुछ ट्यूटोरियल सामान सुझा सकते हैं?

— एवोकैडो

@loganecolss आपका स्वागत है, मैं कुछ महीने पहले गुमशुदा सा हो गया था और यह पोस्ट बस मेरे स्वाध्याय का सारांश है और मुझे खुशी है कि अगर यह किसी और की मदद कर सकता है। अपने प्रश्न के बारे में, "इस तरह के बेइज़ियन अनुमान" से आपका क्या अभिप्राय है?

— peuhp

मैं स्व-अध्ययन करने वाली मशीन सीखने का सामान भी हूं, मैं एमएल जानता था, लेकिन पैरामीटर अनुमान का यह बायसीयन दृष्टिकोण मेरे लिए नया है, आशा है कि आप मुझे बायसी अनुमान और अनुमान लगाने के लिए कुछ सामग्री दिखा सकते हैं; ;-)

— एवोकैडो

@loganecolss, यह MLE, MAP और बायेसियन इनविज़न का अच्छा सारांश है। और यह लिंक एक द्विपदीय वितरण के लिए बायेसियन निष्कर्ष से पहले शामिल करने का एक अच्छा सारांश देता है।

— ज़ुर्बर्ब

एक छोटा सा विस्तार: एक उचित पूर्व का प्रतिनिधित्व करता है एक पैरामीटर के बारे में विश्वासों की संगत सेट। वे आपके विश्वास नहीं है। जब वे कुछ और होते हैं तो मॉडल अक्सर अधिक प्रेरक होते हैं।

— conjugateprior

Answer 2

अनुभवजन्य बेस भी है। डेटा के लिए पहले धुन पर विचार करना है:

$$\text{max}_{p(z)} \int p(\mathcal{D}|z)p(z) dz$$

हालांकि यह पहली बार में अजीब लग सकता है, वास्तव में न्यूनतम विवरण लंबाई के संबंध हैं। यह गाऊसी प्रक्रियाओं के कर्नेल मापदंडों का अनुमान लगाने का विशिष्ट तरीका भी है।

Answer 3

ऊपर दिए गए दो सवालों के सीधे जवाब देने के लिए:

1. आपके पास संयुग्म पुजारियों के अलावा गैर-संयुग्मक पुजारी चुनने के लिए अन्य विकल्प हैं। समस्या यह है कि यदि आप गैर-संयुग्मक पुजारी चुनते हैं, तो आप सटीक बायेसियन इंफ़ेक्शन नहीं बना सकते हैं (सीधे शब्दों में कहें, तो आप एक क्लोज़-फॉर्म पोस्टीरियर को प्राप्त नहीं कर सकते हैं)। इसके बजाय, आपको आसन्न निष्कर्ष निकालने के लिए या गिब्स नमूनाकरण, अस्वीकृति नमूनाकरण, एमसीएमसी आदि जैसे नमूना तरीकों का उपयोग करने की आवश्यकता है। सैंपलिंग के तरीकों की समस्या यह है कि यह सहज रूप से है, यह अंधेरे में हाथी की तस्वीर को दोहराकर उसे छूने जैसा है ---- आप पक्षपाती और अधूरे हो सकते हैं। लोग गैर-संयुग्म पूर्व का चयन करने का कारण यह है कि कुछ संभावना के लिए, संयुग्म पूर्व विकल्प बहुत सीमित है, या कहें कि, अधिकांश गैर-संयुग्म हैं।

2. हाँ, आप निश्चित रूप से कर सकते हैं। यदि α और स्वतंत्र हैं, जो आदर्शवादी स्थिति है, तो आप p (α) p ()) द्वारा उनके संयुक्त वितरण को प्राप्त कर सकते हैं। यदि वे स्वतंत्र नहीं हैं, तो आपको सशर्त संभाव्यता का पता लगाने और संयुक्त वितरण प्राप्त करने के लिए अभिन्न करने की आवश्यकता हो सकती है।