क्या लाइकलीहुड की परिभाषा पर फ़्रीक्वेंटिस्ट और बेयसियन के बीच कोई अंतर है?

21

कुछ स्रोतों का कहना है कि संभावना समारोह सशर्त संभावना नहीं है, कुछ का कहना है कि यह है। यह मेरे लिए बहुत उलझन की बात है।

सबसे सूत्रों मैंने देखा है के अनुसार, पैरामीटर के साथ एक वितरण की संभावना $\theta$ , यह देखते हुए संभावना जन कार्यों का एक उत्पाद होना चाहिए $n$ के नमूने $x_i$ :

L (θ) = L (x_{1}, x_{2}, . . ., x_{n}; θ) = \prod_{i = 1}^{n} p (x_{i}; θ)

$L(\theta) = L(x_1,x_2,...,x_n;\theta) = \prod_{i=1}^n p(x_i;\theta)$

लॉजिस्टिक रिग्रेशन में उदाहरण के लिए, हम इष्टतम पैरामीटर और इसलिए अंतिम एलआर मॉडल प्राप्त करने के लिए संभावना फ़ंक्शन (अधिकतम संभावना अनुमान) को अधिकतम करने के लिए एक अनुकूलन एल्गोरिथ्म का उपयोग करते हैं। $n$ प्रशिक्षण नमूनों को देखते हुए , जिन्हें हम एक-दूसरे से स्वतंत्र मानते हैं, हम संभावनाओं (या संयुक्त संभावना जन कार्यों) के उत्पाद को अधिकतम करना चाहते हैं। यह मुझे काफी स्पष्ट लगता है।

के बीच संबंध के अनुसार : संभावना, सशर्त संभावना और विफलता दर , "संभावना संभावना नहीं है और यह सशर्त संभावना नहीं है"। यह भी उल्लेख किया है, "संभावना है, केवल बायेसियन संभावना की समझ, यानी में एक सशर्त संभावना है अगर आप को लगता है कि $\theta$ एक यादृच्छिक चर रहा है।"

मैं लगातार और बेयसियन के बीच एक सीखने की समस्या के इलाज के विभिन्न दृष्टिकोणों के बारे में पढ़ता हूं।

एक सूत्र के अनुसार, बायेसियन अनुमान के लिए, हम एक प्रायोरी है $P(\theta)$ , संभावना $P(X|\theta)$ , और हम पीछे प्राप्त करने के लिए चाहते हैं $P(\theta|X)$ , बायेसियन प्रमेय का उपयोग:

P (θ | X) = \frac{P (X | θ) \times P (θ)}{P (X)}

$P(\theta|X)=\dfrac{P(X|\theta) \times P(\theta)}{P(X)}$

मैं बायेसियन इंट्रेंस से परिचित नहीं हूं। कैसे आता है जो इसके मापदंडों पर मनाया डेटा सशर्त का वितरण है, इसे भी संभावना कहा जाता है? में विकिपीडिया , यह कभी कभी कहते हैं कि यह लिखा है । इसका क्या मतलब है? $P(X|\theta)$ $L(\theta|X)=p(X|\theta)$

क्या संभावना पर फ़्रीक्वेंटिस्ट और बायेसियन की परिभाषाओं में अंतर है ??

धन्यवाद।

संपादित करें:

बेयस प्रमेय की व्याख्या करने के विभिन्न तरीके हैं - बायेसियन व्याख्या और आवृत्तिवादी व्याख्या (देखें: बेयस प्रमेय - विकिपीडिया )।

— टायलर 傲来国主
स्रोत

2

संभावना के दो प्रमुख गुण है कि (क) कर रहे हैं कि यह की एक समारोह है

एक विशेष के लिए

इसका उल्टा बजाय, और (ख) यह केवल समानता का एक सकारात्मक निरंतर अप करने के लिए जाना जा सकता है। यह एक संभावना (सशर्त या अन्यथा) है, क्योंकि यह करने के लिए एकीकृत राशि की जरूरत नहीं है या नहीं है

सब कुछ खत्म हो

θ

$\theta$

X

$X$

1

$1$

θ

$\theta$

— हेनरी

2

आँकड़े देखें ।stackexchange.com/q/224037/35989

— टिम

24

परिभाषा में कोई अंतर नहीं है - दोनों मामलों में, संभावना फ़ंक्शन पैरामीटर का कोई फ़ंक्शन है जो नमूना घनत्व के लिए आनुपातिक है। कड़ाई से बोलने पर हमें आवश्यकता नहीं है कि संभावना नमूना घनत्व के बराबर हो; इसे केवल आनुपातिक होने की आवश्यकता है, जो कई गुणा भागों को हटाने की अनुमति देता है जो मापदंडों पर निर्भर नहीं करते हैं।

जहां नमूने के घनत्व को डेटा के एक फ़ंक्शन के रूप में व्याख्या की जाती है, पैरामीटर के एक निर्दिष्ट मूल्य पर सशर्त, संभावना फ़ंक्शन को एक निश्चित डेटा वेक्टर के लिए पैरामीटर के फ़ंक्शन के रूप में व्याख्या की जाती है। तो IID डेटा के मानक मामले में आपके पास है:

L_{x} (θ) \propto \prod_{i = 1}^{n} p (x_{i} | θ) .

$L_\mathbf{x}(\theta) \propto \prod_{i=1}^n p(x_i|\theta).$

बायेसियन आंकड़ों में, हम आमतौर पर बेयस के प्रमेय को इसके सबसे सरल रूप में व्यक्त करते हैं:

π (θ | x) \propto π (θ) \cdot L_{x} (θ) .

$\pi (\theta|\mathbf{x}) \propto \pi(\theta) \cdot L_\mathbf{x}(\theta).$

बेयस के प्रमेय के लिए यह अभिव्यक्ति तनाव देती है कि इसके दोनों गुणात्मक तत्व पैरामीटर के कार्य हैं, जो कि पश्च घनत्व में ब्याज की वस्तु है। (यह आनुपातिकता परिणाम पूरी तरह से नियम को परिभाषित करता है, क्योंकि पोस्टीरियर एक घनत्व है, और इसलिए एक अद्वितीय गुणा स्थिरांक है जो इसे एक को एकीकृत करता है।) जैसा कि आप अपने अपडेट में बताते हैं, बायेसियन और अक्सरवादी दर्शन की अलग-अलग व्याख्यात्मक संरचनाएं हैं। अक्सर प्रतिमान के भीतर पैरामीटर को आमतौर पर "निश्चित स्थिर" के रूप में माना जाता है और इसलिए इसे संभाव्यता माप नहीं माना जाता है। फ़्रीक्वेर्स इसलिए पैरामीटर के लिए एक पूर्व या पीछे के वितरण के निर्धारण को अस्वीकार करते हैं (इन दार्शनिक और व्याख्यात्मक मतभेदों पर अधिक चर्चा के लिए, उदाहरण के लिए, ओ'नील 2009 देखें )।

— मोनिका को बहाल करो
स्रोत

14

संभावना समारोह से स्वतंत्र रूप से परिभाषित किया गया है या पहले , सांख्यिकीय प्रतिमान है कि अनुमान के लिए प्रयोग किया जाता है एक समारोह के रूप में (या , पैरामीटर का) , समारोह है कि पर निर्भर करता है या द्वारा अनुक्रमित अवलोकन (रों) इस निष्कर्ष के लिए उपलब्ध। और डेटा में परिवर्तनशीलता या यादृच्छिकता का प्रतिनिधित्व करने के लिए चुने गए प्रायिकता मॉडल के परिवार पर भी निहित है। जोड़ी दिए गए मान के लिए $-$ $-$ $L(\theta;x)$ $L(\theta|x)$ $\theta$ $-$ $-$ $x$ , इस फ़ंक्शन कामानपैरामीटर साथ अनुक्रमित होनेपर पर मॉडल के घनत्व के मूल्य के समानहोता है। जिसे अक्सर "डेटा की संभावना" के रूप में अनजाने में अनुवाद किया जाता है। $(\theta,x)$ $x$ $\theta$

इस मंच पर पहले के उत्तर की तुलना में अधिक आधिकारिक और ऐतिहासिक स्रोतों को उद्धृत करने के लिए ,

"हम मात्राओं के घटित होने की संभावना पर चर्चा कर सकते हैं। किसी भी परिकल्पना के संबंध में, जो इन टिप्पणियों को समझाने के लिए सुझाई जा सकती है। हम परिकल्पना की संभावना के बारे में कुछ नहीं जान सकते हैं। [हम] संभावना का पता लगा सकते हैं। परिकल्पनाओं की। टिप्पणियों से गणना द्वारा:। संभावना की बात करने के लिए। एक अवलोकन मात्रा का कोई मतलब नहीं है। " आरए फिशर, सहसंबंध के गुणांक के `` संभावित त्रुटि '' पर, एक छोटे नमूने से घटाया गया । मेट्रोन 1, 1921, पी .25

तथा

"हम एक नमूने से क्या प्राप्त कर सकते हैं, आर के किसी विशेष मूल्य की संभावना है, अगर हम संभावना की मात्रा के अनुपात के रूप में संभावना को परिभाषित करते हैं, जो कि आर के विशेष मूल्य वाले जनसंख्या से, आर के देखे गए मूल्य का एक नमूना है। , प्राप्त किया जाना चाहिए। ” आरए फिशर, सहसंबंध के गुणांक के `` संभावित त्रुटि '' पर, एक छोटे नमूने से घटाया गया ।मेट्रोन 1, 1921, पी। 24

जेफ्री (और मैं) एक आनुपातिकता का उल्लेख करते हैं, जो बहुत ही अच्छा लगता है:

".. लिक्लीहुड, प्रोफेसर आरए फिशर द्वारा पेश किया गया एक सुविधाजनक शब्द है, हालांकि उनके उपयोग में यह कभी-कभी एक स्थिर कारक से गुणा किया जाता है। यह मूल जानकारी और चर्चा के तहत परिकल्पना दी गई टिप्पणियों की संभावना है।" एच। जेफरीज़, थ्योरी ऑफ़ प्रोबेबिलिटी , 1939, पृष्ठ.28

जॉन एल्डरिच (सांख्यिकी विज्ञान, 1997) द्वारा इस विषय पर उत्कृष्ट ऐतिहासिक प्रविष्टि से एक वाक्य उद्धृत करने के लिए :

"फिशर (1921, पी। 24) ने व्युत्क्रम प्रायिकता के बारे में 1912 में जो लिखा था, उसे फिर से परिभाषित किया, संभाव्यता घनत्व और संभावना पर किए जा सकने वाले गणितीय कार्यों के बीच अंतर करना: संभावना एक 'अंतर तत्व' नहीं है, '' इसे एकीकृत नहीं किया जा सकता है । " जे। एल्ड्रिच, आरए फिशर और द मेकिंग ऑफ़ मैक्सिमम लाइकैलिटी 1912 - 1922 , 1997 , p.9

$x$ $\theta$ $\theta$ $x$ $\theta$ $\theta$ $\theta$ $\pi(\cdot)$ $X$ $x$ $L(\theta|\cdot)$ $\theta$ $(\theta,x)$

π (θ) \times L (θ | x)

$\pi(\theta) \times L(\theta|x)$

θ

$\theta$

θ

$\theta$

x

$x$

π (θ | x) \propto π (θ) \times L (θ | x)

$\pi(\theta|x) \propto \pi(\theta) \times L(\theta|x)$

posterior \propto prior \times likelihood

$\text{posterior} \propto \text{prior} \times \text{likelihood}$

नोट: मुझे विकिपीडिया पृष्ठ के परिचय में अक्सर और बायेसियन संभावना के बीच होने वाले संभावित कार्यों के बारे में भ्रम और अनावश्यक होने के बारे में बताया गया है, या सिर्फ सादा गलत है क्योंकि वर्तमान बायेसियन सांख्यिकीविदों के बड़े बहुमत पोस्टीरियर संभावना के विकल्प के रूप में मेल का उपयोग नहीं करते हैं। इसी तरह, बेयर्स प्रमेय के बारे में विकिपीडिया पृष्ठ में "अंतर" कुछ और की तुलना में अधिक भ्रामक लगता है, क्योंकि यह प्रमेय कंडीशनिंग के एक परिवर्तन के बारे में एक संभावना बयान है, जो प्रतिमान से या एक संभावना कथन के अर्थ से स्वतंत्र है। ( मेरी राय में , यह एक प्रमेय से अधिक परिभाषा है!)

— शीआन
स्रोत

1

एक छोटे से परिशिष्ट के रूप में:

"लाइकेलहुड" नाम पूरी तरह से भ्रामक है, क्योंकि बहुत सारे अलग-अलग अर्थ हैं। न केवल "सामान्य भाषा" एक, बल्कि आंकड़ों में भी। मैं कम से कम तीन अलग-अलग सोच सकता हूं, लेकिन यहां तक कि संबंधित अभिव्यक्तियां जिन्हें सभी लिकलीहुड कहते हैं; यहां तक कि पाठ्य पुस्तकों में भी।

इस प्रकार, संभावना की बहुलता की परिभाषा लेते समय, इसमें ऐसा कुछ भी नहीं है जो इसे इसके (जैसे स्वयंसिद्ध) परिभाषा के अर्थ में किसी भी प्रकार की संभावना में बदल देगा। यह एक वास्तविक मूल्य है। आप इसे गणना करने या संभावना से संबंधित करने के लिए बहुत सारी चीजें कर सकते हैं (अनुपातों को लेना, पुजारियों और पोस्टरीयरों की गणना करना, आदि) - लेकिन स्वयं पर इसका संभावना के संदर्भ में कोई अर्थ नहीं है।

शीआन द्वारा अधिक जानकारीपूर्ण और व्यापक जवाब से उत्तर को कम या ज्यादा माना गया है। लेकिन अनुरोध से, कुछ पाठ्य पुस्तक की संभावनाएँ:

$L (\vec{x}; \theta)$
$\theta$
विभिन्न पुजारियों (जैसे एक वर्गीकरण कार्य में) के लिए संभावना मूल्यों का अनुपात ... और अलग-अलग अर्थों में से एक उपरोक्त तत्वों के उपयोग (एब) का उपयोग करने की कोशिश कर सकता है।

— चेस्र्ब
स्रोत

1

यह एक बेहतर उत्तर होगा यदि आप उदाहरण / संदर्भ जोड़ सकते हैं, तो मैं कम से कम तीन अलग-अलग सोच सकता हूं, लेकिन संबंधित अभिव्यक्तियां जिन्हें सभी लाइकलीहुड कहते हैं; यहां तक कि पाठ्य पुस्तकों में भी ।

— kjetil b halvorsen