क्या कारण है कि संभावना फ़ंक्शन एक पीडीएफ नहीं है?

Question

क्या कारण है कि संभावना फ़ंक्शन एक पीडीएफ (प्रायिकता घनत्व फ़ंक्शन) नहीं है?

Comments

संभावना समारोह अज्ञात पैरामीटर की एक समारोह है (डेटा पर वातानुकूलित)। जैसे, इसमें आम तौर पर 1 क्षेत्र नहीं होता (यानी सभी संभावित मूल्यों पर अभिन्न 1 नहीं है) और इसलिए परिभाषा के अनुसार पीडीएफ नहीं है। $\theta$$\theta$

— 18

MO पर 2 साल पहले वही सवाल: mathoverflow.net/questions/10971/…

— डगलस

दिलचस्प संदर्भ, @ डगलस। जवाब बल्कि असंतोषजनक हैं, IMHO। स्वीकार की गई चीजें उन चीजों को मानती हैं जो अभी सच नहीं हैं ("दोनों और pdfs हैं": नहीं !) और अन्य वास्तव में सांख्यिकीय मुद्दों पर नहीं आते हैं। p ( m | X $p(X|m)$$p(m|X)$

— whuber

+1 व्हीबर। यह आश्चर्यजनक है कि इसके इतने गणितीय स्तर के बावजूद मैथोवेटफ्लो साइट में इतने बुरे उत्तर हैं!

— स्टीफन लॉरेंट

@ स्टेफेन: यह सच है, लेकिन कुछ उल्लेखनीय अपवादों के साथ, सांख्यिकीविदों और यहां तक ​​कि संभाव्यवादियों को एमओ के बीच काफी कम और दूर लगता है। यह प्रश्न एमओ के अस्तित्व में काफी प्रारंभिक समय से था जब आम तौर पर स्वीकार्य प्रश्न और उत्तर की गुणवत्ता दोनों काफी भिन्न थे।

— कार्डिनल

Answer 1

हम दो परिभाषाओं से शुरू करेंगे:

• एक प्रायिकता घनत्व समारोह (पीडीएफ) एक गैर नकारात्मक समारोह है कि करने के लिए एकीकृत करता है ।$1$

• संभावना को पैरामीटर के एक फ़ंक्शन के रूप में मनाया डेटा के संयुक्त घनत्व के रूप में परिभाषित किया गया है। लेकिन, जैसा कि नीचे दिए गए एक टिप्पणी में @whuber द्वारा किए गए लेहमैन के संदर्भ में बताया गया है, संभावना फ़ंक्शन केवल पैरामीटर का एक फ़ंक्शन है, जिसमें डेटा एक निश्चित स्थिर के रूप में रखा गया है। तो यह तथ्य है कि यह डेटा के कार्य के रूप में एक घनत्व है अप्रासंगिक है।

इसलिए, संभावना फ़ंक्शन एक पीडीएफ नहीं है क्योंकि पैरामीटर के संबंध में इसका अभिन्न अंग आवश्यक रूप से 1 के बराबर नहीं है (और वास्तव में पूर्णांक नहीं हो सकता है, वास्तव में, जैसा कि @whuber की एक अन्य टिप्पणी द्वारा बताया गया है)।

इसे देखने के लिए, हम एक साधारण उदाहरण का उपयोग करेंगे। मान लीजिए कि आपके पास वितरण से एक एकल अवलोकन, । फिर संभावना समारोह हैबी ई आर एन ओ यू एल एल मैं ( θ $x$${\rm Bernoulli}(\theta)$

$$L(\theta) = \theta^{x} (1 - \theta)^{1-x}$$

यह एक तथ्य है कि । विशेष रूप से, अगर , तो , तो$\int_{0}^{1} L(\theta) d \theta = 1/2$एल ( θ ) = θ ∫ 1 0 एल ( θ ) घ θ = ∫ 1 0 θ घ θ = 1 /$x = 1$$L(\theta) = \theta$

$$\int_{0}^{1} L(\theta) d \theta = \int_{0}^{1} \theta \ d \theta = 1/2$$

और एक समान गणना लागू होती है जब । इसलिए, एक घनत्व फ़ंक्शन नहीं हो सकता है।L ( θ $x = 0$$L(\theta)$

शायद इस तकनीकी उदाहरण से भी अधिक महत्वपूर्ण यह दर्शाता है कि संभावना की संभावना क्यों नहीं है घनत्व घनत्व यह इंगित करता है कि संभावना पैरामीटर मान के सही होने की संभावना नहीं है या ऐसा कुछ भी है - यह डेटा की संभावना (घनत्व) है पैरामीटर मान दिया गया , जो पूरी तरह से अलग चीज है। इसलिए किसी को संभावना घनत्व की तरह व्यवहार करने की संभावना की अपेक्षा नहीं करनी चाहिए।

Comments

+1 एक सूक्ष्म बिंदु यह है कि अभिन्न में " " की उपस्थिति भी संभावना फ़ंक्शन का हिस्सा नहीं है; यह कहीं से भी आता है। इसे देखने के कई तरीकों में से, विचार करें कि एक पुनर्मूल्यांकन संभावना के बारे में कुछ भी नहीं बदलता है - यह केवल पैरामीटर का नाम बदलना है - लेकिन अभिन्न को बदल देगा। उदाहरण के लिए, यदि हमने बर्नौली वितरण को लॉग ऑड्स तो अभिन्न अभिसरण भी नहीं करेगा। $d\theta$$\psi=\log(\theta/(1-\theta))$

— whuber

इसे लगाने का एक तरीका है: MLE, मोनोटोन परिवर्तनों के तहत अपरिवर्तनीय हैं, लेकिन संभावना घनत्व नहीं हैं, QED! यह वास्तव में फिशर का तर्क था, जिसे मैंने @Michael Chernick के उत्तर की टिप्पणी में स्केच किया है।

— whuber

व्हीबर की टिप्पणी के लिए +1। " " का सामान्य रूप से भी कोई अर्थ नहीं है क्योंकि पैरामीटर स्पेस में एक -field भी नहीं है! $d\theta$$\sigma$

— स्टीफन लॉरेंट

@PatrickCaldon सीएफडी पर एकमात्र निरंतरता बाधा है, जिसे सही-निरंतरता की आवश्यकता है। आपको इसकी आवश्यकता है ताकि आपकी संभावना अपरिभाषित से परिभाषित न हो और (संभवतः) फिर से वापस आ जाए, जो अजीब होगा। मुझे 100% यकीन नहीं है, लेकिन मुझे लगता है कि जब तक आपके पास आपका cdf है, और इसलिए एक संभावना है, तो आपको को हल करने में सक्षम होने की आवश्यकता नहीं है । यदि आप यह सुनिश्चित कर सकते हैं कि आरवी निरंतर है। $\int_D f$

— जॉय

(+1) मुझे 10K प्रतिनिधि तक पहुंचने पर सबसे पहले बधाई देने के लिए आइए! अच्छा जवाब; मैं विशेष रूप से आपके द्वारा दिए गए उदाहरण को पसंद करता हूं। चीयर्स। :)

— कार्डिनल

Answer 2

ठीक है, लेकिन संभावना समारोह पैरामीटर दिया मनाया डेटा के लिए संयुक्त प्रायिकता घनत्व है । इस तरह यह एक संभावना घनत्व समारोह बनाने के लिए सामान्यीकृत किया जा सकता है। तो यह मूल रूप से एक पीडीएफ की तरह है।$θ$

Comments

तो, आप केवल यह इंगित कर रहे हैं कि संभावना पैरामीटर के संबंध में अस्पष्ट है (क्या यह हमेशा सच है?)। मुझे लगता है कि जब आप एक फ्लैट से पहले उपयोग किया जाता है, तो आप वितरण के बाद के वितरण की संभावना के संबंध के लिए चिंतित हो सकते हैं, लेकिन अधिक स्पष्टीकरण के बिना यह उत्तर मेरे लिए रहस्यमय बना हुआ है।

— मैक्रो

एकता का घालमेल बिंदु के बगल में है। फिशर, 1922 के पेपर में सैद्धांतिक आंकड़ों के गणितीय आधार पर, वास्तव में संभावना को उपयुक्त फ़ंक्शन गुणा करने पर एकता को एकीकृत करने के लिए "सामान्यीकृत" किया जा सकता है, ताकि । उन्होंने जो मनमानी की, उस पर आपत्ति जताई : ऐसे कई काम हैं। "... संभावना शब्द का गलत तरीके से इस तरह के संबंध में उपयोग किया जाता है: संभाव्यता आवृत्तियों का एक अनुपात है, और ऐसे मूल्यों की आवृत्तियों के बारे में हम कुछ भी नहीं जान सकते हैं।" पी ( θ ) ∫ एल ( θ $L(\theta)$$p(\theta)$$\int L(\theta)p(\theta)d\theta=1$$p$

— whuber

@ Néstor (और माइकल) - ऐसा प्रतीत होता है कि व्हुबेर और मैंने दोनों ही इस सवाल की व्याख्या करते हुए पूछा कि संभावना क्यों घनत्व घनत्व नहीं है, कार्य के रूप में$\theta$ तो ऐसा प्रतीत होता है कि हम विभिन्न प्रश्नों का उत्तर दे रहे हैं। बेशक संभावना यह है कि प्रेक्षणों का घनत्व कार्य (पैरामीटर मान दिया गया है) - कि यह कैसे परिभाषित किया गया है।

— मैक्रो

माइकल, मुझे लगता है कि हमने इसकी व्याख्या इस तरह से की क्योंकि संभावना the का एक कार्य है , इसलिए यदि यह एक घनत्व था, तो यह में एक घनत्व होगा । मैं इसकी व्याख्या करने की कल्पना कर सकता हूं कि आपके पास यह तरीका है लेकिन नेस्टर की टिप्पणी को पढ़ने तक मेरे लिए यह संभावना नहीं थी। $\theta$$\theta$

— मैक्रों

मुझे लगता है कि अस्पष्टता इस जवाब से बनी है, लेकिन सवाल में मौजूद नहीं है। जैसा कि @ मैक्रो बताता है, संभावना केवल पैरामीटर का एक फ़ंक्शन है । ( जैसे , "घनत्व , जिसे को the कार्य के रूप में माना जाता है, संभावना फ़ंक्शन कहलाता है : ईएल लेहमैन, बिंदु अनुमान का सिद्धांत , खंड 6.2 ।) इस प्रकार प्रश्न स्पष्ट है प्रत्युत्तर देने से, तो, "संभावना है संयुक्त प्रायिकता घनत्व" स्पष्ट नहीं है लेकिन इस मुद्दे को confuses एक्स $f(x_1,\theta)\cdots f(x_n,\theta)$$x$$\theta$

— whuber

Answer 3

मैं एक सांख्यिकीविद् नहीं हूं, लेकिन मेरी समझ यह है कि जबकि संभावना फ़ंक्शन स्वयं पैरामीटर (ओं) के संबंध में एक पीडीएफ नहीं है, यह सीधे बायस नियम द्वारा उस पीडीएफ से संबंधित है। संभावना समारोह, पी (एक्स | थीटा), और पीछे के वितरण, एफ (थीटा | एक्स), कसकर जुड़े हुए हैं; "बिल्कुल अलग चीज नहीं"।

Comments

हमारी साइट पर आपका स्वागत है! आप इस थ्रेड में अन्य उत्तरों के लिए टिप्पणियों में दिलचस्प सामग्री पा सकते हैं। उनमें से कुछ इंगित करते हैं कि क्यों बेयस नियम लागू नहीं होता है जब तक कि अतिरिक्त गणितीय मशीनरी को स्पष्ट रूप से पेश नहीं किया जाता है (जैसे पैरामीटर के लिए सिग्मा फ़ील्ड)।

— whuber

धन्यवाद @whuber मैंने धागे में कहीं और बेयस नियम का कोई संदर्भ नहीं देखा, लेकिन मुझे लगता है कि टिप्पणियों में गठबंधन हैं, यह मानते हुए कि उन पर लेने के लिए स्नातक स्तर की संभावना में पर्याप्त रूप से धाराप्रवाह है (जो मैं नहीं हूं)। क्या आप इस बात से सहमत नहीं होंगे कि बेयस नियम के संदर्भ में संभावना समारोह रखने से ओपी के प्रश्न के लिए उपयोगी अंतर्ज्ञान प्रदान करता है?

— संतानायण

Bay के नियम को लागू करना संभव नहीं है, बिना the लिए एक प्रायिकता वितरण के बिना संभव नहीं है : उस वितरण के बीच का अंतर, और डेटा के वितरण को the कार्य के रूप में, इस थ्रेड में लगभग सब कुछ है। स्पष्ट रूप से यह मानते हुए कि इस तरह का वितरण माइकल चेरिक के जवाब पर टिप्पणी धागा में चर्चा की गई भ्रम का स्रोत है। इसलिए मैं इस बात से सहमत होना चाहता हूं कि इस बिंदु की स्पष्ट और सावधानीपूर्वक चर्चा सहायक हो सकती है, लेकिन उस जोखिम से कम कुछ भी अधिक भ्रम पैदा करता है। $\theta$$\theta$

— whuber

मेरी क्षमायाचना, पहली नज़र में यह धागा गलतफहमी की तुलना में थोड़ा अधिक था, लेकिन अब मैं आपके द्वारा संदर्भित विशेष टिप्पणियों को देख रहा हूं, विशेषकर फिशर के आपके उद्धरण को। लेकिन क्या यह एक बायेसियन बनाम आवृत्तिवादी बहस में नहीं आता है? क्या बायेसियन इंट्रेंस के चिकित्सकों की एक बड़ी संख्या नहीं है जो थीटा के लिए संभाव्यता वितरण के पक्ष में बहस करेंगे? (क्या आप उनसे सहमत हैं एक और बात है ...)

— संतानायना

हाँ, बी बनाम एफ बहस यहाँ गुप्त है। एक विचारशील लगातारवादी बेयस नियम का खुशी से उपयोग करेगा जब लिए एक पूर्व वितरण को अपनाने के लिए एक आधार मौजूद है , लेकिन बायेसियन से भागों कंपनी ने इनकार करते हुए कहा कि हमें एक पूर्व को अपनाना चाहिए । हम अपने क्यू से ले सकते हैं कि यह प्रश्न कैसे किया गया था। यदि इसके बजाय यह पूछा जाता कि "एक पीडीएफ (मापदंडों के लिए) के रूप में संभावना फ़ंक्शन का इलाज क्यों किया जा सकता है," जो कि बायेसियन लाइनों के साथ इस बातचीत को आगे बढ़ाएगा। लेकिन इसे नकारात्मक में पूछकर, ओपी हमें लगातार दृष्टिकोण से संभावना की जांच करने के लिए देख रहा था। $\theta$

— whuber

Answer 4

संभावना को रूप में परिभाषित किया गया है , जहां यदि f (x; θ) एक संभावित द्रव्यमान फ़ंक्शन है। , तो संभावना हमेशा एक से कम होती है, लेकिन यदि f (x; is) एक संभावना घनत्व फ़ंक्शन है, तो संभावना एक से अधिक हो सकती है, क्योंकि घनत्व एक से अधिक हो सकता है।$\mathcal{L}(\theta; x_1,...,x_n) = f(x_1,...,x_n; \theta)$

आम तौर पर नमूनों का इलाज iid से किया जाता है, फिर:
$\mathcal{L}(\theta; x_1,...,x_n) = f(x_1,...,x_n; \theta) = \prod_{j} f(x_j; \theta)$

आइए देखें इसका मूल रूप:

बायेसियन इंविक्शन के अनुसार, रखती है, कि । ध्यान दें कि अधिकतम संभावना अनुमान प्रमाण के अनुपात को एक स्थिर के रूप में मानता है (इस प्रश्न के उत्तर देखें ), जो पूर्व मान्यताओं को छोड़ देता है। संभावना के पीछे एक सकारात्मक सहसंबंध है जो अनुमानित मापदंडों के आधार पर है। एक पीडीएफ हो सकता है, लेकिन से नहीं है, जब सिर्फ का एक हिस्सा है, जो कि असाध्य है। $f(x_1,...,x_n; \theta) = \frac{f(\theta; x_1,...,x_n) * f(x_1,...,x_n)}{f(\theta)}$$\hat{\mathcal{L}} = \frac{posterior * evidence}{prior}$एल एलएल एल$\hat{\mathcal{L}}$$\mathcal{L}$$\mathcal{L}$$\hat{\mathcal{L}}$

उदाहरण के लिए, मैं गौसियन वितरण के माध्य और मानक विचरण को नहीं जानता और उस वितरण से बहुत सारे नमूनों का उपयोग करके प्रशिक्षण प्राप्त करना चाहता हूं। मैं पहले माध्य और मानक विचरण को बेतरतीब ढंग से शुरू करता हूं (जो एक गाऊसी वितरण को परिभाषित करता है), और फिर मैं एक नमूना लेता हूं और अनुमानित वितरण में फिट होता हूं और मुझे अनुमानित वितरण से संभावना मिल सकती है। फिर मैंने नमूना जारी रखा और कई संभावनाएं प्राप्त कीं और फिर मैंने इन संभावनाओं को गुणा किया और एक अंक प्राप्त किया। इस तरह के स्कोर की संभावना है। शायद ही यह एक निश्चित पीडीएफ की संभावना हो सकती है।