बीटा वितरण और लॉजिस्टिक रिग्रेशन मॉडल के बीच क्या संबंध है?

Question

मेरा सवाल है: बीटा वितरण और लॉजिस्टिक रिग्रेशन मॉडल के गुणांकों के बीच गणितीय संबंध क्या है ?

वर्णन करने के लिए: उपस्कर (सिग्मॉइड) फ़ंक्शन द्वारा दिया जाता है

$$f(x) = \frac{1}{1+\exp(-x)}$$

और इसका उपयोग लॉजिस्टिक रिग्रेशन मॉडल में संभावनाओं को मॉडल करने के लिए किया जाता है। आज्ञा देना $A$ dichotomous $(0,1)$ रन परिणाम और $X$ एक डिजाइन मैट्रिक्स। लॉजिस्टिक रिग्रेशन मॉडल द्वारा दिया जाता है

$$P(A=1|X) = f(X \beta).$$

नोट में निरंतर 1 (अवरोधन) का पहला स्तंभ है और ression प्रतिगमन गुणांक का एक स्तंभ वेक्टर है। उदाहरण के लिए, जब हमारे पास एक (मानक-सामान्य) रेजिस्टर $X$$1$$\beta$$x$ और (अवरोधन) और β 1 = 1 , हम जिसके परिणामस्वरूप 'संभावनाओं का वितरण' अनुकरण कर सकते हैं।$\beta_0=1$$\beta_1=1$

यह प्लॉट बीटा वितरण की याद दिलाता है (जैसा कि अन्य विकल्पों के लिए प्लॉट करते हैं ) जिसका घनत्व इसके द्वारा दिया गया है$\beta$

$$g(y;p,q) = \frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)} y^{(p-1)} (1-y)^{(q-1)}.$$

अधिकतम संभावना या क्षणों के तरीकों का उपयोग करके P ( A = 1 | X) के वितरण से और q का अनुमान लगाना संभव है$p$$q$। : इस प्रकार, मेरे सवाल का नीचे आता हैके विकल्पों के बीच संबंध क्या है β और पी और क्यू ? यह, इसके साथ शुरू करने के लिए, ऊपर दिए गए बीवरिएट मामले को स्वीकार करता है।$P(A=1|X)$$\beta$$p$$q$

Comments

मैं सिर्फ 3 घंटे पहले अपने बायेसियन सांख्यिकी वर्ग में यह सोच रहा था

— अल्केमिस्ट

Answer 1

बीटा श्रेणी में मानों का एक वितरण है जो आकार में बहुत लचीला है, इसलिए लगभग किसी के लिए भी$(0,1)$ में मानों के असमान अनुभवजन्य वितरण के लिए आप आसानी से ऐसे बीटा वितरण के मापदंडों को पा सकते हैं जो "आकार" के समान है वितरण के।$(0,1)$

ध्यान दें कि लॉजिस्टिक रिग्रेशन आपको सशर्त संभाव्यता पीआर ( वाई = ) प्रदान करता है , जबकि आपके प्लॉट पर आप हमेंअनुमानित संभावनाओं कासीमांत वितरणप्रस्तुत कर रहे हैं। उन दो अलग-अलग चीजों के बारे में बात करना है।$\Pr(Y=1\mid X)$

लॉजिस्टिक रिग्रेशन मॉडल से भविष्यवाणियों के वितरण पर नजर डालें तो लॉजिस्टिक रिग्रेशन पैरामीटर्स और बीटा डिस्ट्रीब्यूशन के मापदंडों में कोई सीधा संबंध नहीं है। नीचे आप लॉजिस्टिक फ़ंक्शन का उपयोग करके सामान्य, घातीय और समान वितरण का उपयोग करके डेटा को सिम्युलेटेड देख सकते हैं। (वास्तव में रसद प्रतिगमन के एक ही मानकों का प्रयोग करके इसके अलावा यानी $\beta_0 = 0, \beta_1 = 1$ ), भविष्यवाणी की संभावनाओं का वितरण बहुत अलग हैं। इसलिए अनुमानित संभावनाओं का वितरण न केवल लॉजिस्टिक प्रतिगमन के मापदंडों पर निर्भर करता है, बल्कि वितरण पर भी निर्भर करता है और उनके बीच कोई सरल संबंध नहीं है।$X$

चूंकि बीटा में मानों का वितरण है , इसलिए इसका उपयोग बाइनरी डेटा को मॉडल करने के लिए नहीं किया जा सकता है जैसा कि लॉजिस्टिक रिग्रेशन करता है। इसका उपयोग संभावनाओं को मॉडल करने के लिए किया जा सकता है , ऐसे में हम उपयोग करते हैं$(0,1)$ बीटा रिग्रेशन ( यहां और यहां भी देखें ) का उपयोग करते हैं। इसलिए यदि आप संभावनाओं के रूप में रुचि रखते हैं (यादृच्छिक चर के रूप में समझा जाता है) व्यवहार करते हैं, तो आप ऐसे उद्देश्य के लिए बीटा प्रतिगमन का उपयोग कर सकते हैं।

Comments

तो अगर बीटा ऐसे किसी भी वितरण का अनुमान लगा सकता है, तो क्या इसके मापदंडों और बीच कोई संबंध नहीं होना चाहिए ? $\beta$

— टॉमका

@tomka लेकिन वितरण आपके डेटा के वितरण और मापदंडों पर निर्भर करता है , इसलिए यहां तक ​​कि ऐसे संबंध मौजूद हैं यह बहुत जटिल है। स्पष्ट रूप से प्रतिगमन मापदंडों और बीटा वितरण के मापदंडों के बीच कोई सीधा संबंध नहीं है। एक्स के लिए अलग-अलग वितरणों का उपयोग करके एक ही पैरामीटर के तहत लॉजिस्टिक रिग्रेशन भविष्यवाणियों का अनुकरण करने का प्रयास करें , सीमांत वितरण प्रत्येक मामले में भिन्न होगा। $X$

— टिम

बीटा वितरण इतना लचीला नहीं है - यह मल्टीमॉडल वितरण को अनुमानित नहीं कर सकता है।

— मार्कस पीएस

@MarcusPS मैंने इसे और अधिक स्पष्ट किया।

— टिम

@ मर्कसपीएस 0 और 1 के मोड के साथ मल्टीमॉडल वितरण के विशेष मामले को छोड़कर ...

— बेन बोल्कर

Answer 2

लॉजिस्टिक रिग्रेशन एक सामान्यीकृत रैखिक मॉडल (GLM) का एक विशेष मामला है। बाइनरी डेटा के इस विशेष मामले में, लॉजिस्टिक फ़ंक्शन विहित लिंक फ़ंक्शन है जो गैर-रेखीय प्रतिगमन समस्या को एक रैखिक समस्या में परिवर्तित करता है। जीएलएम कुछ विशेष हैं, इस अर्थ में कि वे केवल घातीय परिवार में वितरण पर लागू होते हैं (जैसे द्विपद वितरण)।

बायेसियन अनुमान में, द्विपदीय वितरण द्विपद वितरण से पहले संयुग्म है, जिसका अर्थ है कि द्विवार्षिक टिप्पणियों के साथ एक द्विआधारी पूर्व बीटा अद्यतन, एक बीटा पश्चात में परिणाम देगा। इसलिए यदि आपके पास द्विआधारी डेटा के अवलोकन के लिए मायने रखता है, तो आप पहले बीटा का उपयोग करके द्विपद वितरण के मापदंडों का एक विश्लेषणात्मक बायेसियन अनुमान प्राप्त कर सकते हैं।

इसलिए, अन्य लोगों द्वारा कही गई बातों के साथ, मुझे नहीं लगता कि इसका कोई सीधा संबंध है, लेकिन बीटा वितरण और लॉजिस्टिक रिग्रेशन दोनों में किसी ऐसी चीज के मापदंडों का अनुमान लगाने के साथ घनिष्ठ संबंध हैं जो एक द्विपद वितरण का अनुसरण करता है।

Comments

मैं पहले से ही बायेसियन परिप्रेक्ष्य का उल्लेख करने के लिए + 1'd, लेकिन ध्यान दें कि प्रतिगमन मॉडल के मामले में हम बीटा-द्विपद मॉडल का उपयोग नहीं करते हैं और सामान्य रूप से बीटा वितरण मापदंडों के लिए पूर्व के रूप में उपयोग नहीं किया जाता है - कम से कम विशिष्ट बायेसियन लॉजिस्टिक के मामले में प्रतिगमन । तो यह सीधे बीटा-बिनोमियल मॉडल में अनुवाद नहीं करता है।

— टिम

Answer 3

$P(A=1|X)$$X$$X$$N(0,1)$$\exp(-X\beta)$$\mu=-1$$\beta_0=\beta_1=1$$P(A=1|X)$

$$F(x)=1-\Phi\left[\ln\left(\frac{1}{x}-1\right)+1\right],$$ $$Q(x)=\frac{1}{1+\exp(\Phi^{-1}(1-x)-1)},$$ $$f(x)=\frac{1}{x(1 - x)\sqrt{2\pi}}\exp\left(-\frac{(\ln(1/x-1)+1)^2}{2}\right),$$

आप R में ऊपर दिए गए परिणामों को सत्यापित कर सकते हैं :

n = 100000

X = cbind(rep(1, n), rnorm(n)) # simulate design matrix
Y = 1 / (exp(-X %*% c(1,1)) + 1) # P(A=1|X)

Z1 = 1 / (rlnorm(n, -1, 1) + 1) # simulate from lognormal directly
Z2 = 1 / (1 + exp(qnorm(runif(n)) - 1)) # simulate with inverse CDF

# Kolmogorov–Smirnov test
ks.test(Y, Z1)
ks.test(Y, Z2)

# plot fitted density
new.pdf = function(x) {
  1 / (x * (1 - x) * sqrt(2 * pi)) * exp(-0.5 * (log(1 / x - 1) + 1)^2)
}
hist(Y, breaks = "FD", probability = T)
curve(new.pdf, col = 4, add = T)

Comments

$x$$f(x)$$[-\inf, \inf]$$P(A|X)$$[0,1]$$f(x)$$P(A|X)$।

— टॉमका

@tomka Logarithm डाल दिया $1/x-1>0$, इसलिए $x\in(0,1)$। भी$f$ is not pdf of standard normal, note the denominator.

— Francis

Why would the CLT have any applicability to the distribution of a regressor variable $X$??

— whuber

@whuber: looks like I have mistaken something, I removed that part.

— Francis