क्या लॉजिस्टिक रिग्रेशन अधिकतम होने की संभावना को भी रेखीय मॉडल से अधिक करता है?

Question

बाइनरी परिणामों के साथ एक डेटा सेट को देखते हुए और कुछ भविष्यवाणिय मैट्रिक्स , मानक लॉजिस्टिक प्रतिगमन मॉडल गुणांक के बीटा +1 {MLE } जो द्विपद संभावना को अधिकतम करता है। जब एक्स पूर्ण रैंक है \ बीटा_ {एमएलई} अद्वितीय है; जब पूर्ण पृथक्करण मौजूद नहीं है, तो यह परिमित है।$y\in\{0,1\}^n$$X\in\mathbb{R}^{n\times p}$$\beta_{MLE}$$X$$\beta_{MLE}$

इस अधिकतम संभावना मॉडल भी आरओसी एयूसी (उर्फ अधिकतम करता है $c$ -statistic), या कुछ गुणांक का अनुमान है मौजूद है $\beta_{AUC} \neq \beta_{MLE}$ जो एक उच्च आरओसी एयूसी प्राप्त करेंगे? यदि यह सच है कि MLE जरूरी ROC AUC को अधिकतम नहीं करता है, तो इस प्रश्न को देखने का एक और तरीका है "क्या संभावना संभावना का एक विकल्प है जो हमेशा एक तार्किक प्रतिगमन के ROC AUC को अधिकतम करेगा?"

मैं मान रहा हूं कि मॉडल अन्यथा समान हैं: हम $X$ में भविष्यवाणियों को जोड़ या हटा नहीं रहे हैं , या अन्यथा मॉडल विनिर्देश को बदल रहे हैं, और मैं यह मान रहा हूं कि संभावना-अधिकतम और एयूसी-अधिकतम मॉडल समान लिंक फ़ंक्शन का उपयोग कर रहे हैं।

Comments

निश्चित रूप से $\beta_{\text{AUC}} \neq \beta_{\text{MLE}}$ यदि, जैसे, कुछ लिंक फ़ंक्शन एक लॉग से बेहतर फिट उत्पन्न करता है? इसके अलावा, अच्छा सवाल, अगर डेटा जनरेट करने की प्रक्रिया को लॉगिट माना जा सकता है।

— Nutle

अच्छा सवाल है लेकिन इस पर विचार करें। आरओसी और एयूसी का उपयोग दो अलग-अलग मॉडलों की तुलना करने के लिए किया जाता है, इसलिए यदि किसी मॉडल के एमएलई अनुमान के लिए एक समाधान अद्वितीय है, तो इसका मतलब है कि आप एक अलग एयूसी तभी प्राप्त कर सकते हैं जब आप वर्तमान मॉडल के विनिर्देश को बदलते हैं और आप एक नया अलग अनुमान लगाते हैं। MLE के माध्यम से मॉडल। तो इस बिंदु पर एक और सवाल होगा: क्या कोई अन्य "बेहतर" अनुमान विधि (अधिकतम एल्गोरिथ्म ecc) है जो साधारण MLE के अलावा एक ही मॉडल पर लागू होती है जैसे कि मुझे नए "बेहतर" बेटों के लिए अग्रणी गुणांकों के विभिन्न अनुमान मिलते हैं। उच्च AUC के साथ?

— Fr1

@ वास्तव में, यह एक अलग विनिर्देश होगा

— Fr1

@ Fr1 हाँ, यही अनोखा साधन है। मैं अपने प्रश्न में जो कुछ लगा रहा हूं, वह कुछ इस तरह है "क्या होगा यदि MLE के लिए कोई विकल्प हो जो उच्चतर AUC को प्राप्त करता है?" अगर यह सच है कि एक अलग रैखिक मॉडल (MLE के अलावा एक मॉडल) है जो एक उच्च AUC को प्राप्त करता है, तो इसके बारे में जानना दिलचस्प होगा।

— साइकोरैक्स का कहना है कि मोनिका

@ साइकोरेक्स हम और क्या ग्रहण करते हैं? :) मान्यताएँ महत्वपूर्ण हैं, क्योंकि अगर हम लिंक और चर के साथ सही DGP जानते हैं , तो MLE समान रूप से सबसे शक्तिशाली निष्पक्ष आँकड़ा है।

— Nutle

Answer 1

यह मामला नहीं है कि ।$\beta_{MLE} = \beta_{AUC}$

इसे समझने के लिए, विचार करें कि AUC के रूप में लिखा जा सकता है

$P(\hat y_1 > \hat y_0 | y_1 = 1, y_0 = 0)$

अन्य पासवर्डों में, भविष्यवाणियों का क्रम केवल एक चीज है जो एयूसी को प्रभावित करता है । संभावना समारोह के साथ ऐसा नहीं है। इसलिए एक मानसिक व्यायाम के रूप में, मान लीजिए कि हमारे पास एक ही भविष्यवक्ता था और हमारे डेटासेट में, हमें पूर्ण पृथक्करण (यानी, परिमित नहीं है) दिखाई देता है। अब, यदि हम केवल सबसे बड़े भविष्यवक्ता का मूल्य ले रहे हैं और इसे कुछ छोटी राशि से बढ़ाते हैं, तो हम इस समाधान की संभावना को बदल देंगे, लेकिन यह एयूसी को नहीं बदलेगा, क्योंकि आदेश समान होना चाहिए। इस प्रकार, यदि पुराने MLE ने AUC को अधिकतम किया है, तो यह भविष्यवक्ता को बदलने के बाद भी AUC को अधिकतम करेगा, लेकिन अब संभावना को अधिकतम नहीं करेगा।$\beta_{MLE}$

इस प्रकार, बहुत कम से कम, यह मामला नहीं है कि अद्वितीय नहीं है; अनुमानों के क्रम को बनाए रखने वाला कोई भी ठीक उसी AUC को प्राप्त करता है। सामान्य तौर पर, चूंकि AUC डेटा के विभिन्न पहलुओं के प्रति संवेदनशील है, मेरा मानना ​​है कि हमें एक ऐसा मामला खोजने में सक्षम होना चाहिए, जहां अधिकतम । वास्तव में, मैं एक अनुमान लगाता हूं कि यह उच्च संभावना के साथ होता है।$\beta_{AUC}$$\beta$$\beta_{MLE}$$\beta_{AUC}$

EDIT (उत्तर में टिप्पणी चलती है)

अगला कदम यह साबित करना है कि MLE जरूरी AUC को अधिकतम नहीं करता है (जो अभी साबित नहीं हुआ है)। एक कुछ भविष्यवक्ताओं 1, 2, 3, 4, 5, 6, की तरह लेने के द्वारा यह कर सकते हैं (के साथ ) परिणामों 0, 0, 0, 1, 1, 1, 0. का कोई भी सकारात्मक मूल्य के साथ AUC को अधिकतम करेगा ( के मान की परवाह किए बिना ), लेकिन हम एक पर्याप्त रूप से चुन सकते हैं जो कि ।$x$$x > 6$$\beta$$x$$x$$\beta_{MLE} < 0$

Comments

(+1) आह! बेशक - चूंकि यह आदेश देने के बारे में है, हम मनमाने ढंग से अवरोधन को बदल सकते हैं जो स्पष्ट रूप से संभावना मूल्य को बदलना होगा, लेकिन आदेश समान होना चाहिए क्योंकि कोई भी गुणांक नहीं बदला है, इसलिए एयूसी निश्चित रहेगा।

— साइकोरैक्स का कहना है कि मोनिका

+1। हालांकि उदाहरण संपादित करें साथ काम करता है , हालांकि? यदि हमें बड़े साथ काम करने के लिए पर्याप्त बड़ी लेने की आवश्यकता है , तो क्या ऐसे मूल्यों की संभावना नहीं है जो मौजूदा रूप से जल्दी से 0 में परिवर्तित हो जाते हैं, कुछ निश्चित लॉजिट के लिए? $n \rightarrow \infty$$x$$n$

— Nutle

@ नट: ठीक है, निर्भर करता है कि आप बारे में क्या मतलब है । यदि हमने अपने खिलौना डेटासेट की प्रतियां (भविष्यवक्ता + परिणाम) ले ली हैं , तो हां इसका परिणाम होगा। हालांकि, अगर हमने भविष्यवाणियों के सेट की प्रतियां लीं , और डेटा वास्तव में एक लॉजिस्टिक रिग्रेशन मॉडल से आया, तो यह लगभग कभी नहीं होगा (जैसा कि आप बताते हैं)। ध्यान दें, हालांकि, ऐसा कुछ होने की संभावना अधिक हो सकती है यदि भविष्यवाणियों के बीच संबंध वास्तव में एक लॉजिस्टिक रिग्रेशन मॉडल का पालन नहीं करता है। $n \rightarrow \infty$$n$$n$

— एबी एबी

हाँ, धन्यवाद, आकार के बारे में बात कर रहा था। इसलिए, माना जाता है कि इस तरह के भारी पूंछ वितरण को जाना जाता है, क्या उदाहरण अभी भी धारण करेगा यदि MLE अनुमान सही वितरण के लिए समायोजित किया गया था? मैं क्या करने जा रहा हूं, अगर किसी भी नमूने लिए ऐसे की संभावना 0 के करीब नहीं है, तो क्या MLE अनुमान के अनुसार उस पर प्रतिक्रिया नहीं देनी चाहिए और न ही उसके साथ कार्य करना चाहिए? क्षमा करें, यदि मैं $x$$n$

— शब्दांकन के