एक लॉजिस्टिक रिग्रेशन मॉडल का मूल्यांकन


13

मैं एक लॉजिस्टिक मॉडल पर काम कर रहा हूं और मुझे परिणामों के मूल्यांकन में कुछ कठिनाइयां आ रही हैं। मेरा मॉडल एक द्विपद लॉगिट है। मेरे व्याख्यात्मक चर हैं: 15 स्तरों, एक द्विगुणित चर और 2 निरंतर चर वाले एक श्रेणीगत चर। मेरा N बड़ा> 8000 है।

मैं निवेश करने के लिए फर्मों के निर्णय को मॉडल करने की कोशिश कर रहा हूं। आश्रित चर निवेश है (हां / नहीं), 15 स्तर के चर प्रबंधकों द्वारा बताए गए निवेश के लिए अलग-अलग बाधाएं हैं। बाकी चर बिक्री, क्रेडिट और प्रयुक्त क्षमता के लिए नियंत्रण हैं।

नीचे मेरे परिणाम हैं, rmsआर में पैकेज का उपयोग करते हुए।

  Model Likelihood     Discrimination    Rank Discrim.    
                         Ratio Test            Indexes          Indexes       
Obs          8035    LR chi2     399.83    R2       0.067    C       0.632    
 1           5306    d.f.            17    g        0.544    Dxy     0.264    
 2           2729    Pr(> chi2) <0.0001    gr       1.723    gamma   0.266    
max |deriv| 6e-09                          gp       0.119    tau-a   0.118    
                                           Brier    0.213                     

          Coef    S.E.   Wald Z Pr(>|Z|)
Intercept -0.9501 0.1141 -8.33  <0.0001 
x1=10     -0.4929 0.1000 -4.93  <0.0001 
x1=11     -0.5735 0.1057 -5.43  <0.0001 
x1=12     -0.0748 0.0806 -0.93  0.3536  
x1=13     -0.3894 0.1318 -2.96  0.0031  
x1=14     -0.2788 0.0953 -2.92  0.0035  
x1=15     -0.7672 0.2302 -3.33  0.0009  
x1=2      -0.5360 0.2668 -2.01  0.0446  
x1=3      -0.3258 0.1548 -2.10  0.0353  
x1=4      -0.4092 0.1319 -3.10  0.0019  
x1=5      -0.5152 0.2304 -2.24  0.0254  
x1=6      -0.2897 0.1538 -1.88  0.0596  
x1=7      -0.6216 0.1768 -3.52  0.0004  
x1=8      -0.5861 0.1202 -4.88  <0.0001 
x1=9      -0.5522 0.1078 -5.13  <0.0001 
d2         0.0000 0.0000 -0.64  0.5206  
f1        -0.0088 0.0011 -8.19  <0.0001 
k8         0.7348 0.0499 14.74  <0.0001 

मूल रूप से मैं दो तरीकों से प्रतिगमन का आकलन करना चाहता हूं, क) मॉडल डेटा को कितनी अच्छी तरह फिट करता है और ख) मॉडल कितनी अच्छी तरह से परिणाम की भविष्यवाणी करता है। फिट (ए) की अच्छाई का आकलन करने के लिए, मुझे लगता है कि इस मामले में ची-वर्ग पर आधारित अवमूल्यन परीक्षण उचित नहीं हैं क्योंकि अद्वितीय कोवरिएट्स की संख्या एन अनुमान लगाती है, इसलिए हम एक्स 2 वितरण नहीं मान सकते हैं। क्या यह व्याख्या सही है?

मैं epiRपैकेज का उपयोग करके सहसंयोजकों को देख सकता हूं ।

require(epiR)
logit.cp <- epi.cp(logit.df[-1]))

    id n x1   d2 f1 k8
     1 1 13 2030 56  1
     2 1 14  445 51  0
     3 1 12 1359 51  1
     4 1  1 1163 39  0
     5 1  7  547 62  0
     6 1  5 3721 62  1
    ...
    7446

मैंने यह भी पढ़ा है कि होस्मेर-लेमेशो गोएफ परीक्षण पुराना है, क्योंकि यह परीक्षण को चलाने के लिए डेटा को 10 से विभाजित करता है, जो कि मनमाना है।

इसके बजाय मैं rmsपैकेज में लागू किए गए ले केसी-वैन होउवालिंगन-कोपस-होसमेर परीक्षण का उपयोग करता हूं । मुझे यकीन नहीं है कि यह परीक्षण कैसे किया जाता है, मैंने इसके बारे में अभी तक कागजात नहीं पढ़ा है। किसी भी मामले में, परिणाम हैं:

Sum of squared errors    Expected value|H0           SD             Z            P
         1711.6449914         1712.2031888    0.5670868    -0.9843245    0.3249560

पी बड़ा है, इसलिए यह कहने के लिए पर्याप्त सबूत नहीं है कि मेरा मॉडल फिट नहीं है। महान! तथापि....

मॉडल (बी) की भविष्य कहनेवाला क्षमता की जांच करते समय, मैं एक आरओसी वक्र खींचता हूं और पाता हूं कि एयूसी है 0.6320586। यह बहुत अच्छा नहीं लगता है।

यहाँ छवि विवरण दर्ज करें

तो, मेरे सवालों का सारांश देने के लिए:

  1. क्या मेरे मॉडल की जांच करने के लिए परीक्षण मैं उपयुक्त हैं? मैं किस अन्य परीक्षण पर विचार कर सकता था?

  2. क्या आप मॉडल को बिल्कुल उपयोगी पाते हैं, या क्या आप अपेक्षाकृत खराब आरओसी विश्लेषण परिणामों के आधार पर इसे खारिज कर देंगे?


क्या आप सुनिश्चित हैं कि आपको x1एक एकल श्रेणीगत चर के रूप में लिया जाना चाहिए? यही है, क्या हर मामले में निवेश करने के लिए 1, और केवल 1, 'बाधा' है? मुझे लगता है कि कुछ मामलों को 2 या अधिक बाधाओं के साथ सामना किया जा सकता है, और कुछ मामलों में कोई नहीं है।
गुंग - को पुनः स्थापित मोनिका

जवाबों:


6

कई हजारों परीक्षण हैं जो एक लॉजिस्टिक रिग्रेशन मॉडल का निरीक्षण करने के लिए आवेदन कर सकते हैं, और इसमें से बहुत कुछ इस बात पर निर्भर करता है कि किसी का लक्ष्य भविष्यवाणी, वर्गीकरण, चर चयन, अनुमान, कारण मॉडलिंग आदि है। उदाहरण के लिए, होस्मेर-लेमेशो परीक्षण। मॉडल कैलिब्रेशन और क्या अनुमानित मूल्य जोखिम डिकाइल्स द्वारा विभाजित होने पर अनुमानित आवृत्ति से मेल खाते हैं। हालांकि, 10 का विकल्प मनमाना है, परीक्षण में असममित परिणाम हैं और आसानी से संशोधित किया जा सकता है। एचएल परीक्षण, साथ ही एयूसी, (मेरी राय में) लॉजिस्टिक रिग्रेशन मॉडल का अनुमान लगाने के लिए उपयोग किए गए समान डेटा पर गणना करने पर बहुत ही निर्बाध परिणाम होते हैं। यह एक आश्चर्यजनक कार्यक्रम है जैसे एसएएस और एसपीएसएस ने आंकड़ों के लगातार रिपोर्टिंग को वास्तविक रूप से अलग-अलग विश्लेषण करते हैंलॉजिस्टिक रिग्रेशन परिणाम पेश करने का तरीका। भविष्यवाणी की सटीकता (जैसे एचएल और एयूसी) के परीक्षण एक मॉडल की भविष्य कहनेवाला क्षमता का आकलन करने के लिए अलग-अलग समय में एकत्र किए गए स्वतंत्र डेटा सेट, या (और भी बेहतर) डेटा के साथ नियोजित होते हैं।

एक और बात यह है कि भविष्यवाणी और अनुमान बहुत अलग चीजें हैं। भविष्यवाणी का मूल्यांकन करने का कोई वस्तुनिष्ठ तरीका नहीं है, ०.६५ का एक एयूसी बहुत दुर्लभ और जटिल घटनाओं की भविष्यवाणी करने के लिए बहुत अच्छा है जैसे कि १ वर्ष स्तन जोखिम। इसी तरह, अनुमान में मनमाना होने का आरोप लगाया जा सकता है क्योंकि 0.05 की पारंपरिक झूठी सकारात्मक दर को आमतौर पर चारों ओर फेंक दिया जाता है।

यदि मैं आप थे, तो आपकी समस्या का वर्णन करने में दिलचस्पी थी कि प्रबंधक मॉडलिंग के प्रभाव को निवेश में "बाधा" बताए, इसलिए मॉडल समायोजित संघों को प्रस्तुत करने पर ध्यान दें। मॉडल अनुमानों अनुपात के लिए बिंदु अनुमान और 95% आत्मविश्वास अंतराल पेश करें और दूसरों के साथ उनके अर्थ, व्याख्या और वैधता पर चर्चा करने के लिए तैयार रहें। वन प्लॉट एक प्रभावी ग्राफिकल टूल है। आपको डेटा में इन बाधाओं की आवृत्ति को भी दिखाना होगा, और अन्य समायोजन चर द्वारा उनकी मध्यस्थता को प्रदर्शित करना होगा कि क्या अनौपचारिक परिणामों में भ्रमित होने की संभावना कम थी या बड़ी थी। मैं अभी और आगे जाऊंगा और प्रबंधक के बीच निरंतरता के लिए क्रोनबैच के अल्फा जैसे कारकों का पता लगाऊंगा ताकि यह निर्धारित किया जा सके कि प्रबंधकों ने इसी तरह की समस्याओं की रिपोर्ट की है, या

मुझे लगता है कि आप थोड़ा बहुत संख्याओं पर ध्यान केंद्रित कर रहे हैं, न कि सवाल पर। मॉडल परिणाम कभी प्रस्तुत किए जाने से पहले 90% एक अच्छी सांख्यिकी प्रस्तुति होती है।


आपकी प्रतिक्रिया के लिए धन्यवाद एडम! मैं अपने अधिकांश एनालिसिस को अनुपात अनुपात की व्याख्या और अनुमानित संभावनाओं पर आधारित करता हूं। लेकिन चूंकि इम लॉजिस्टिक रिग्रेशन के साथ अभी तक बहुत ज्यादा असहज नहीं है, इसलिए मुझे डर है कि मेरा विश्लेषण खारिज हो सकता है क्योंकि इम कुछ सामान्य मॉडल फिट परीक्षण को याद नहीं कर रहा है। लेकिन जैसा कि आपने कहा, मुझे यह भी विश्वास है कि मुझे मॉडल की अधिक वित्तीय व्याख्या पर ध्यान केंद्रित करना चाहिए। मैं वन भूखंडों और Cronbach´s अल्फा के लिए आपके पुनर्मूल्यांकन पर भी विचार करूंगा। एक बार फिर धन्यवाद!
फेडेरिको सी

मॉडल मान्यताओं का एकमात्र वैध संभावित उल्लंघन डेटा से संबंधित होगा, जिससे आपकी समस्या का विवरण मिलता है। इस बात को ध्यान में रखते हुए, आप क्यूसिबिनोमियल रिग्रेशन मॉडल के साथ फैलाव का परीक्षण कर सकते हैं , या आप उद्योग प्रकारों (आपके द्वारा उल्लिखित विभिन्न फर्मों के लिए) द्वारा उपसमूह विश्लेषण करने का प्रयास कर सकते हैं, या फिर क्लस्टर विश्लेषण का प्रयास कर सकते हैं।
एडमो
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.