एक '' महत्वपूर्ण चर '' जो आउट-ऑफ-सैंपल भविष्यवाणियों में सुधार नहीं करता है - व्याख्या कैसे करें?

Question

मेरा एक प्रश्न है कि मुझे लगता है कि बहुत सारे उपयोगकर्ताओं के लिए काफी बुनियादी होगा।

(I) रेखीय प्रतिगमन मॉडल का उपयोग करते हुए Im कई व्याख्यात्मक चर के संबंध की जांच करता है और मेरी प्रतिक्रिया चर और (ii) व्याख्यात्मक चर का उपयोग करके मेरे प्रतिक्रिया चर की भविष्यवाणी करता है।

एक विशेष व्याख्यात्मक चर एक्स मेरे प्रतिक्रिया चर पर हस्ताक्षर करने के लिए प्रभावी ढंग से प्रकट होता है। इस प्रतिक्रियाशील चर X के जोड़े गए मूल्य का परीक्षण करने के लिए मैंने अपने प्रतिक्रिया चर के आउट-ऑफ-सैंपल भविष्यवाणियों के उद्देश्य से दो मॉडलों का उपयोग किया: मॉडल (ए) जिसमें सभी व्याख्यात्मक चर और मॉडल (बी) का उपयोग किया गया था जिसमें सभी चर का उपयोग किया गया था वेरिएबल X को छोड़कर। दोनों मॉडलों के लिए मैं केवल आउट-ऑफ-सैंपल प्रदर्शन की रिपोर्ट करता हूं। ऐसा प्रतीत होता है कि दोनों मॉडल लगभग समान रूप से अच्छे प्रदर्शन करते हैं। दूसरे शब्दों में, व्याख्यात्मक चर एक्स को जोड़ने से आउट-ऑफ-नमूना भविष्यवाणियों में सुधार नहीं होता है। ध्यान दें कि मैंने मॉडल (ए), यानी सभी व्याख्यात्मक चर वाले मॉडल का उपयोग किया है, यह पता लगाने के लिए कि व्याख्यात्मक चर एक्स आपकी प्रतिक्रिया चर को काफी प्रभावित करता है।

मेरा सवाल अब यह है: इस खोज की व्याख्या कैसे करें? सीधा निष्कर्ष यह है कि, भले ही चर एक्स हीन मॉडल का उपयोग करके मेरी प्रतिक्रिया चर को काफी प्रभावित करता है, यह आउट-ऑफ-सैंपल भविष्यवाणियों में सुधार नहीं करता है। हालाँकि, मुझे इस खोज को समझाने में परेशानी हो रही है। यह कैसे संभव हो सकता है और इस खोज के लिए कुछ स्पष्टीकरण क्या हैं?

अग्रिम में धन्यवाद!

अतिरिक्त जानकारी: 'काफी प्रभाव' के साथ मेरा मतलब है कि पैरामीटर अनुमान के उच्चतम 95% पोस्टीरियर घनत्व अंतराल में शामिल नहीं है (एक बाइसियन दृष्टिकोण का उपयोग करके im)। लगातार शब्दों में, यह मोटे तौर पर 0.05 से कम पी-मूल्य होने से मेल खाती है। मैं अपने सभी मॉडल मापदंडों के लिए केवल विसरित (अनइनफॉर्मेटिव) पुजारियों का उपयोग कर रहा हूं। मेरे डेटा में एक अनुदैर्ध्य संरचना है और इसमें लगभग 7000 अवलोकन शामिल हैं। आउट-ऑफ-द-नमूना भविष्यवाणियों के लिए मैंने अपने मॉडल को फिट करने के लिए 90% डेटा का उपयोग किया और 10% डेटा का उपयोग कई प्रतिकृति का उपयोग करके मॉडल का मूल्यांकन करने के लिए किया। यही है, मैंने कई बार ट्रेन-टेस्ट स्प्लिट का प्रदर्शन किया और अंततः औसत प्रदर्शन मैट्रिक्स की रिपोर्ट की।

Comments

क्योंकि आप बायेसियन दृष्टिकोण का उपयोग कर रहे हैं, इसलिए आपके परिणाम आपके पूर्व डेटा पर निर्भर करते हैं। क्योंकि डेटा की बढ़ती मात्रा के साथ पूर्व पर निर्भरता कम हो जाती है और डेटा और पूर्व की असहमति की सीमा तक बढ़ जाती है, आपके लिए यह आवश्यक होगा कि आप पूर्व वितरण, डेटा की मात्रा और अकेले डेटा की कितनी बारीकी से पुष्टि करें। पूर्व वितरण के लिए।

— whuber

@ जब मैं यह बताना भूल गया कि मैं केवल डिफ्यूज़ (अनइनफॉर्मेटिव) पादरी का उपयोग कर रहा हूँ। इसलिए, मुझे ऐसा नहीं लगता है कि मेरे पूर्व विनिर्देश का मेरे निष्कर्षों से कोई लेना-देना है। मुझे पूरा यकीन है कि लगातार लीनियर रिग्रेशन मॉडल को फिट करने का परिणाम ठीक उसी निष्कर्ष पर पहुंचेगा।

— डबविस

धन्यवाद - जो कई संभावित स्पष्टीकरणों को खारिज करने में मदद करता है।

— whuber

क्या आप आयोजित किए गए डेटा के लिए मॉडल को परिष्कृत कर रहे हैं या उन मॉडलों का उपयोग कर रहे हैं जिन्हें आप अपने मूल डेटा में फिट करते हैं? या तो मामले में एक संभावित समस्या यह है कि आप आयोजित डेटा पर टाइप II त्रुटि कर रहे हैं; शायद चर प्रासंगिक है, लेकिन आप मूल रूप से कम आंका गया था (जिस स्थिति में आप शायद उस प्रभाव को कम कर रहे हैं जो भविष्यवाणियों को बदतर बना सकता है)। या चर अप्रासंगिक था और आपने टाइप I त्रुटि की थी। इस प्रकार की चीजें होने के बहुत सारे कारण हो सकते हैं।

— लड़का

मैंने कई मैट्रिक्स का उपयोग किया है: आरएसएमई, एमएई और एयूसी (इम यह भी भविष्यवाणी करने की कोशिश कर रहा है कि क्या मेरा प्रतिशोधी चर, जो निरंतर है, एक निश्चित सीमा से नीचे है)।

— डबविस

Answer 1

जब एक विशेष भविष्यवक्ता सांख्यिकीय रूप से महत्वपूर्ण होता है, तो इसका वास्तव में मतलब नहीं है कि यह किसी मॉडल के पूर्वानुमान के प्रदर्शन को भी बेहतर बनाता है। प्रिडिक्टिव प्रदर्शन प्रभाव के आकार से अधिक संबंधित है। उदाहरण के लिए, दो भविष्यवक्ताओं के साथ एक रेखीय प्रतीपगमन मॉडल से simulates डेटा नीचे समारोह x1और x2, और फिट दो मॉडल, दोनों के साथ एक x1और x2, और के साथ एक x1अकेला। फ़ंक्शन में आप के लिए प्रभाव आकार बदल सकते हैं x2। समारोह के गुणांकों के लिए विश्वास के अंतराल रिपोर्ट x1और x2, और भविष्य कहनेवाला प्रदर्शन का एक उपाय के रूप में दो मॉडल के मूल्यों।$R^2$

समारोह है:

sim_ES <- function (effect_size = 1, sd = 2, n = 200) {
    # simulate some data
    DF <- data.frame(x1 = runif(n, -3, 3), x2 = runif(n, -3, 3))
    DF$y <- 2 + 5 * DF$x1 + (effect_size * sd) * DF$x2 + rnorm(n, sd = sd)

    # fit the models with and without x2
    fm1 <- lm(y ~ x1 + x2, data = DF)
    fm2 <- lm(y ~ x1, data = DF)

    # results
    list("95% CIs" = confint(fm1),
         "R2_X1_X2" = summary(fm1)$r.squared,
         "R2_only_X1" = summary(fm2)$r.squared)
}

एक परीक्षा के रूप में, हमें मिलने वाले डिफ़ॉल्ट मानों के लिए,

$`95% CIs`
               2.5 %   97.5 %
(Intercept) 1.769235 2.349051
x1          4.857439 5.196503
x2          1.759917 2.094877

$R2_X1_X2
[1] 0.9512757

$R2_only_X1
[1] 0.8238826

इसलिए x2यह महत्वपूर्ण है, और इसे मॉडल में शामिल नहीं करना पर एक बड़ा प्रभाव डालता है ।$R^2$

लेकिन अगर हम प्रभाव का आकार 0.3 पर सेट करते हैं, तो हमें यह मिलता है:

> sim_ES(effect_size = 0.3)
$`95% CIs`
                2.5 %    97.5 %
(Intercept) 1.9888073 2.5563233
x1          4.9383698 5.2547929
x2          0.3512024 0.6717464

$R2_X1_X2
[1] 0.9542341

$R2_only_X1
[1] 0.9450327

गुणांक अभी भी महत्वपूर्ण है लेकिन में सुधार बहुत छोटा है।$R^2$

Comments

सांख्यिकीय महत्व बनाम भविष्य कहनेवाला प्रदर्शन के बीच अस्पष्ट द्वंद्ववाद एक से अधिक तरीकों से मेरे विश्लेषिकी जीवन का प्रतिबंध है। (+1 - और सीवी प्रो के लिए एक सामान्य स्वागत!)

— us11r11852

Answer 2

यह कई प्रतिगमन में होने वाली एक सामान्य बात है। सबसे आम कारण यह है कि आपके भविष्यवक्ता एक-दूसरे से संबंधित हैं। दूसरे शब्दों में, आप अन्य भविष्यवक्ताओं के मूल्यों से एक्स को अनुमान लगा सकते हैं। इसलिए, यदि यह भविष्यवाणियों के लिए उपयोगी है, यदि यह एकमात्र पूर्वानुमानक है जो आपके पास है, तो एक बार आपके पास अन्य सभी भविष्यवाणियों के साथ यह बहुत अतिरिक्त जानकारी प्रदान नहीं करता है। आप देख सकते हैं कि क्या अन्य भविष्यवक्ताओं पर एक्स को पुनः प्राप्त करने से यह मामला है। मैं नि: शुल्क ऑनलाइन पाठ्यपुस्तक, सांख्यिकीय सीखने के तत्वों में रैखिक प्रतिगमन पर अध्याय का भी उल्लेख करूंगा।

Comments

आप प्रश्न में वर्णित विशिष्ट परिस्थितियों को संबोधित करने के बजाय एक गैर-महत्वपूर्ण व्याख्यात्मक चर का वर्णन करते प्रतीत होते हैं।

— whuber

मैं एक व्याख्यात्मक चर का वर्णन कर रहा हूं, जो अपने आप में प्रतिक्रिया (यानी एक साधारण प्रतिगमन) में महत्वपूर्ण रूप से संबंधित है, जो कि मुझे लगता है कि प्रश्न का अर्थ "एक्स द्वारा मेरे प्रतिक्रिया चर पर हस्ताक्षर करने के लिए प्रभावी रूप से प्रकट होता है" है।

— डेनजिलो

लेकिन उस मामले में मुझे यह नहीं पता था कि मेरा व्याख्यात्मक चर एक्स मेरे प्रतिक्रिया चर को काफी प्रभावित करता है? हो सकता है कि मैंने शुरू में अपने प्रश्न में इसे स्पष्ट नहीं किया था, लेकिन मैंने सभी व्याख्यात्मक चर वाले मॉडल का उपयोग किया ताकि यह पता चले कि व्याख्यात्मक चर X का मेरी प्रतिक्रिया चर पर एक महत्वपूर्ण प्रभाव है।

— डबविस

मैंने प्रश्न को अर्थ के रूप में पढ़ा $X$एक बहु प्रतिगमन के संदर्भ में महत्वपूर्ण है। यह "कई व्याख्यात्मक चर" के संदर्भ से बहुत स्पष्ट लगता है। मुझे चिंता है कि आपका जवाब ओपी को भ्रमित कर सकता है।

— whuber

हाँ, आप सही तरीके से समझ गए मेरा मतलब यह है। मैंने अपने प्रश्न में यह अच्छी तरह से स्पष्ट रूप से स्पष्ट किया है।

— डबविस