बहुपद प्रतिगमन (MLR) के लिए विश्वास अंतराल के आकार को समझना

11

मुझे बहुपद प्रतिगमन के विश्वास अंतराल के आकार को समझने में कठिनाइयाँ होती हैं।

यहाँ एक कृत्रिम उदाहरण है, । बाईं आकृति में यूपीवी (अनकल्ड प्रीडिक्शन विचरण) को दर्शाया गया है और दायां ग्राफ आत्मविश्वास अंतराल और एक्स (1.5), एक्स = 2 और एक्स = 3 पर मापा अंक (कृत्रिम) को दर्शाता है। $\hat{Y}=a+b\cdot X+c\cdot X^2$

अंतर्निहित डेटा का विवरण:

डेटा सेट में तीन डेटा पॉइंट (1.5; 1), (2; 2.5) और (3; 2.5) होते हैं।
प्रत्येक बिंदु को 10 बार "मापा गया" और प्रत्येक मापा मूल्य । एक poynomial मॉडल के साथ एक एमएलआर 30 परिणामी बिंदुओं पर प्रदर्शन किया गया था। $y \pm 0.5$
विश्वास अंतराल की गणना सूत्र और के साथ की गई थी (दोनों सूत्र मायर्स, मोंटगोमरी, एंडरसन-कुक, "रिस्पांस सर्फेस मेथोडोलॉजी" चौथे संस्करण, पृष्ठ 407 और 34 से लिए गए हैं)
$U P V = \frac{V a r [\hat{y} (x_{0})]}{{\hat{σ}}^{2}} = x_{0}^{'} (X^{'} X)^{- 1} x_{0}$ $UPV=\frac{Var[\hat{y}(x_0)]}{\hat{\sigma}^2}=x_0'(X'X)^{-1}x_0$ $\hat{y} (x_{0}) - t_{α / 2, d f (e r r o r)} \sqrt{{\hat{σ}}^{2} \cdot x_{0}^{'} (X^{'} X)^{- 1} x_{0}}$ $\hat{y}(x_0) - t_{\alpha /2, df(error)}\sqrt{\hat{\sigma}^2\cdot x_0'(X'X)^{-1}x_0}$ $\leq μ_{y | x_{0}} \leq \hat{y} (x_{0}) + t_{α / 2, d f (e r r o r)} \sqrt{{\hat{σ}}^{2} \cdot x_{0}^{'} (X^{'} X)^{- 1} x_{0}} .$ $\leq \mu_{y|x_0} \leq \hat{y}(x_0) + t_{\alpha /2, df(error)}\sqrt{\hat{\sigma}^2\cdot x_0'(X'X)^{-1}x_0} .$

$t_{\alpha /2, df(error)}=2$ और । $\hat{\sigma}^2=MSE=SSE/(n-p)\sim0.075$

मुझे विशेष रूप से विश्वास अंतराल के पूर्ण मूल्यों में दिलचस्पी नहीं है, बल्कि के आकार में है जो केवल निर्भर करता है । $x_0'(X'X)^{-1}x_0$

आकृति 1:

डिज़ाइन स्थान के बाहर बहुत उच्च पूर्वानुमानित संस्करण सामान्य है क्योंकि हम एक्सट्रपलेशन कर रहे हैं
लेकिन मापे गए बिंदुओं की तुलना में X = 1.5 और X = 2 के बीच विचरण क्यों छोटा है?
और X = 2 से अधिक मानों के लिए विचरण क्यों व्यापक हो जाता है, लेकिन फिर X = 2.3 के बाद X = 3 पर मापा बिंदु की तुलना में छोटा हो जाता है?

क्या माप के बिंदुओं पर छोटा होना और उनके बीच बड़ा होना तर्कसंगत नहीं होगा?

संपादित करें: समान प्रक्रिया लेकिन डेटा बिंदुओं के साथ [(1.5; 1), (2.25; 2.5), (3; 2.5)] और [(1.5; 1), (2; 2.5), (2.5; 2.2), (3) 2.5)]।

चित्र 2:

चित्र तीन:

यह ध्यान रखना दिलचस्प है, कि अंक 1 और 2 पर, अंकों पर UPV 1 के बराबर है। इसका मतलब यह है कि आत्मविश्वास अंतराल ठीक बराबर होगा । अंकों की बढ़ती संख्या (आंकड़ा 3) के साथ, हम मापा बिंदुओं पर यूपीवी-मान प्राप्त कर सकते हैं जो 1 से छोटे हैं। $\hat{y} \pm t_{\alpha /2, df(error)}\cdot \sqrt{MSE}$

regression confidence-interval

— जॉन टोकका टैकोस
स्रोत

2

क्या आप अपने साथ काम करने वाले डेटा को शामिल करने के लिए अपनी पोस्ट को संपादित कर सकते हैं?

— स्टीफ़न कोलासा

@StephanKolassa मैंने यह समझाने की कोशिश की कि मैंने किस डेटा का उपयोग किया है। फिर भी प्रश्न सामान्य तरीके से अधिक है और किसी विशेष उदाहरण के लिए बाध्य नहीं है।

— जॉन टोकका टैकोस

यदि आप डेटा प्रदान करते हैं, तो इसका उत्तर देना आसान हो जाएगा।

— स्टीफन कोलासा

6

$(x,y)$ $(x,x^2,y)$

हम त्रि-आयामी वस्तुओं को देखने के लिए ज़रूरत की कीमत का भुगतान करते हैं, जो एक स्थिर स्क्रीन पर करना मुश्किल है। (मुझे लगता है कि अंतहीन रूप से घूर्णन करने वाली छवियां कष्टप्रद होती हैं और इसलिए आप में से किसी को भी उन पर कोई प्रभाव नहीं पड़ेगा, भले ही वे सहायक हों।) इस प्रकार, यह उत्तर सभी के लिए अपील नहीं कर सकता है। लेकिन अपनी कल्पना के साथ तीसरे आयाम को जोड़ने के इच्छुक लोगों को पुरस्कृत किया जाएगा। मैं कुछ सावधानी से चुने गए ग्राफिक्स के माध्यम से इस प्रयास में आपकी मदद करने का प्रस्ताव करता हूं।

आइए स्वतंत्र चर की कल्पना करके शुरू करें । द्विघात प्रतिगमन मॉडल में

\begin{matrix} (1) & y_{i} = β_{0} + β_{1} (x_{i}) + β_{2} (x_{i}^{2}) + error, \end{matrix}

$y_i = \beta_0 + \beta_1 (x_i) + \beta_2 (x_i^2) + \text{error},\tag{1}$

$(x_i)$ $(x_i^2)$ $(x_i,x_i^2)$ $x$ $x^2.$ $(t,t^2):$

$(x,x^2)$

द्विघात प्रतिगमन इन बिंदुओं को समतल करता है।

$(\beta_0,\beta_1,\beta_2),$ $(x,x^2,y)$ $(1)$ $-\beta_1(x)-\beta_2(x^2)+(1)y-\beta_0,$ $(-\beta_1,-\beta_2,1).$ $\beta_1=-55/8$ $\beta_2=15/2,$ $1,$ $(x,x^2)$ विमान।)

यहाँ इन बिन्दुओं पर लगाया जाने वाला सबसे कम वर्ग का विमान है:

$y=f(x,x^2),$ $(t,t^2)$

t \to (t, t^{2}, f (t, t^{2}))

$t\to (t, t^2, f(t,t^2))$

$x$ $y$ $x^2$

$(x,\hat y)$ $\hat y$ $x.$

आत्मविश्वास बैंड इस सज्जित वक्र के लिए दर्शाया गया है क्या फिट करने के लिए हो सकता है जब डेटा बिंदुओं बेतरतीब ढंग से अलग किया जाता है। दृष्टिकोण को बदलने के बिना, मैंने डेटा के पांच स्वतंत्र नए सेटों में (जिसमें से केवल एक दिखाया गया है) पांच फिट विमानों (और उनके उत्कीर्ण वक्र) को प्लॉट किया है:

$x \approx 1.75$ $x \approx 3.$

आइए एक ही चीज़ को त्रि-आयामी भूखंड के ऊपर मँडराते हुए देखें और थोड़ा नीचे और विमान के विकर्ण अक्ष के साथ देखें। यह देखने में आपकी मदद करने के लिए कि विमान कैसे बदलते हैं, मैंने भी ऊर्ध्वाधर आयाम को संकुचित कर दिया है।

$(t,t^2)$ $(x,x^2).$

$(x_i,x_i^2)$ $\mathcal L$ $(x,x^2)$ $(x,x^2)$ $(x,x^2)$ $\mathcal L.$

$\mathcal L$ $t\to(t,t^2)$ $\mathcal L$ $x$ $1.7$ $2.9$

$(x,y)$

यह विश्लेषण वैचारिक रूप से उच्च-डिग्री बहुपद प्रतिगमन पर लागू होता है, साथ ही आम तौर पर कई प्रतिगमन पर भी लागू होता है। यद्यपि हम वास्तव में तीन आयामों से अधिक "देख" नहीं सकते हैं, रैखिक प्रतिगमन गणित यह गारंटी देता है कि यहां दिखाए गए प्रकार के दो और तीन आयामी भूखंडों से प्राप्त अंतर्ज्ञान उच्च आयामों में सटीक रहता है।

— व्हीबर
स्रोत

इस बेहतरीन जवाब के लिए धन्यवाद! यह मेरे लिए कभी नहीं हुआ कि द्विघात प्रतिगमन बिंदुओं को समतल करता है। ये ज्यामितीय योग वास्तव में सहज हैं, और इससे मुझे बहुत मदद मिली।

— जॉन टोकका टैकोस

1

यह इस तरह का एक शानदार जवाब है - हमें आपके सबसे अच्छे पोस्ट को संकलित करना चाहिए और उन्हें एक ओपन सोर्स बुक में बनाना चाहिए

— जेवियर बॉरेट सिस्कोट जूल 6'18

1

@Xavier तरह के शब्दों के लिए धन्यवाद। मैं ऐसा कुछ सोच रहा हूं और सभी रचनात्मक सुझावों और आलोचनाओं का स्वागत करता हूं।

— whuber

1

सहज ज्ञान युक्त

एक बहुत ही सहज और मोटे अर्थ में आप बहुपद वक्र को देख सकते हैं जैसे दो रैखिक वक्र एक साथ (एक घटते बढ़ते)। इन रैखिक घटता के लिए आपको केंद्र में संकीर्ण आकार याद हो सकता है ।

शिखर के बाईं ओर के बिंदुओं का शिखर के दाईं ओर की भविष्यवाणियों पर अपेक्षाकृत कम प्रभाव पड़ता है, और इसके विपरीत।

तो आप चोटी के दोनों किनारों पर दो संकीर्ण क्षेत्रों की उम्मीद कर सकते हैं (जहां दोनों पक्षों के ढलान में परिवर्तन का अपेक्षाकृत कम प्रभाव पड़ता है)।
शिखर के आसपास का क्षेत्र अपेक्षाकृत अधिक अनिश्चित है क्योंकि वक्र के ढलान में बदलाव का इस क्षेत्र में बड़ा प्रभाव पड़ता है। आप चोटी की एक बड़ी पारी के साथ कई घटता खींच सकते हैं जो अभी भी माप के बिंदुओं को उचित रूप से गर्त में ले जाता है

चित्रण

नीचे कुछ अलग आंकड़ों के साथ एक उदाहरण दिया गया है, जो आसानी से दिखाता है कि यह पैटर्न (आप दोहरा गाँठ कैसे कह सकते हैं) उत्पन्न हो सकते हैं:

set.seed(1)
x <- c(rep(c(-6, -5, 6, 5), 5))
y <- 0.2*x^2 + rnorm(20, 0, 1)
plot(x, y, 
     ylim=c(-10,30), xlim=c(-10,10),
     pch=21, col=1, bg=1, cex=0.3)

data    = list(y=y,           x=x,                x2=x^2)
newdata = list(y=rep(0,3001), x=seq(-15,15,0.01), x2=seq(-15,15,0.01)^2  )

model <- lm(y~1+x+x2, data=data)
predictions = predict(model, newdata = newdata, interval="predict")
lines(newdata$x, predictions[,1])
lines(newdata$x, predictions[,2], lty=2)
lines(newdata$x, predictions[,3], lty=2)

औपचारिक

^{$x$

$x$}

— सेक्सटस एम्पिरिकस
स्रोत

1

मुझे इस चरित्र-चित्रण या इसके किसी भी निष्कर्ष पर विश्वास करने में कठिन समय हो रहा है, क्योंकि मुझे यकीन है कि द्विघात प्रतिगमन केवल इस तरह से व्यवहार नहीं करता है। क्या आप उनके लिए कुछ औचित्य प्रदान करके मुझे मना सकते हैं?

— व्हिबर

1

मुझे लगता है कि यह अंकों की स्थिति पर निर्भर करता है। उदाहरण में शिखर के दोनों किनारों पर बिंदु हैं। तब आप शिखर की स्थिति को एक तरह के एक्सट्रपलेशन के रूप में मान सकते हैं। मैं बाद में एक अधिक चरम उदाहरण का मामला बनाऊंगा। (मुझे यह भी आश्चर्य है कि प्रतिगमन कैसे किया जाता है, लेकिन मुझे लगता है कि गुणांक में त्रुटि को सहसंबद्ध माना जाता है या अन्यथा आपको वास्तव में यह पैटर्न नहीं मिलता है)

— सेक्स्टस एम्पिरिकस

(x_{i}, x_{i}^{2})

$(x_i, x_i^2)$

x

$x$

x^{2}

$x^2$