यदि आप इसे मौखिक रूप से नहीं कर सकते हैं, तो इसे कच्चा (बहुपद प्रतिगमन) करें

जब पर लिए बहुपद प्रतिगमन का प्रदर्शन करते हैं , तो लोग कभी-कभी कच्चे बहुपद, कभी-कभी ऑर्थोगोनल बहुपद का उपयोग करते हैं। लेकिन जब वे उपयोग करते हैं जो पूरी तरह से मनमाना लगता है। $Y$ $X$

यहाँ और यहाँ कच्चे बहुपद का उपयोग किया जाता है। लेकिन यहां और यहां , ऑर्थोगोनल पॉलीओनियम्स सही परिणाम देने के लिए लगता है। क्या, कैसे, क्यों ?!

इसके विपरीत, जब एक पाठ्यपुस्तक (जैसे ISLR ) से बहुपद प्रतिगमन के बारे में सीखते हैं, तो यह भी कच्चे या रूढ़िवादी बहुपद का उल्लेख नहीं करता है - बस फिट होने के लिए मॉडल दिया गया है।

तो हमें कब क्या उपयोग करना है?
और क्यों , आदि के लिए व्यक्तिगत पी-मान इन दो मूल्यों के बीच बहुत भिन्न हैं? $X$ $X^2$

regression polynomial

— l7ll7
स्रोत

आपको कुछ विचार देना चाहिए कि कच्चे और रूढ़िवादी बहुपद, और उनकी व्याख्या का उपयोग करके समान डेटा के समान मॉडल को फिट करने पर कौन से पी-मान अलग-अलग हैं। मॉडल की भविष्यवाणियों के बारे में क्या?

— Scortchi - को पुनः स्थापित मोनिका

@Scortchi मैंने अपने प्रश्न के लिए प्रासंगिक जानकारी जोड़ी।

— l7ll7

रूढ़िवादी बहुपद का उपयोग करने का एक और अच्छा कारण संख्यात्मक स्थिरता है; मोनोमियल आधार में फिटिंग के लिए संबद्ध डिज़ाइन मैट्रिक्स उच्च-डिग्री फिटिंग के लिए काफी बीमार अवस्था में हो सकता है क्योंकि उच्च-क्रम वाले मोनोमियल "बहुत लगभग रैखिक रूप से निर्भर" होते हैं (एक अवधारणा जिसे अधिक गणितीय रूप से सटीक बनाया जा सकता है), जबकि डिज़ाइन मैट्रिक्स रूढ़िवादी बहुपद के लिए थोड़ा बेहतर व्यवहार किया जाता है। मैंने यहाँ समान रूप से अनुपस्थित (ग्राम) मामले पर चर्चा की , लेकिन यह सौदा गैर-समान मामले में समान है।

— JM एक सांख्यिकीविद

(फिर भी, किसी को ऐसा करने के लिए एक अच्छे कारण के बिना उच्च-डिग्री बहुपद के लिए फिट नहीं होना चाहिए।)

— जेएम एक सांख्यिकीविद् नहीं है

जवाबों:

चर और रैखिक रूप से स्वतंत्र नहीं हैं। तो भले ही कोई द्विघात प्रभाव जोड़ने है, मॉडल के लिए की अनुमानित प्रभाव को संशोधित करेगा । $X$ $X^2$ $X^2$ $X$

चलो एक बहुत ही सरल सिमुलेशन के साथ एक नज़र है।

> x <- runif(1e3)
> y <- x + rnorm(length(x))
> summary(lm(y~x))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.03486    0.06233  -0.559    0.576    
x            1.05843    0.10755   9.841   <2e-16 ***

अब फिट होने के लिए मॉडल में एक द्विघात शब्द के साथ।

> summary(lm(y~x+I(x^2)))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept)  0.03275    0.09528   0.344    0.731
x            0.65742    0.44068   1.492    0.136
I(x^2)       0.39914    0.42537   0.938    0.348

बेशक ओम्निबस परीक्षण अभी भी महत्वपूर्ण है, लेकिन मुझे लगता है कि हम जो परिणाम देख रहे हैं वह यह नहीं है। समाधान ऑर्थोगोनल पॉलीओनियम्स का उपयोग करना है।

 > summary(lm(y~poly(x,2)))

 Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.49744    0.03098  16.059   <2e-16 ***
poly(x, 2)1  9.63943    0.97954   9.841   <2e-16 ***
poly(x, 2)2  0.91916    0.97954   0.938    0.348

ध्यान दें कि xपहले मॉडल और poly(x,2)1दूसरे मॉडल में गुणांक समान नहीं हैं, और यहां तक कि इंटरसेप्ट भी अलग हैं। ऐसा इसलिए है क्योंकि polyऑर्थोनॉमिक वेक्टर्स उद्धार करते हैं, जो वेक्टर के लिए ऑर्थोगोनल भी हैं rep(1, length(x))। इसलिए poly(x,2)1नहीं xबल्कि (x -mean(x))/sqrt(sum((x-mean(x))**2))...

एक महत्वपूर्ण बिंदु यह है कि वाल्ड परीक्षण, इस अंतिम मॉडल में, स्वतंत्र हैं। आप ऑर्थोगोनल पॉलीओनियम्स का उपयोग यह तय करने के लिए कर सकते हैं कि आप किस हद तक जाना चाहते हैं, बस वाल्ड टेस्ट को देखकर: यहां आप नहीं बल्कि रखने का फैसला करते हैं । बेशक आप पहले दो फिट मॉडल की तुलना करके एक ही मॉडल पाएंगे, लेकिन यह इस तरह से सरल है - यदि आप उच्च डिग्री तक जाने पर विचार करते हैं, तो यह वास्तव में बहुत सरल है। $X$ $X^2$

एक बार जब आप तय कर लेते हैं कि कौन सी शर्तें रखनी हैं, तो आप व्याख्या के लिए या भविष्यवाणी के लिए कच्चे बहुपद और वापस जाना चाह सकते हैं । $X$ $X^2$

— एल्विस
स्रोत

+1 अंत में एक स्पष्ट जवाब! धन्यवाद! इससे पहले कि मैं स्वीकार करता, क्या आप मुझे बता सकते हैं, क्या आर ^ 2 या एफ-स्टेटिस्टिक जैसे कोई अन्य आँकड़े हैं, जिन्हें मुझे कच्चे की तुलना में ऑर्थोगोनल प्लॉट सारांश को बेहतर ढंग से पढ़ना चाहिए? चर की साजिश रचने के अलावा, क्या इस परिदृश्य में किसी और चीज के लिए कच्चे पॉलीओनियम्स का उपयोग करने के लिए फिट है?

— l7ll7

और जब मेरे पास कई भविष्यवक्ता होते हैं, तो क्या यह सच है?

— l7ll7

आप "ऑर्थोगोनल पॉलीओनियम्स का उपयोग कैसे करेंगे यह तय करने के लिए कि आप एक द्विघात शब्द को शामिल करना चाहते हैं या नहीं"?

— Scortchi - को पुनः स्थापित मोनिका

बिंदु, उच्चतम-क्रम प्रभाव का परीक्षण है, इस मामले में द्विघात, एक ही है कि क्या आप कच्चे या रूढ़िवादी बहुपद का उपयोग करते हैं। तो क्यों रूढ़िवादी बहुपद के साथ परेशान?

— Scortchi - को पुनः स्थापित मोनिका

ठीक है, बेशक आप बस उस मॉडल में उन सीमांत परीक्षणों को नहीं करना चाहिए; उच्चतम-क्रम प्रभाव को त्यागने के बाद आपको फिर से फिट होना चाहिए। ऑर्थोगोनल पॉलीओनियम्स आपको परेशान करता है, एक आसान कदम-डाउन प्रक्रिया की अनुमति देता है - शायद आप एक घन शब्द के साथ वर्णन कर सकते हैं।

— Scortchi - को पुनः स्थापित मोनिका

स्थिति का सहज मूल्यांकन देने के लिए:

$\{p_n\}_{n=1}^\infty$ $\{\tilde{p}\}_{n=1}^\infty$ $L_2([a,b])$

$L_2([a,b])$ $y \in L_2([a,b])$ $\theta_n$ $\tilde{\theta}_n \in \mathbb{R}$ $n=1,2,\dots$ $L_2$

\sum_{n = 1}^{\infty} {\tilde{θ}}_{n} {\tilde{p}}_{n} = y = \sum_{n = 1}^{\infty} θ_{n} p_{n} .

$\sum_{n=1}^\infty \tilde{\theta}_n \tilde{p}_n = y= \sum_{n=1}^\infty \theta_n p_n.$

$k<\infty$

{p_{n}}_{n = 1}^{k}

$\{p_n\}_{n=1}^k$

{\tilde{p}}_{n = 1}^{k},

$\{\tilde{p}\}_{n=1}^k,$

L_{2} ([a, b])

$L_2([a,b])$

$\{\tilde{p}\}_{n=1}^\infty$ $\{p_n\}_{n=1}^\infty$ $y$ $\{p\}_{n=1}^k$ $k$ $L_2([a,b])$

$p$

इसलिए, भविष्यवाणी के संदर्भ में (इस मामले में) कोई अंतर नहीं है।

$var(\hat{\tilde{\theta}}) = I \sigma²$

स्वाभाविक प्रश्न उठता है कि क्या सबसे अच्छा काट आधार प्रणाली है। हालाँकि प्रश्न का उत्तर न तो सरल है और न ही अद्वितीय है और उदाहरण के लिए "सर्वश्रेष्ठ" शब्द की परिभाषा पर निर्भर करता है, अर्थात आप क्या संग्रह करने का प्रयास कर रहे हैं।

— chRrr
स्रोत

(+1) भविष्यवाणी के संदर्भ में कोई अंतर नहीं; और यह किसी भी सार्थक अनुमान के संदर्भ में कोई अंतर नहीं कहा जा सकता है।

— Scortchi - को पुनः स्थापित मोनिका