रूढ़िवादी बहुपद प्रतिगमन से कच्चे गुणांक और भिन्नता को पुनर्प्राप्त करना

Question

ऐसा लगता है कि अगर मैं इस तरह के रूप में एक प्रतिगमन मॉडल है $y_i \sim \beta_0 + \beta_1 x_i+\beta_2 x_i^2 +\beta_3 x_i^3$मैं या तो एक कच्चे बहुपद को फिट कर सकता हूं और अविश्वसनीय परिणाम प्राप्त कर सकता हूं या एक ऑर्थोगोनल बहुपद को फिट कर सकता हूं और गुणांक प्राप्त कर सकता हूं जिसमें प्रत्यक्ष शारीरिक व्याख्या नहीं है (जैसे मैं मूल पैमाने पर एक्स्ट्रेमा के स्थानों को खोजने के लिए उनका उपयोग नहीं कर सकता)। लगता है कि मुझे दोनों दुनिया में सबसे अच्छा होना चाहिए और फिट किए गए ऑर्थोगोनल गुणांक और उनके संस्करण को कच्चे पैमाने पर बदलने में सक्षम होना चाहिए। मैंने लागू लीनियर रिग्रेशन (कुटनर, 5 ईडी का उपयोग करके) में एक स्नातक पाठ्यक्रम लिया है और मैंने ड्रेपर में बहुपद प्रतिगमन अध्याय (3ed, कुटनर द्वारा संदर्भित) के माध्यम से देखा, लेकिन यह कैसे करना है इसकी कोई चर्चा नहीं मिली। के लिए मदद पाठpoly()R में कार्य नहीं करता है। न ही मुझे अपनी वेब खोज में कुछ भी मिला है, यहाँ भी शामिल है। एक रूढ़िवादी बहुपद से सज्जित गुणांक से कच्चे गुणांक (और उनके संस्करण प्राप्त करना) का पुनर्निर्माण कर रहा है ...

1. करना असंभव है और मैं अपना समय बर्बाद कर रहा हूं।
2. शायद संभव है, लेकिन सामान्य मामले में नहीं जाना जाता है।
3. संभव है लेकिन चर्चा नहीं की क्योंकि "कौन करना चाहेगा?"
4. संभव है लेकिन चर्चा नहीं की क्योंकि "यह स्पष्ट है"।

यदि उत्तर 3 या 4 है, तो मैं बहुत आभारी रहूंगा यदि किसी के पास यह समझाने का धैर्य होगा कि यह कैसे किया जाए या ऐसा करने वाले स्रोत को इंगित किया जाए। यदि यह 1 या 2 है, तो मैं अभी भी यह जानने के लिए उत्सुक हूं कि बाधा क्या है। इसे पढ़ने के लिए बहुत-बहुत धन्यवाद, और अगर कुछ स्पष्ट दिखाई दे रहा हो, तो मैं पहले से माफी माँगता हूँ।

Comments

मैं आपकी बातों को नहीं समझता। x, x 2 और x 3 ओर्थोगोनल नहीं हैं। इसलिए वे सहसंबद्ध हैं और प्रतिगमन पैरामीटर अस्थिर हो सकते हैं, लेकिन यह स्वचालित रूप से ऐसा नहीं है कि वे अविश्वसनीय हैं। ऑर्थोगोनल बहुपद के लिए रूपांतरण अधिक विश्वसनीय हो सकता है। लेकिन क्या x की मूल शक्तियों के गुणांक को रूढ़िवादी बहुपद के गुणांक से अधिक व्याख्यात्मक बनाता है? यदि x मॉडल y के रूप में एकमात्र चर = a + bx है तो yy = yi-yi-1 = b isx और b x में प्रति इकाई y परिवर्तन के रूप में व्याख्या करने योग्य है। लेकिन ऐसी व्याख्याओं में शामिल शक्तियों को खो दिया जाता है। $^2$$^3$

— माइकल आर। चेर्निक

मैंने सरलता के लिए चर के रूप में सिर्फ x के साथ एक मॉडल का उपयोग किया, लेकिन वास्तव में मैं उपचार समूहों के बीच घटता की तुलना कर रहा हूं। इसलिए, इस पर निर्भर करता है कि कौन सी शर्तें महत्वपूर्ण हैं और उनकी परिमाण, मैं उनकी व्याख्या कर सकता हूं - उदाहरण के लिए एक ऊपर की ओर / नीचे की ओर समग्र बदलाव, या एक अधिक / कम प्रारंभिक ढलान। इसके अलावा, जैसा कि मेरा प्रश्न कहता है, घटता के बीच बनाने की एक प्राकृतिक तुलना मैक्सिमा / मिनिमा का स्थान है, जो मूल पैमाने पर होने पर व्याख्या करना आसान है। तो, आपका वोट पसंद 3 के लिए है, मैं इसे लेता हूं?

— f1r3br4nd

नहीं, मुझे अभी तक पता नहीं लगा है कि यह संभव है या नहीं। मुझे सिर्फ यह समझ में आया कि आप ऐसा क्यों करना चाहते हैं।

— माइकल आर। चेरिक जूल

ठीक है, ध्यान दें कि ऑर्थोगोनल बहुपद के साथ फिट होने वाला मॉडल ठीक उसी फिट (यानी समान , समान फिट मूल्यों, आदि) के रूप में मॉडल कच्चे बहुपद के साथ फिट होगा। इसलिए, यदि आप इस मूल डेटा से संबंधित होना चाहते हैं, तो आप कच्चे शब्दों के लिए गुणांक देख सकते हैं, लेकिन ऑर्थोगोनल पॉलिनॉमिअल्स का उपयोग व्यक्तिगत शब्दों के लिए इस तरह से कर सकते हैं कि उनके बीच निर्भरता "के लिए" हो। । $R^2$

— मैक्रों

जैसा कि यह पता चला है, क्यूबिक स्प्लिन और बी-स्प्लिन एक वर्ग में खुद से होते हैं, और दो दुनिया के सर्वश्रेष्ठ हैं।

— कार्ल

Answer 1

हाँ, यह मुमकिन है।

चलो से गणना की ओर्थोगोनल बहुआयामी पद के गैर निरंतर भागों होना एक्स मैं । (प्रत्येक एक स्तंभ वेक्टर है।) एक्स के खिलाफ इनको पुनःप्राप्त करने के लिए मुझे एक सही फिट देना होगा। आप सॉफ्टवेयर के साथ भी ऐसा कर सकते हैं , जब वह ऑर्थोगोनल पॉलीओनियल्स की गणना करने के लिए अपनी प्रक्रियाओं का दस्तावेजीकरण नहीं करता है। के प्रतिगमन जेड जे पैदावार गुणांक गामा मैं j जिसके लिए$z_1, z_2, z_3$$x_i$$x_i$$z_j$$\gamma_{ij}$

$$z_{ij} = \gamma_{j0} + x_i\gamma_{j1} + x_i^2\gamma_{j2} + x_i^3\gamma_{j3}.$$

परिणाम एक है मैट्रिक्स Γ कि, सही गुणा करने पर, धर्मान्तरित डिजाइन मैट्रिक्स एक्स = ( 1 , एक्स , एक्स 2 ; एक्स 3 ) में जेड = ( 1 ; z 1 ; z 2 ; z 3 ) = एक्स Γ $4\times 4$$\Gamma$$X=\pmatrix{1;&x;&x^2;&x^3}$

$$Z=\pmatrix{1;&z_1;&z_2;&z_3} = X\Gamma.\tag{1}$$

मॉडल फिटिंग के बाद

$$\mathbb{E}(Y) = Z\beta$$

$\hat\beta$$(1)$

$$\hat Y = Z\hat\beta = (X\Gamma)\hat\beta = X(\Gamma\hat\beta).$$

$\Gamma\hat\beta$$x$

निम्न Rकोड इन प्रक्रियाओं को दिखाता है और सिंथेटिक डेटा के साथ उनका परीक्षण करता है।

n <- 10        # Number of observations
d <- 3         # Degree
#
# Synthesize a regressor, its powers, and orthogonal polynomials thereof.
#
x <- rnorm(n)
x.p <- outer(x, 0:d, `^`); colnames(x.p) <- c("Intercept", paste0("x.", 1:d))
z <- poly(x, d)
#
# Compute the orthogonal polynomials in terms of the powers via OLS.
#
xform <- lm(cbind(1, z) ~ x.p-1)
gamma <- coef(xform)
#
# Verify the transformation: all components should be tiny, certainly
# infinitesimal compared to 1.
#
if (!all.equal(as.vector(1 + crossprod(x.p %*% gamma - cbind(1,z)) - 1), 
    rep(0, (d+1)^2)))
  warning("Transformation is inaccurate.")
#
# Fit the model with orthogonal polynomials.
#
y <- x + rnorm(n)
fit <- lm(y ~ z)
#summary(fit)
#
# As a check, fit the model with raw powers.
#
fit.p <- lm(y ~ .-1, data.frame(x.p))
#summary(fit.p)
#
# Compare the results.
#
(rbind(Computed=as.vector(gamma %*% coef(fit)), Fit=coef(fit.p)))

if (!all.equal(as.vector(gamma %*% coef(fit)), as.vector(coef(fit.p))))
  warning("Results were not the same.")

Comments

$\Gamma$

$1$$10^{-16}$$1$

दो साल बाद ... @whuber, क्या यह गुणांक के 95% CI तक विस्तार करना संभव है?

— user2602640

@ user2602640 हाँ। आपको एक आधार पर गणना की गई भिन्नताओं को नए आधार में भिन्न रूप में परिवर्तित करने के लिए गुणांक (उपयोग vcovमें R) के विचरण-सहसंयोजक मैट्रिक्स को निकालने की आवश्यकता है , और फिर सामान्य तरीके से मैन्युअल रूप से CI की गणना करें।

— व्हीबर

@ जब मैंने आपकी टिप्पणी के बारे में आधे रास्ते का अनुसरण किया, तो आपको पूरी तरह से खो दिया ... किसी भी अवसर पर आप गणितीय रूप से चुनौती वाले जीवविज्ञानी पर दया करेंगे और इसे कोड में लिखेंगे?

— user2602640