एक GAM फिट का सारांश


12

अगर हम एक GAM फिट करते हैं जैसे:

gam.fit = gam::gam(Outstate ~ Private + s(Room.Board, df = 2) + s(PhD, df = 2) + 
    s(perc.alumni, df = 2) + s(Expend, df = 5) + s(Grad.Rate, df = 2), data = College)

जहां, हम डेटासेट का उपयोग करते हैं College, जो पैकेज के अंदर पाया जा सकता है ISLR
अब, अगर हमें इस फिट का सारांश मिल जाए, तो हम देख सकते हैं कि:

> summary(gam.fit)

Call: gam(formula = Outstate ~ Private + s(Room.Board, df = 2) + s(PhD, 
    df = 2) + s(perc.alumni, df = 2) + s(Expend, df = 5) + s(Grad.Rate, 
    df = 2), data = College)
Deviance Residuals:
     Min       1Q   Median       3Q      Max 
-7522.66 -1140.99    55.18  1287.51  7918.22 

(Dispersion Parameter for gaussian family taken to be 3475698)

    Null Deviance: 12559297426 on 776 degrees of freedom
Residual Deviance: 2648482333 on 762.0001 degrees of freedom
AIC: 13924.52 

Number of Local Scoring Iterations: 2 

Anova for Parametric Effects
                        Df     Sum Sq    Mean Sq F value    Pr(>F)    
Private                  1 3377801998 3377801998 971.834 < 2.2e-16 ***
s(Room.Board, df = 2)    1 2484460409 2484460409 714.809 < 2.2e-16 ***
s(PhD, df = 2)           1  839368837  839368837 241.496 < 2.2e-16 ***
s(perc.alumni, df = 2)   1  509679160  509679160 146.641 < 2.2e-16 ***
s(Expend, df = 5)        1 1019968912 1019968912 293.457 < 2.2e-16 ***
s(Grad.Rate, df = 2)     1  148052210  148052210  42.596 1.227e-10 ***
Residuals              762 2648482333    3475698                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Anova for Nonparametric Effects
                       Npar Df Npar F   Pr(F)    
(Intercept)                                      
Private                                          
s(Room.Board, df = 2)        1  3.480 0.06252 .  
s(PhD, df = 2)               1  1.916 0.16668    
s(perc.alumni, df = 2)       1  1.471 0.22552    
s(Expend, df = 5)            4 34.350 < 2e-16 ***
s(Grad.Rate, df = 2)         1  1.981 0.15971    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

यहाँ, मैं "पैरामीट्रिक प्रभावों के लिए एनोवा" के साथ-साथ "गैर-पैरामीट्रिक प्रभावों के लिए एनोवा" के अर्थ को नहीं समझता। हालांकि मैं एनोवा परीक्षण के काम को जानता हूं, लेकिन मैं सारांश के "पैरामीट्रिक प्रभाव" और "गैर पैरामीट्रिक प्रभाव" भाग को समझने में असमर्थ हूं। उनका क्या मतलब है? उनका महत्व क्या है?


इस सवाल के (घ) भाग की वजह से पैदा हुई इस , जवाब सवाल 10, 7 अध्याय के लिए सांख्यिकीय लर्निंग का परिचय

जवाबों:


22

जिस तरह से GAMs की फिटिंग के लिए इस दृष्टिकोण का आउटपुट है, वह अन्य पैरामीट्रिक शब्दों के साथ, स्मूथियों के रैखिक भागों को समूहित करने के लिए है। नोटिस Privateमें पहली तालिका में एक प्रविष्टि है लेकिन दूसरी में प्रविष्टि खाली है। ऐसा इसलिए है क्योंकि Privateएक कड़ाई से पैरामीट्रिक शब्द है; यह एक कारक चर है और इसलिए एक अनुमानित पैरामीटर के साथ जुड़ा हुआ है जो प्रभाव का प्रतिनिधित्व करता है Private। चिकनी शर्तों को दो प्रकार के प्रभाव में विभाजित किया जाता है, यह है कि यह आउटपुट आपको यह तय करने की अनुमति देता है कि क्या एक चिकनी अवधि है

  1. एक nonlinear प्रभाव : nonparametric तालिका को देखो और महत्व का आकलन करें। यदि महत्व है, एक चिकनी nonlinear प्रभाव के रूप में छोड़ दें। यदि महत्वहीन है, तो रैखिक प्रभाव पर विचार करें (2. नीचे)
  2. एक रैखिक प्रभाव : पैरामीट्रिक तालिका देखें और रैखिक प्रभाव के महत्व का आकलन करें। यदि महत्वपूर्ण हो तो आप मॉडल का वर्णन करने वाले सूत्र में शब्द को एक चिकनी s(x)-> xमें बदल सकते हैं । यदि तुच्छ आप पूरी तरह से मॉडल से शब्द छोड़ने पर विचार कर सकते हैं (लेकिन इसके साथ सावधान रहें --- यह एक मजबूत कथन के लिए है कि सही प्रभाव == 0 है)।

पैरामीट्रिक तालिका

यहां प्रविष्टियां ऐसी हैं जो आपको मिलेगी यदि आपने इसे एक रैखिक मॉडल फिट किया है और एनोवा तालिका की गणना की है, तो किसी भी संबंधित मॉडल के गुणांक के लिए कोई अनुमान नहीं दिखाया गया है। अनुमानित गुणांक और मानक त्रुटियों, और संबद्ध टी या वाल्ड परीक्षणों के बजाय, एफ परीक्षणों के साथ-साथ समझाया गया विचरण की मात्रा (वर्गों के रूप में) को दिखाया गया है। अन्य प्रतिगमन मॉडल के साथ जैसे कि कई कोवरिअट्स (या कोवरिएट्स के फ़ंक्शंस) के साथ फिट किया गया है, तालिका में प्रविष्टियाँ मॉडल में अन्य शर्तों / कार्यों पर सशर्त हैं।

गैरपारंपरिक तालिका

नॉनपामेट्रिक प्रभाव फिट की गई स्मूचर्स के नॉनलाइनियर भागों से संबंधित है। इन nonlinear प्रभावों में से गैर महत्वपूर्ण प्रभाव को छोड़कर महत्वपूर्ण है Expend। के एक nonlinear प्रभाव के कुछ सबूत है Room.Board। इसमें से प्रत्येक स्वतंत्रता की कुछ गैर-पैरामीट्रिक डिग्री ( Npar Df) की संख्या के साथ जुड़ा हुआ है और वे प्रतिक्रिया में भिन्नता की मात्रा की व्याख्या करते हैं, जिनमें से राशि का मूल्यांकन एक एफ परीक्षण (डिफ़ॉल्ट रूप से, तर्क देखें test) के माध्यम से किया जाता है ।

Nonparametric अनुभाग में इन परीक्षणों की व्याख्या एक nonlin संबंध के बजाय एक रैखिक संबंध की अशक्त परिकल्पना के परीक्षण के रूप में की जा सकती है

जिस तरह से आप इसकी व्याख्या कर सकते हैं वह यह है कि केवल Expendवारंट को एक निर्मल प्रभाव के रूप में माना जा रहा है। अन्य चिकनी रेखीय पैरामीट्रिक शब्दों में परिवर्तित किया जा सकता है। आप यह जांचना चाहते हैं कि Room.Boardएक बार जब आप अन्य स्मूथ को रैखिक, पैरामीट्रिक शब्दों में परिवर्तित करते हैं, तो एक गैर-महत्वपूर्ण गैर-पैरामीट्रिक प्रभाव जारी रहता है; यह हो सकता है कि इसका प्रभाव Room.Boardथोड़ा अधपका हो लेकिन यह मॉडल में अन्य चिकनी शब्दों की उपस्थिति से प्रभावित हो रहा है।

हालाँकि, इसका बहुत कुछ इस तथ्य पर निर्भर हो सकता है कि बहुत से चिकनी को केवल 2 डिग्री स्वतंत्रता का उपयोग करने की अनुमति थी; 2 क्यों?

स्वचालित चिकनाई चयन

फिटिंग के लिए नए दृष्टिकोण GAMs स्वचालित चिकनाई चयन दृष्टिकोण के माध्यम से आपके लिए चिकनाई की डिग्री का चयन करेंगे जैसे कि साइमन वुड के दंडित दृष्टिकोण के रूप में अनुशंसित पैकेज mgcv में लागू किया गया है :

data(College, package = 'ISLR')
library('mgcv')

set.seed(1)
nr <- nrow(College)
train <- with(College, sample(nr, ceiling(nr/2)))
College.train <- College[train, ]
m <- mgcv::gam(Outstate ~ Private + s(Room.Board) + s(PhD) + s(perc.alumni) + 
               s(Expend) + s(Grad.Rate), data = College.train,
               method = 'REML')

मॉडल सारांश अधिक संक्षिप्त है और सीधे एक लीनियर (पैरामीट्रिक) और नॉनलाइनियर (नॉनपरमेट्रिक) योगदान के बजाय एक पूरे के रूप में चिकनी फ़ंक्शन को मानता है:

> summary(m)

Family: gaussian 
Link function: identity 

Formula:
Outstate ~ Private + s(Room.Board) + s(PhD) + s(perc.alumni) + 
    s(Expend) + s(Grad.Rate)

Parametric coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   8544.1      217.2  39.330   <2e-16 ***
PrivateYes    2499.2      274.2   9.115   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Approximate significance of smooth terms:
                 edf Ref.df      F  p-value    
s(Room.Board)  2.190  2.776 20.233 3.91e-11 ***
s(PhD)         2.433  3.116  3.037 0.029249 *  
s(perc.alumni) 1.656  2.072 15.888 1.84e-07 ***
s(Expend)      4.528  5.592 19.614  < 2e-16 ***
s(Grad.Rate)   2.125  2.710  6.553 0.000452 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

R-sq.(adj) =  0.794   Deviance explained = 80.2%
-REML = 3436.4  Scale est. = 3.3143e+06  n = 389

अब आउटपुट सुचारू शब्दों और पैरामीट्रिक शब्दों को अलग-अलग तालिकाओं में इकट्ठा करता है, बाद वाले को एक रेखीय मॉडल के समान अधिक परिचित आउटपुट मिलता है। पूरी तालिका में चिकनी शर्तें पूरी तरह से दिखाई जाती हैं। ये gam::gamआपके द्वारा दिखाए गए मॉडल के समान परीक्षण नहीं हैं ; वे शून्य परिकल्पना के खिलाफ परीक्षण कर रहे हैं कि चिकनी प्रभाव एक सपाट, क्षैतिज रेखा, एक शून्य प्रभाव या शून्य प्रभाव दिखा रहा है। विकल्प यह है कि सच्चा गैर-प्रभाव शून्य से अलग है।

ध्यान दें कि ईडीएफ 2 को छोड़कर सभी बड़े हैं s(perc.alumni), यह सुझाव देते हुए कि gam::gamमॉडल थोड़ा प्रतिबंधक हो सकता है।

तुलना के लिए फिट चिकनी द्वारा दिए गए हैं

plot(m, pages = 1, scheme = 1, all.terms = TRUE, seWithMean = TRUE)

जो पैदा करता है

यहाँ छवि विवरण दर्ज करें

पूरी तरह से मॉडल से बाहर सिकुड़ने के लिए स्वचालित सुगमता का चयन भी किया जा सकता है:

ऐसा करने के बाद, हम देखते हैं कि मॉडल फिट वास्तव में नहीं बदला है

> summary(m2)

Family: gaussian 
Link function: identity 

Formula:
Outstate ~ Private + s(Room.Board) + s(PhD) + s(perc.alumni) + 
    s(Expend) + s(Grad.Rate)

Parametric coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   8539.4      214.8  39.755   <2e-16 ***
PrivateYes    2505.7      270.4   9.266   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Approximate significance of smooth terms:
                 edf Ref.df      F  p-value    
s(Room.Board)  2.260      9  6.338 3.95e-14 ***
s(PhD)         1.809      9  0.913  0.00611 ** 
s(perc.alumni) 1.544      9  3.542 8.21e-09 ***
s(Expend)      4.234      9 13.517  < 2e-16 ***
s(Grad.Rate)   2.114      9  2.209 1.01e-05 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

R-sq.(adj) =  0.794   Deviance explained = 80.1%
-REML = 3475.3  Scale est. = 3.3145e+06  n = 389

जब हम छींटों के रैखिक और अरेखीय भागों को सिकोड़ लेते हैं, तब भी सभी चिकनेपन का प्रभाव थोड़ा नॉनलाइनियर प्रभाव के रूप में प्रतीत होता है।

व्यक्तिगत रूप से, मुझे एमजीसीवी से आउटपुट को व्याख्या करने में आसान लगता है, और क्योंकि यह दिखाया गया है कि स्वचालित चिकनाई चयन विधियां एक रेखीय प्रभाव को फिट करेंगी यदि वह डेटा द्वारा समर्थित है।


4
+1 महान व्याख्या। (मैं उत्सुक यदि आप एक से क्या मतलब हूँ "nonparametric एफ परीक्षण," हालांकि: कैसे यह सब पर, एक मानक एफ परीक्षण से अलग होगा तो क्या होगा?)
whuber

4
@whuber जो कि केवल गरीब चेतावन है; यह एक मानक एफ परीक्षण है, लेकिन लीनियर और नॉनलाइनियर भागों में चिकनी के अपघटन के कारण उन परीक्षणों का परीक्षण किया जाता है जो आउटपुट "नॉनपैमेट्रिक" बिट कहते हैं। मैं उसे संपादित करूँगा।
मोनिका को बहाल करें - जी। सिम्पसन

3
पी-वैल्यू उस तरह से काम नहीं करते हैं; परीक्षण के लिए भी प्रदर्शन किया है, हम मान लिया है कि अशक्त परिकल्पना सच है । जो परीक्षण कर रहा है वह कह रहा है, मान लें कि संबंध रैखिक है, उस धारणा के साथ कितना संघर्ष है, डेटा द्वारा लाया गया सबूत है? यदि डेटा द्वारा लाए गए साक्ष्य उस के अनुरूप हैं, जो हम उम्मीद करते हैं कि अशक्त सही थे। यदि सबूत अशक्त परिकल्पना के साथ असंगत है तो हम उस डेटा का अवलोकन करने की संभावना नहीं रखेंगे जो हमने किया था यदि अशक्त सत्य थे। पी मान शून्य के खिलाफ सबूत का एक उपाय है।
मोनिका - जी। सिम्पसन

1
आप पैरामीट्रिक टेबल के बारे में कहते हैं: "यहां प्रविष्टियां अनिवार्य रूप से हैं जो आपको एक रैखिक मॉडल के रूप में फिट करने और एनोवा तालिका की गणना करने पर मिलेगी।" मुझे लगता है कि यह अक्षरशः सत्य नहीं है (अर्थात मॉडल का अरेखीय भाग रैखिक भाग के लिए महत्वपूर्ण अनुमानों को प्रभावित नहीं करता है)। निश्चित रूप से रैखिक और nonlinear भागों का अनुमान संयुक्त रूप से किया जाता है, और गैर-रेखीय भाग रैखिक भाग के लिए गुणांक को प्रभावित करता है और साथ ही साथ महत्व भी है, है ना?
जैकब सोकोलर

1
@JacobSocolar जहां तक ​​मैं समझता हूं, एक रेखीय घटक और कुछ गैर-रेखीय घटकों (जिनमें से संख्या सीमा के लिए अनुमत स्वतंत्रता की डिग्री पर निर्भर करती है) में तख़्ता विघटित है। मेरा मतलब था कि यह एक तरह का आउटपुट है जिसे आप एक रेखीय मॉडल फिट करेंगे जिसके बाद एनोवा (मतलब वर्ग के लिए एक एफ परीक्षण) होगा। ब्यूटे हाँ, ये इस अर्थ में आंशिक प्रभाव हैं कि मॉडल के एक हिस्से द्वारा समझाया गया विचरण मॉडल में अन्य शब्दों (और आधार कार्यों) पर निर्भर करता है। और हाँ, मेरा मतलब यह नहीं था कि वह बोली; मैं "आप क्या करेंगे ..." की तरह फिर से तैयार हूँ।
मोनिका - जी। सिम्पसन
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.