क्या स्वतंत्रता की डिग्री एक गैर-पूर्णांक संख्या हो सकती है?

Question

जब मैं GAM का उपयोग करता हूं, तो यह मुझे अवशिष्ट डीएफ देता है (कोड में अंतिम पंक्ति)। इसका क्या मतलब है? GAM उदाहरण से परे, सामान्य तौर पर, क्या स्वतंत्रता की डिग्री की संख्या एक गैर-पूर्णांक संख्या हो सकती है?$26.6$

> library(gam)
> summary(gam(mpg~lo(wt),data=mtcars))

Call: gam(formula = mpg ~ lo(wt), data = mtcars)
Deviance Residuals:
    Min      1Q  Median      3Q     Max 
-4.1470 -1.6217 -0.8971  1.2445  6.0516 

(Dispersion Parameter for gaussian family taken to be 6.6717)

    Null Deviance: 1126.047 on 31 degrees of freedom
Residual Deviance: 177.4662 on 26.6 degrees of freedom
AIC: 158.4294 

Number of Local Scoring Iterations: 2 

Anova for Parametric Effects
            Df Sum Sq Mean Sq F value    Pr(>F)    
lo(wt)     1.0 847.73  847.73  127.06 1.239e-11 ***
Residuals 26.6 177.47    6.67                      

Comments

सामान्य तौर पर, हाँ, डीएफ एक फ्लोटिंग पॉइंट नंबर हो सकता है।

— डेविड लेन

आप शायद वास्तविक संख्या (या एक संख्या जो गैर-पूर्णांक है) के बारे में पूछना चाहते हैं; एक फ्लोटिंग पॉइंट नंबर एक कंप्यूटर कॉन्सेप्ट (वास्तविक संख्याओं का अनुमान लगाने का एक तरीका) है, जो कार्यान्वयन से संबंधित है, लेकिन आप वास्तव में अंतर्निहित गणितीय विचार (और गणितीय सवाल पूछने के लिए इतना बेहतर) के बारे में पूछ रहे हैं। एक अक्सर ऐसी स्थितियों का सामना करता है जहां (एक कारण या किसी अन्य के लिए, हमेशा अच्छा नहीं) एक मात्रा जो कि वैचारिक रूप से एक पूर्णांक है, फिर भी कार्यान्वयन में एक अस्थायी बिंदु संख्या के रूप में संग्रहीत होती है। मेरा सुझाव है कि "क्या एक मॉडल में स्वतंत्रता की गैर-पूर्णांक डिग्री हो सकती है?" शीर्षक के लिए।

— Glen_b -Reinstate मोनिका

Answer 1

स्वतंत्रता की डिग्री कई संदर्भों में गैर-पूर्णांक हैं। वास्तव में कुछ परिस्थितियों में आप यह स्थापित कर सकते हैं कि कुछ विशेष मॉडलों के लिए डेटा फिट करने की स्वतंत्रता की डिग्री कुछ मूल्य और बीच होनी चाहिए ।$k$$k+1$

हम आमतौर पर स्वतंत्रता की डिग्री को मुक्त मापदंडों की संख्या के रूप में सोचते हैं, लेकिन ऐसी परिस्थितियां हैं जहां पैरामीटर पूरी तरह से मुक्त नहीं हैं और फिर उन्हें गिनना मुश्किल हो सकता है। यह तब हो सकता है जब उदाहरण के लिए स्मूथिंग / नियमित करना।

स्थानीय रूप से भारित प्रतिगमन / कर्नेल विधियों के एक चौरसाई विभाजन के मामले ऐसी स्थिति के उदाहरण हैं - कुल मुक्त मापदंडों की संख्या कुछ ऐसी नहीं है जिसे आप भविष्यवाणियों को जोड़कर आसानी से गिन सकते हैं, इसलिए स्वतंत्रता की डिग्री के एक अधिक सामान्य विचार की आवश्यकता है।

में सामान्यीकृत Additive मॉडल जिस पर gamआंशिक रूप से आधारित है, Hastie और Tibshirani (1990) [1] (और वास्तव में कई अन्य संदर्भ में) कुछ मॉडलों जहां हम लिख सकते हैं के लिए , स्वतंत्रता की डिग्री कभी कभी होने के लिए लिया जाता है (वे भी या चर्चा करते हैं )। पहला अधिक सामान्य दृष्टिकोण के अनुरूप है जहां दोनों काम करते हैं (उदाहरण के लिए, प्रतिगमन में, जहां सामान्य स्थितियों में का स्तंभ आयाम होगा ), लेकिन जब सममित और निष्क्रिय है, उन तीनों सूत्र समान हैं।$\hat y = Ay$$\operatorname{tr}(A)$$\operatorname{tr}(AA^T)$$\operatorname{tr}(2A-AA^T)$$\operatorname{tr}(A)$$X$$A$

[मेरे पास इस संदर्भ को पर्याप्त विवरणों की जांच करने के लिए आसान नहीं है; एक ही लेखक (प्लस फ्राइडमैन) द्वारा वैकल्पिक रूप से पकड़ना आसान है, तत्वों के सांख्यिकीय सीखना [2]; उदाहरण के समीकरण 5.16 के लिए देखें, जो एक चिकने तख़्ते की स्वतंत्रता के प्रभावी अंशों को (मेरे संकेतन में) के रूप में परिभाषित करता है ]$\operatorname{tr}(A)$

अधिक आम तौर पर अभी भी, ये (1998) [3] ने स्वतंत्रता की सामान्यीकृत डिग्री को किया है, जो कि उनके संबंधित टिप्पणियों के लिए फिट किए गए मूल्यों की संवेदनशीलता का योग है। बदले में, यह साथ संगत है जहां यह परिभाषा काम करती है। ये की परिभाषा का उपयोग करने के लिए आपको केवल गणना करने में सक्षम होना चाहिए और डेटा को कुछ छोटी राशि से कम करना होगा (क्रम में संख्यात्मक रूप से)। यह इसे बहुत व्यापक रूप से लागू करता है।$\sum_i \frac{\partial \hat y_i}{\partial y_i}$$\operatorname{tr}(A)$$\hat y$$\frac{\partial \hat y_i}{\partial y_i}$

द्वारा फिट किए गए जैसे मॉडल के लिए gam, वे विभिन्न उपाय आम तौर पर पूर्णांक नहीं होते हैं।

(मैं इस मुद्दे पर इन संदर्भों की चर्चा को पढ़ने की अत्यधिक सलाह देता हूं, हालांकि कहानी कुछ स्थितियों में अधिक जटिल हो सकती है। उदाहरण के लिए देखें। (4)

[१] हस्ती, टी। और टिब्शिरानी, ​​आर। (१ ९९ ०),
सामान्यीकृत एडिटिव मॉडल्स
लंदन: चैपमैन एंड हॉल।

[२] हस्ति, टी।, तिब्शीरानी, ​​आर। और फ्रीडमैन, जे। (२०० ९),
द एलिमेंट्स ऑफ़ स्टैटिस्टिकल लर्निंग: डेटा माइनिंग , इनविज़न , एंड प्रेडिक्शन , २ इएड
स्प्रिंगर-वेरलाग।
https://statweb.stanford.edu/~tibs/ElemStatLearn/

[३] ये, जे। (१ ९९,),
"डेटा माइनिंग एंड मॉडल सलेक्शन के प्रभावों को मापने और ठीक करने पर"
जर्नल ऑफ़ द अमेरिकन स्टैटिस्टिकल एसोसिएशन , वॉल्यूम। 93, नंबर 441, पीपी 120-131

[४] जानसन, एल।, फिथियन, डब्ल्यू।, और हस्ति, टी। (२०१३),
"फ्रीडम के प्रभावी डिग्रियाँ: ए फ्लैव्ड मेटाफ़ोर"
https://arxiv.org/abs/1312.7851

Comments

यह इस मामले के लिए प्रासंगिक नहीं है, लेकिन जब वेरिएंस असमान होते हैं तो वेल्च दो सैंपल टी टेस्ट में स्वतंत्रता की एक गैर-पूर्णांक संख्या हो सकती है।

— माइकल आर। चेरिक

जैसा कि दोहराया उपायों एनोवा में एप्सिलॉन-सही डीएफ हो सकता है।

— डेविड लेन

एक अन्य संदर्भ स्टेटवेब.स्टेनफ़ोर्ड.ड्यू /~tibs/ElemStatLearn/printings/… खंड 5.4.1 स्वतंत्रता और चिकनी मैट्रिक्स की डिग्री

— एड्रियन

@ एड्रियन धन्यवाद; मैं उस संदर्भ को जोड़ने के लिए टॉस कर रहा था (और विशेष रूप से उस बिंदु पर eqn 5.16 का उल्लेख करने के लिए जो आप इंगित करते हैं)। मैंने निष्कर्ष निकाला है कि इसे जोड़ना एक अच्छा विचार है।

— Glen_b -Reinstate Monica