एक से अधिक प्रतिगमन समीकरण में एक स्वतंत्र चर की संख्या की सीमा क्या हो सकती है? मेरे पास 10 भविष्यवक्ता हैं जो मैं परिणाम चर के लिए उनके सापेक्ष योगदान के संदर्भ में जांच करना चाहूंगा। क्या मुझे कई विश्लेषणों के लिए समायोजित करने के लिए एक बोनफेरोनी सुधार का उपयोग करना चाहिए?
जवाबों:
आपको यह सोचने की ज़रूरत है कि "सीमा" से आपका क्या मतलब है। सीमाएं हैं, जैसे कि जब आपके पास मामलों की तुलना में अधिक भविष्यवाणियां होती हैं, तो आप पैरामीटर अनुमान में मुद्दों में भाग लेते हैं (इस उत्तर के निचले हिस्से में थोड़ा आर सिमुलेशन देखें)।
हालांकि, मुझे लगता है कि आप सांख्यिकीय शक्ति और अच्छे सांख्यिकीय अभ्यास से संबंधित नरम सीमाओं के बारे में अधिक बात कर रहे हैं। इस मामले में "सीमा" की भाषा वास्तव में उचित नहीं है। बल्कि, बड़े नमूना आकार अधिक भविष्यवाणियों के लिए इसे और अधिक उचित बनाने के लिए करते हैं और कितने भविष्यवाणियों उचित है तर्क की निरंतरता पर पड़ता है। आप संबंधित कई प्रतिगमन में नमूना आकार के लिए अंगूठे के नियमों की चर्चा पा सकते हैं , क्योंकि अंगूठे के ऐसे कई नियम भविष्यवक्ताओं की संख्या का संदर्भ देते हैं।
कुछ बिंदु
मैंने कई प्रतिगमन में नमूना आकार और पैरामीटर अनुमान के बीच संबंधों को उजागर करने के लिए यह छोटा सिमुलेशन लिखा था।
set.seed(1)
fitmodel <- function(n, k) {
# n: sample size
# k: number of predictors
# return linear model fit for given sample size and k predictors
x <- data.frame(matrix( rnorm(n*k), nrow=n))
names(x) <- paste("x", seq(k), sep="")
x$y <- rnorm(n)
lm(y~., data=x)
}
fitmodelसमारोह दो तर्क लेता nनमूना आकार के लिए और kभविष्यवक्ताओं की संख्या के लिए। मैं एक भविष्यवक्ता के रूप में निरंतर गिनती नहीं कर रहा हूं, लेकिन यह अनुमान है। मैं तो यादृच्छिक डेटा उत्पन्न करता है और एक प्रतिगमन मॉडल का अनुमान लगाता है जो kपूर्ववर्ती चर से अय चर का अनुमान लगाता है और फिट लौटता है।
यह देखते हुए कि आपने अपने प्रश्न में उल्लेख किया है कि आप रुचि रखते थे कि क्या 10 भविष्यवाणियां बहुत अधिक हैं, निम्न फ़ंक्शन कॉल दिखाते हैं कि नमूना आकार 9, 10, 11 और 12 क्रमशः होने पर क्या होता है। यानी, नमूना आकार भविष्यवक्ताओं की संख्या की तुलना में दो से अधिक होने की संभावना से कम है
summary(fitmodel(n=9, k=10))
summary(fitmodel(n=10, k=10))
summary(fitmodel(n=11, k=10))
summary(fitmodel(n=12, k=10))
Call:
lm(formula = y ~ ., data = x)
Residuals:
ALL 9 residuals are 0: no residual degrees of freedom!
Coefficients: (2 not defined because of singularities)
Estimate Std. Error t value Pr(>|t|)
(Intercept) -0.31455 NA NA NA
x1 0.34139 NA NA NA
x2 -0.45924 NA NA NA
x3 0.42474 NA NA NA
x4 -0.87727 NA NA NA
x5 -0.07884 NA NA NA
x6 -0.03900 NA NA NA
x7 1.08482 NA NA NA
x8 0.62890 NA NA NA
x9 NA NA NA NA
x10 NA NA NA NA
Residual standard error: NaN on 0 degrees of freedom
Multiple R-squared: 1, Adjusted R-squared: NaN
F-statistic: NaN on 8 and 0 DF, p-value: NA
नमूना आकार भविष्यवक्ताओं की संख्या से कम है। केवल 9 मापदंडों का अनुमान लगाना संभव है, जिनमें से एक निरंतर है।
Call:
lm(formula = y ~ ., data = x)
Residuals:
ALL 10 residuals are 0: no residual degrees of freedom!
Coefficients: (1 not defined because of singularities)
Estimate Std. Error t value Pr(>|t|)
(Intercept) 0.1724 NA NA NA
x1 -0.3615 NA NA NA
x2 -0.4670 NA NA NA
x3 -0.6883 NA NA NA
x4 -0.1744 NA NA NA
x5 -1.0331 NA NA NA
x6 0.3886 NA NA NA
x7 -0.9886 NA NA NA
x8 0.2778 NA NA NA
x9 0.4616 NA NA NA
x10 NA NA NA NA
Residual standard error: NaN on 0 degrees of freedom
Multiple R-squared: 1, Adjusted R-squared: NaN
F-statistic: NaN on 9 and 0 DF, p-value: NA
नमूना आकार भविष्यवक्ताओं की संख्या के समान है। केवल 10 मापदंडों का अनुमान लगाना संभव है, जिनमें से एक निरंतर है।
Call:
lm(formula = y ~ ., data = x)
Residuals:
ALL 11 residuals are 0: no residual degrees of freedom!
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -0.9638 NA NA NA
x1 -0.8393 NA NA NA
x2 -1.5061 NA NA NA
x3 -0.4917 NA NA NA
x4 0.3251 NA NA NA
x5 4.4212 NA NA NA
x6 0.7614 NA NA NA
x7 -0.4195 NA NA NA
x8 0.2142 NA NA NA
x9 -0.9264 NA NA NA
x10 -1.2286 NA NA NA
Residual standard error: NaN on 0 degrees of freedom
Multiple R-squared: 1, Adjusted R-squared: NaN
F-statistic: NaN on 10 and 0 DF, p-value: NA
नमूना आकार भविष्यवक्ताओं की संख्या से एक अधिक है। सभी मापदंडों का अनुमान है जिसमें स्थिरांक शामिल है।
Call:
lm(formula = y ~ ., data = x)
Residuals:
1 2 3 4 5 6 7 8 9 10 11
0.036530 -0.042154 -0.009044 -0.117590 0.171923 -0.007976 0.050542 -0.011462 0.010270 0.000914 -0.083533
12
0.001581
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 0.14680 0.11180 1.313 0.4144
x1 0.02498 0.09832 0.254 0.8416
x2 1.01950 0.13602 7.495 0.0844 .
x3 -1.76290 0.26094 -6.756 0.0936 .
x4 0.44832 0.16283 2.753 0.2218
x5 -0.76818 0.15651 -4.908 0.1280
x6 -0.33209 0.18554 -1.790 0.3244
x7 1.62276 0.21562 7.526 0.0841 .
x8 -0.47561 0.18468 -2.575 0.2358
x9 1.70578 0.31547 5.407 0.1164
x10 3.25415 0.46447 7.006 0.0903 .
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 0.2375 on 1 degrees of freedom
Multiple R-squared: 0.995, Adjusted R-squared: 0.9452
F-statistic: 19.96 on 10 and 1 DF, p-value: 0.1726
नमूना आकार भविष्यवक्ताओं की संख्या से दो अधिक है, और अंत में समग्र मॉडल के फिट होने का अनुमान लगाना संभव है।
मैं अक्सर इस दृष्टिकोण से देखता हूं कि क्या एक निश्चित संख्या में मापदंडों के साथ फिट किए गए मॉडल से आउट-ऑफ-सैंपल की भविष्यवाणी करने की संभावना है जो मूल मॉडल विकास नमूने पर किए गए पूर्वानुमानों के समान सटीक हैं। अंशांकन घटता है, X * बीटा की चुकता त्रुटियों का अर्थ है, और भविष्य कहनेवाला भेदभाव के सूचकांक आमतौर पर उपयोग किए जाने वाले कुछ उपाय हैं। यह वह जगह है जहां अंगूठे के कुछ नियम आते हैं, जैसे कि 15: 1 नियम (जांच की गई या अनुमानित प्रति 15 प्रभावी पैरामीटर का एक प्रभावी नमूना आकार)।
बहुलता के बारे में, बहुलता के लिए एक सही समायोजन, मॉडल धारण और वितरण संबंधी मान्यताओं को पूरा किया जाता है, वैश्विक परीक्षण है कि सभी betas (अवरोधन के अलावा) शून्य हैं। यह आमतौर पर संभावना अनुपात या एफ परीक्षण का उपयोग करके परीक्षण किया जाता है।
मॉडल के विकास के लिए दो समग्र दृष्टिकोण हैं जो अच्छी तरह से काम करते हैं। (1) एक पर्याप्त नमूना आकार है और पूरे पूर्व-निर्दिष्ट मॉडल को फिट करें, और (2) उपयोग किए जाने वाले अधिकतम संभावना अनुमान को दंडित किया गया है कि प्रतिगमन में स्वतंत्रता के कई प्रभावी डिग्री के रूप में केवल वर्तमान नमूना आकार का समर्थन करेगा। [दंड के बिना स्टेप वाइज चर चयन की कोई भूमिका नहीं होनी चाहिए, क्योंकि यह काम नहीं करने के लिए जाना जाता है।]
सिद्धांत रूप में, आपके पास प्रति सेवक की कोई सीमा नहीं है कि आपके पास कितने भविष्यवक्ता हो सकते हैं। आप सिद्धांत रूप में 2 बिलियन "बेटस" का अनुमान लगा सकते हैं। लेकिन व्यवहार में क्या होता है कि पर्याप्त डेटा, या पर्याप्त पूर्व जानकारी के बिना, यह बहुत उपयोगी व्यायाम साबित नहीं होगा। कोई विशेष पैरामीटर बहुत अच्छी तरह से निर्धारित नहीं किया जाएगा, और आप विश्लेषण से बहुत कुछ नहीं सीखेंगे।
अब यदि आपके पास अपने मॉडल (मॉडल संरचना, पैरामीटर मान, शोर, आदि) के बारे में बहुत अधिक जानकारी नहीं है, तो आपको यह जानकारी प्रदान करने के लिए डेटा की आवश्यकता होगी। यह आमतौर पर सबसे आम स्थिति है, जो समझ में आता है, क्योंकि आपको आमतौर पर डेटा एकत्र करने के लिए एक बहुत अच्छे कारण की आवश्यकता होती है (और $ $ $) कुछ के बारे में जिसे आप पहले से ही अच्छी तरह से जानते हैं। यदि यह आपकी स्थिति है, तो एक उचित सीमा प्रति पैरामीटर की एक बड़ी संख्या है। आपके पास 12 पैरामीटर (10 ढलान बेटास, 1 अवरोधन, और एक शोर पैरामीटर) हैं, इसलिए 100 से अधिक टिप्पणियों में कुछ भी आपके मापदंडों को अच्छी तरह से निर्धारित करने में सक्षम होना चाहिए ताकि कुछ निष्कर्ष निकालने में सक्षम हो सकें।
लेकिन कोई "कठिन और तेज" नियम नहीं है। केवल 10 भविष्यवाणियों के साथ आपको गणना समय के साथ कोई परेशानी नहीं होनी चाहिए (यदि आप करते हैं तो बेहतर कंप्यूटर प्राप्त करें)। इसका मुख्य रूप से मतलब सिर्फ और सिर्फ काम करना है, क्योंकि आपके पास अवशोषित करने के लिए डेटा के 11 आयाम हैं - जिससे डेटा की कल्पना करना मुश्किल हो जाता है। केवल 1 निर्भर चर के साथ प्रतिगमन के मूल सिद्धांत वास्तव में अलग नहीं हैं।
बोनफेरोनी सुधार के साथ समस्या यह है कि इसके लिए बहुत अधिक शक्ति का त्याग किए बिना अपने महत्व स्तर को समायोजित करने के लिए एक उचित तरीका होना चाहिए, आपको उस परिकल्पना की आवश्यकता है जिसे आप स्वतंत्र होने के लिए सही कर रहे हैं (यानी यह सीखना कि एक परिकल्पना सच है कि क्या आप के बारे में कुछ नहीं बताता है) एक और परिकल्पना सच है)। उदाहरण के लिए, सह-कुशल शून्य होने के लिए कई प्रतिगमन में मानक "टी-टेस्ट" के लिए यह सच नहीं है। टेस्ट स्टैटिस्टिक मॉडल में और क्या निर्भर करता है - परिकल्पना निर्भर है, यह कहने का एक गोल तरीका है। या, यह कहने का एक अधिक लगातार तरीका यह है कि ith पूर्वसूचक के शून्य मान पर टी-मूल्य सशर्त का नमूना वितरण इस बात पर निर्भर करता है कि अन्य पैरामीटर शून्य क्या हैं। तो यहाँ bonferroni सुधार का उपयोग वास्तव में आप एक कम "समग्र" दे सकता है