क्रॉस सत्यापन (सीवी) और सामान्यीकृत क्रॉस सत्यापन (जीसीवी) आँकड़े

मैं संभवतः पार सत्यापन (CV) आँकड़ों के लिए और एक रेखीय मॉडल के साथ जुड़े सामान्यीकृत पार सत्यापन (जीसीवी) आँकड़ों के लिए परिभाषाएँ परस्पर विरोधी पाया है (साथ एक सामान्य, homoscedastic त्रुटि वेक्टर )। $Y = X\boldsymbol\beta + \boldsymbol\varepsilon$ $\boldsymbol\varepsilon$

एक ओर, गोलूब, हीथ और वहाबा GCV अनुमान _ को (p। 207) के रूप में परिभाषित करते हैं । $\hat{\lambda}$

द्वारा दिए गए का न्यूनतम जहां $V\left(\lambda\right)$
$वी (λ) = \frac{\frac{1}{n} {‖ (मैं - ए (λ)) y ‖}^{2}}{{(\frac{1}{n} टी आर (मैं - ए (λ)))}^{2}}$ $V\left(\lambda\right) = \frac{\frac{1}{n} \left\|\left(I - A\left(\lambda\right)\right)y\right\|^2}{\left(\frac{1}{n} \mathrm{tr}\left(I - A\left(\lambda\right)\right)\right)^2}$ $A\left(\lambda\right) = X\left(X^T X + n\lambda I\right)^{-1} X^T$

दूसरी ओर, एफ्रॉन उसी अवधारणा को परिभाषित करता है जैसे $V\left(0\right)$ (पी। 24), फिर भी वह इस अवधारणा को क्रेवेन एंड वहाबा के लिए प्रस्तुत करता है, जहां इसकी परिभाषा (पृष्ठ 377) अनिवार्य रूप से समान है। गोलूब, हीथ और वाहबा की उपरोक्त परिभाषा के रूप में।

इस इसका मतलब यह है $0$ कम करता $V\left(\lambda\right)$ ?

इसी तरह, गोलूब, हीथ और वहाबा ने न्यूनतम के रूप में $\lambda$ (पी। 217) के सीवी अनुमान को परिभाषित किया ।

P (λ) = \frac{1}{n} \sum_{k = 1}^{n} {({[X β^{(k)} (λ)]}_{k} - y_{k})}^{2}

$P\left(\lambda\right) = \frac{1}{n}\sum_{k=1}^n \left(\left[X \beta^{(k)}\left(\lambda\right)\right]_k - y_k\right)^2$

जहाँ $\beta^{\left(k\right)}\left(\lambda\right)$ का अनुमान है

\hat{β} (λ) = {(X^{T} X + n λ I)}^{- 1} X^{T} y

$\hat{\beta}\left(\lambda\right) = \left(X^T X + n \lambda I\right)^{-1} X^T y$

के $\beta$ के साथ $k$ वें डेटा बिंदु $y_i$ छोड़े गए।

लेखक एलन ("एलन के प्रेस", ibid) को CV अनुमान (जिसे PRESS अनुमान भी कहा जाता है) की शुरुआत का श्रेय देते हैं, फिर भी एलन के पेपर में, PRESS अनुमान को परिभाषित किया गया है (पृष्ठ 126) के रूप में _)। $n P\left(0\right)$ (एफ्रॉन के लेख में इसे $P\left(0\right)$ (पृष्ठ 24) के रूप में परिभाषित किया गया है ।

फिर, यह मतलब है कि $0$ कम करता $P\left(\lambda\right)$ ?

एलेन, डेविड एम। द रिलेशनशिप फ़ॉर वैरिएबल सिलेक्शन एंड डेटा एजुएशन एंड ए मेथड फॉर प्रेडिक्शन। टेक्नोमेट्रिक्स, वॉल्यूम। 16, नंबर 1 (फरवरी, 1974), पीपी। 125-127
क्रेवेन, पीटर और वाहबा, ग्रेस। स्पलाइन फ़ंक्शंस के साथ नॉइज़ डेटा को स्मूथ करना। न्यूमेरिस गणित 31, (1979), पीपी। 377-403
एफ्रॉन, ब्रैडली। बायस्ड लॉजिस्टिक रिग्रेशन की स्पष्ट त्रुटि कैसे है? तकनीकी रिपोर्ट क्र। 232. सांख्यिकी विभाग, स्टैनफोर्ड विश्वविद्यालय (अप्रैल 1985)
गोलूब, जीन एच।, हीथ एंड ग्रेस वाहबा। एक अच्छा रिज पैरामीटर चुनने के लिए एक विधि के रूप में सामान्यीकृत क्रॉस-वैलिडेशन। टेक्नोमेट्रिक्स, वॉल्यूम। 21, नंबर 2 (मई, 1979), पीपी। 215-223

cross-validation

— इवान एड
स्रोत

क्या आप यह बताना भूल गए कि यह रिज रिग्रेशन और कम से कम वर्गों के साथ फिट होगा? मैं पूरी तरह के बारे में क्या उलझन में था था जब तक मैं तल पर कागज खिताब देखा

λ

$\lambda$

— shadowtalker

शीर्षक में सामान्यीकृत क्रॉस मान्यकरण निकालें और शीर्षक में रिज रिग्रेशन जोड़ें। यहाँ RidCV के लिए GridSearchCV () डिफॉल्ट क्या है ():

— HoofarLotusX

मेरा मानना है कि टिप्पणियां उत्तर की ओर इशारा कर रही हैं, लेकिन इसे कुंद नहीं कह रही हैं। तो मैं कुंद हो जाऊंगा।

यहां उद्धृत वी सूत्र रैखिक रिज प्रतिगमन के लिए विशिष्ट है। वे यह नहीं कहते हैं कि यह PRESS की तरह ही है, वे कहते हैं कि यह PRESS का एक घूर्णन-अपरिवर्तनीय संस्करण है। "रोटेशन-इनवेरिएंट" भाग वह है जो इसे सामान्यीकृत करता है।

एफ्रॉन का पेपर लॉजिस्टिक रिग्रेशन के बारे में है, जो इस संदर्भ में अनुकूलित है। यदि आप दो संदर्भों के बीच गणित के अनुवाद को देखना चाहते हैं, तो पढ़ने के लिए सही पुस्तक है एलीमेंट ऑफ स्टैटिस्टिकल लर्निंग, 2ed, by Hastie, Tibshirani, and Freedman। वे उस पुस्तक को मुफ्त ऑनलाइन प्रदान करते हैं: https://web.stanford.edu/~hastie/Papers/ESLII.pdf । GCV पर पढ़ा गया एक अन्य सहायक साइमन वुड द्वारा सामान्यीकृत एडिटिव मॉडल है। उनका उपचार जीसीवी को प्रतिगमन और लॉजिस्टिक प्रतिगमन में अनुप्रयोगों के साथ सामान्य रूप से एकीकृत करता है।

यदि आप ईएसएल पुस्तक, पी 244 को देखते हैं, तो आप मूल रूप से एक ही सहजीवन देखते हैं। वे उस बड़े मैट्रिक्स उत्पाद का उल्लेख करते हैं जो आपके पास स्मूथ मैट्रिक्स के रूप में है (मैं कहता हूं कि यह एक हेट मैट्रिक्स है, या एक चचेरा भाई है)। उन्होंने स्मूथी वर्णन से के मानचित्रण के रूप में किया $S$ $y$ $\hat{y}$

\hat{y} = एस y

$\hat{y}=S y$

$S$ का उपयोग डेटा में प्रत्येक पंक्ति के लिए एक CV मूल्यों को छोड़ने के लिए किया जा सकता है। के लिए रैखिक मॉडल , मैट्रिक्स प्रतिगमन निदान में हैट मैट्रिक्स की भूमिका निभाता है। हालांकि, वे कहते हैं कि यह काम करने के लिए कम्प्यूटेशनल रूप से चुनौतीपूर्ण या अनावश्यक हो सकता है, और जीसीवी दृष्टिकोण समान विचार का थोड़ा और सामान्य संस्करण है। $S$

वे GCV के सन्निकटन के लिए एक सूत्र प्रदान करते हैं :

जी सी वी (\hat{च}) = \frac{1}{एन} Σ_{मैं = 1}^{एन} {[\frac{y_{मैं} - \hat{च} ({एक्स}_{मैं})}{1 - टी आर ए सी ई (एस) / एन}]}^{2}

$GCV(\hat{f})=\frac{1}{N}\sum_{i=1}^{N}\left[\frac{y_i - \hat{f}(x_i)}{1-trace(S)/N}\right]^2$

यह कई मॉडलों में एआईसी के व्यवहार के समान है। मानकों के प्रभावी संख्या है। $trace{S}$

टुकड़ा आप बोली अधिक आम तौर पर के निशान है । जहां तक मैं समझ सकता हूं, अमूर्त GCV में क्रॉस-आउट छोड़ने का एक अनुमानित संस्करण है, लेकिन कुछ मामलों में, (मुझे विश्वास है कि रिज प्रतिगमन), यह सटीक है। यह गोलब पेपर में एक मुख्य बिंदु है। $n\lambda$ $S$

सौभाग्य, यदि आप अधिक सीखते हैं तो वापस लिखें।

— pauljohn32
स्रोत

धन्यवाद। मैंने 5 साल पहले अपना प्रश्न पोस्ट किया है, और तब से मैं इस सामग्री को भूल गया हूं, इसलिए मैं यह बताने के लिए आपके उत्तर का मूल्यांकन नहीं कर सकता कि क्या यह अच्छा है (जो ऐसा प्रतीत होता है) या बुरा है, और, इस कारण से मैं इसे स्वीकार नहीं कर सकता। पोस्ट करने के लिए धन्यवाद, यद्यपि। उम्मीद है कि यह उन लोगों के लिए उपयोगी होगा जो इस पृष्ठ पर आ सकते हैं।

— इवान आद