सांख्यिकीय कार्यों का परिचय * में * कार्यों * के प्रसरण से क्या तात्पर्य है?

पीजी पर। 34 सांख्यिकीय शिक्षा का परिचय : $\newcommand{\Var}{{\rm Var}}$

हालांकि गणितीय प्रमाण इस पुस्तक के दायरे से बाहर है, यह दिखाने के लिए कि उम्मीद परीक्षण एमएसई, किसी दिए गए मूल्य के लिए संभव है $x_0$ :, हमेशा तीन मौलिक मात्रा की राशि में विघटित किया जा सकता है विचरण की $\hat{f}(x_0)$ , वर्ग पूर्वाग्रह का $\hat{f}(x_0)$ और त्रुटि शर्तों के विचरण $\varepsilon$ । अर्थात्,

$E {(y_{0} - \hat{f} (x_{0}))}^{2} = V a r (\hat{f} (x_{0})) + [B i a s (\hat{f} (x_{0}))]^{2} + V a r (ε)$ $E\left(y_0 - \hat{f}(x_0)\right)^2 = \Var\big(\hat{f}(x_0)\big) + \Big[{\rm Bias}\big(\hat{f}(x_0)\big)\Big]^2 + \Var(\varepsilon)$
[...] वैरिएस उस राशि को संदर्भित करता है जिसके द्वारा अगर हम एक अलग प्रशिक्षण डेटा सेट का उपयोग करके अनुमान लगाते हैं तो $\hat{f}$ बदल जाएगा।

प्रश्न: चूंकि कार्यों $\Var\big(\hat{f}(x_0)\big)$ के विचरण को निरूपित करता प्रतीत होता है , इसका औपचारिक रूप से क्या अर्थ है?

यही है, मैं एक यादृच्छिक चर के विचरण की अवधारणा से परिचित हूं $X$ , लेकिन फ़ंक्शन के एक सेट के विचरण के बारे में क्या? क्या इसे केवल एक अन्य यादृच्छिक चर के भिन्नता के रूप में माना जा सकता है, जिसके मान फ़ंक्शंस का रूप लेते हैं?

machine-learning variance

— जॉर्ज
स्रोत

यह देखते हुए कि हर बार एक सूत्र में दिया गया है जिसे "दिए गए मान" पर लागू किया गया है, विचरण नंबर पर लागू होता है , न कि । चूँकि उस संख्या को संभवतः उन डेटा से विकसित किया गया है जो यादृच्छिक चर के साथ तैयार किए गए हैं, यह एक (वास्तविक-मूल्यवान) यादृच्छिक चर भी है। विचरण की सामान्य अवधारणा लागू होती है।

\hat{f}

$\hat f$

x_{0}

$x_0$

\hat{f} (x_{0})

$\hat{f}(x_0)$

\hat{f}

$\hat{f}$

— whuber

समझा। इसलिए बदल रहा है (अलग-अलग प्रशिक्षण डेटा सेटों में भिन्न), लेकिन हम अभी भी स्वयं के विचरण को हैं।

\hat{f}

$\hat{f}$

\hat{f} (x_{0})

$\hat{f}(x_0)$

— जॉर्ज

इस पाठ्यपुस्तक के लेखक कौन हैं? मैं खुद इस विषय को सीखना चाहता हूं और आपकी संदर्भ सिफारिश की बहुत सराहना करूंगा।

— Chill2Macht

@WilliamKrinsman यह पुस्तक है: www-bcf.usc.edu/~gareth/ISL

— मैथ्यू

जवाबों:

@Whuber के साथ आपका पत्राचार सही है।

एक शिक्षण एल्गोरिथ्म को एक उच्च स्तरीय फ़ंक्शन के रूप में देखा जा सकता है, प्रशिक्षण सेट को कार्यों के लिए मैप किया जा सकता है। $\mathcal{A}$

A : T \to {f ∣ f : X \to R}

$\mathcal{A} : \mathcal{T} \rightarrow \{f \mid f: X \rightarrow \mathbb{R} \}$

जहां संभव प्रशिक्षण सेट का स्थान है। यह वैचारिक रूप से थोड़े बालों वाला हो सकता है, लेकिन मूल रूप से प्रत्येक व्यक्ति प्रशिक्षण सेट परिणाम, मॉडल प्रशिक्षण एल्गोरिथ्म का उपयोग करने के बाद, एक विशिष्ट फ़ंक्शन में जिसका उपयोग डेटा बिंदु दिए गए पूर्वानुमानों को बनाने के लिए किया जा सकता है । $\mathcal{T}$ $f$ $x$

यदि हम प्रशिक्षण के स्थान को संभाव्यता के स्थान के रूप में देखते हैं, जिससे कि संभावित प्रशिक्षण डेटा सेटों का कुछ वितरण होता है, तो मॉडल प्रशिक्षण एल्गोरिथ्म एक महत्वपूर्ण मूल्यवान चर बन जाता है, और हम सांख्यिकीय अवधारणाओं के बारे में सोच सकते हैं। विशेष रूप से, यदि हम एक विशिष्ट डेटा बिंदु ठीक , तो हमें संख्यात्मक मूल्यवान यादृच्छिक चर मिलता है $x_0$

A_{x_{0}} (T) = A (T) (x_{0})

$\mathcal{A}_{x_0}(T) = \mathcal{A}(T)(x_0)$

यानी, पहले पर एल्गोरिथ्म को प्रशिक्षित करें , और फिर पर परिणामी मॉडल का मूल्यांकन करें । यह सिर्फ एक सादा पुराना है, लेकिन आसानी से निर्मित, एक संभावना स्थान पर यादृच्छिक चर है, इसलिए हम इसके विचरण के बारे में बात कर सकते हैं। यह ISL से आपके सूत्र में भिन्नता है। $T$ $x_0$

— मैथ्यू ड्र्यू
स्रोत

बार-बार केफल्ड का उपयोग करते हुए एक दृश्य व्याख्या

@ मैथ्यू डॉरी के जवाब को एक दृश्य / सहज व्याख्या देने के लिए निम्नलिखित खिलौना उदाहरण पर विचार करें।

डेटा शोर साइन वक्र से उत्पन्न होता है: "True शोर" $f(x) \ +$
डेटा को प्रशिक्षण और परीक्षण नमूनों के बीच विभाजित किया गया है (75% - 25%)
एक रेखीय (बहुपद) मॉडल को प्रशिक्षण डेटा के लिए फिट किया गया है: $\hat f(x)$
एक ही डेटा (यानी बंटवारे प्रशिक्षण - बेतरतीब ढंग से Sklearm दोहराया kfold का उपयोग करके परीक्षण) का उपयोग करके प्रक्रिया को कई बार दोहराया जाता है
यह कई अलग-अलग मॉडल बनाता है, जिसमें से हम प्रत्येक बिंदु साथ-साथ सभी बिंदुओं पर माध्य और विचरण की गणना करते हैं । $x=x_i$

डिग्री 2 और डिग्री 6 के बहुपद मॉडल के लिए परिणामी रेखांकन के लिए नीचे देखें। पहली नजर में, ऐसा लगता है कि उच्च बहुपद (लाल रंग) में अधिक विचरण है।

तर्क है कि लाल ग्राफ में अधिक भिन्नता है - प्रयोगात्मक रूप से

Let और क्रमशः हरे और लाल रेखांकन के अनुरूप होते हैं और हल्के हरे और हल्के लाल रंग में ग्राफ का एक उदाहरण होता है। चलो हो साथ अंकों की संख्या अक्ष और रेखांकन की संख्या (यानी सिमुलेशन की संख्या) हो। यहां हमारे पास और $\hat f_g$ $\hat f_r$ $\hat f^{(i)}$ $n$ $x$ $m$ $n = 400$ $m = 200$

मुझे तीन मुख्य परिदृश्य दिखाई देते हैं

एक विशिष्ट बिंदु पर पूर्वानुमानित मानों का विचरण अधिक होता है अर्थात $x = x_0$ $Var \ \left[ \{\hat f^{(1)}_r(x_0), ..., \hat f^{(m)}_r(x_0)\} \right] > Var \ \left[ \{\hat f^{(1)}_g(x_0),...,\hat f^{(i)}_g(x_0)\} \right]$
में भिन्नता सभी बिंदुओं के लिए अधिक है सीमा $(1)$ $\{ x_1,...,x_{400} \}$ $(0,1)$
विचरण औसत से अधिक है (यानी कुछ बिंदुओं के लिए छोटा हो सकता है)

इस खिलौना उदाहरण के मामले में, सभी तीन परिदृश्य सीमा पर सही हैं जो इस तर्क को सही ठहराते हैं कि उच्च क्रम बहुपद फिट (लाल में) निचले क्रम बहुपद (हरे रंग में) की तुलना में उच्च विचरण है। $(0,1)$

एक खुला हुआ समापन

जब तीन से ऊपर के सभी परिदृश्य पकड़ में नहीं आए तो क्या तर्क दिया जाना चाहिए । उदाहरण के लिए, क्या होगा यदि लाल भविष्यवाणियों का विचलन औसत पर अधिक है, लेकिन सभी बिंदुओं के लिए नहीं।

लेबलों का विवरण

बिंदु पर विचार करें $x_0 = 0.5$

त्रुटि पट्टी मिनट और अधिकतम के बीच की सीमा है $\hat f(x_0)$
विचरण पर गणना की $x_0$
True डॉटेड ब्लू लाइन है $f(x)$

— जेवियर बॉरेट सिस्कोट
स्रोत

मुझे चित्रों का उपयोग करके अवधारणा को दर्शाने का यह विचार पसंद है। मुझे आश्चर्य है कि आपकी पोस्ट के दो पहलुओं के बारे में, और उम्मीद है कि आप उन्हें संबोधित करने में सक्षम होंगे। सबसे पहले, आप अधिक स्पष्ट रूप से बता सकते हैं कि ये प्लॉट "फ़ंक्शन का प्रसरण" कैसे दिखाते हैं? दूसरा, यह बिल्कुल स्पष्ट नहीं है कि लाल प्लॉट "अधिक से अधिक विचरण" प्रदर्शित करता है या यहां तक कि दो भूखंडों को इस तरह की सरलीकृत तुलना के लिए उत्तरदायी है। उदाहरण के लिए, ऊपर लाल मूल्यों के ऊर्ध्वाधर प्रसार पर विचार करें , और तुलना करें कि एक ही बिंदु पर हरे रंग के मूल्यों के प्रसार के लिए: लाल वाले हरे रंग की तुलना में थोड़ा कम फैलते हैं।

x = 0.95,

$x=0.95,$

— whuber

मेरी बात यह नहीं है कि क्या आपके भूखंडों को उच्च परिशुद्धता के साथ पढ़ना संभव है: यह दो ऐसे भूखंडों की तुलना करने का अर्थ है जैसे कि एक को "उच्च" या "कम" माना जा सकता है, अन्य की तुलना में विचारणीय है, इस संभावना को देखते हुए कि की कुछ श्रेणियाँ भविष्यवाणियों के भिन्न रूप एक भूखंड में अधिक होंगी और की अन्य श्रेणियों के लिए भिन्नताएँ कम होंगी।

x

$x$

x

$x$

— whuber

हां मैं सहमत हूं - मैंने आपकी टिप्पणियों को प्रतिबिंबित करने के लिए पोस्ट को संपादित किया है

— जेवियर बॉरेट सिसिलोट