बूटस्ट्रैपिंग में .632+ नियम क्या है?

107

यहाँ @gung .632+ नियम का संदर्भ देता है। एक त्वरित Google खोज इस नियम का क्या अर्थ है और किस उद्देश्य से इसका उपयोग किया जाता है, इसका उत्तर समझने में आसान नहीं है। क्या कोई कृपया .632+ नियम को स्पष्ट करेगा?

bootstrap

— russellpierce
स्रोत

115

मैं 0.632 अनुमानक को मिलेगा, लेकिन यह कुछ हद तक लंबा विकास होगा:

मान लीजिए कि हमें भविष्यवाणी करने के लिए चाहते हैं के साथ फ़ंक्शन का उपयोग , जहां कुछ मानकों कि डेटा का उपयोग कर अनुमान लगाया गया है पर निर्भर हो सकता , उदाहरण के लिए $Y$ $X$ $f$ $f$ $(\mathbf{Y}, \mathbf{X})$ $f(\mathbf{X}) = \mathbf{X}\mathbf{\beta}$

भविष्यवाणी त्रुटि का एक भोली अनुमान जहांकुछ नुकसान समारोह, जैसे है त्रुटि नुकसान चुकता। इसे अक्सर प्रशिक्षण त्रुटि कहा जाता है। एफ्रॉन एट अल। इसे स्पष्ट त्रुटि दर या पुनर्जीवन दर कहते हैं। यह बहुत अच्छा नहीं है क्योंकि हम अपने डेटाका उपयोगफिट करने के लिए करते हैं। इस परिणाम मेंनीचे पक्षपाती होने। आप जानना चाहते हैं किनए मूल्यों की भविष्यवाणी करने मेंआपका मॉडलकितना अच्छाकरता है।

\bar{e r r} = \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, f (x_{i}))

$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$

L

$L$

(x_{i}, y_{i})

$(x_i,y_i)$

f

$f$

\bar{e r r}

$\overline{err}$

f

$f$

अक्सर हम अपेक्षित अतिरिक्त-नमूना भविष्यवाणी त्रुटि का अनुमान लगाने के लिए एक सरल तरीके के रूप में क्रॉस-सत्यापन का उपयोग करते हैं (हमारे प्रशिक्षण सेट में डेटा पर हमारा मॉडल कितना अच्छा करता है?)।

E r r = E [L (Y, f (X))]

$Err = \text{E}\left[ L(Y, f(X))\right]$

यह करने के लिए एक लोकप्रिय तरीका करने के लिए है गुना पार सत्यापन। अपने डेटा को समूहों (जैसे 10) में विभाजित करें । प्रत्येक समूह , शेष समूहों पर अपना मॉडल फिट करें और वें समूह पर परीक्षण करें । हमारी क्रॉस-वैलिडेटेड अतिरिक्त-नमूना भविष्यवाणी त्रुटि सिर्फ औसत $K$ $K$ $k$ $K-1$ $k$ जहांहै कुछ सूचकांक समारोह है कि विभाजन को इंगित करता है जो करने के लिए अवलोकनआवंटित किया जाता है औरहै की भविष्यवाणी मूल्यमें नहीं डेटा का उपयोग करवें सेट।

E r r_{C V} = \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, f_{- κ (i)} (x_{i}))

$Err_{CV} = \dfrac{1}{N}\sum_{i=1}^N L(y_i, f_{-\kappa(i)}(x_i))$

κ

$\kappa$

i

$i$

f_{- κ (i)} (x_{i})

$f_{-\kappa(i)}(x_i)$

x_{i}

$x_i$

κ (i)

$\kappa(i)$

यह अनुमानक सही भविष्यवाणी त्रुटि के लिए लगभग निष्पक्ष है जब और बड़ा विचरण होता है और बड़े लिए अधिक कम्प्यूटेशनल रूप से महंगा होता है । इसलिए एक बार फिर हम पूर्वाग्रह-व्यापार को बंद करते हुए देखते हैं। $K=N$ $K$

$\mathbf{X} = (x_1,\ldots,x_N)$ $B$ $\mathbf{Z}_1,\ldots,\mathbf{Z}_B$ $\mathbf{Z}_i$ $N$

E r r_{b o o t} = \frac{1}{B} \sum_{b = 1}^{B} \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, f_{b} (x_{i}))

$Err_{boot} = \dfrac{1}{B}\sum_{b=1}^B\dfrac{1}{N}\sum_{i=1}^N L(y_i, f_b(x_i))$

f_{b} (x_{i})

$f_b(x_i)$

x_{i}

$x_i$

b

$b$

f_{b} (x_{i})

$f_b(x_i)$

x_{i}

$x_i$ । लीव-वन-आउट बूटस्ट्रैप अनुमानक क्रॉस-सत्यापन की नकल करके एक सुधार प्रदान करता है और इसे परिभाषित किया जाता है:

E r r_{b o o t (1)} = \frac{1}{N} \sum_{i = 1}^{N} \frac{1}{| C^{- i} |} \sum_{b \in C^{- i}} L (y_{i}, f_{b} (x_{i}))

$Err_{boot(1)} = \dfrac{1}{N}\sum_{i=1}^N\dfrac{1}{|C^{-i}|}\sum_{b\in C^{-i}}L(y_i,f_b(x_i))$

C^{- i}

$C^{-i}$

i

$i$

| C^{- i} |

$|C^{-i}|$

E r r_{b o o t (1)}

$Err_{boot(1)}$

0.632 N

$0.632N$

E r r_{.632} = 0.368 \bar{e r r} + 0.632 E r r_{b o o t (1)}

$Err_{.632} = 0.368\overline{err} + 0.632Err_{boot(1)}$

\bar{e r r} = \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, f (x_{i}))

$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$

$\overline{err}=0$ $\overline{err}$ $Err_{boot(1)}$

E r r_{.632 +} = (1 - w) \bar{e r r} + w E r r_{b o o t (1)}

$Err_{.632+} = (1 - w) \overline{err} + w Err_{boot(1)}$

w = \frac{0.632}{1 - 0.368 R} and R = \frac{E r r_{b o o t (1)} - \bar{e r r}}{γ - \bar{e r r}}

$w = \dfrac{0.632}{1 - 0.368R} \quad\text{and}\quad R = \dfrac{Err_{boot(1)} - \overline{err}}{\gamma - \overline{err}}$

γ

$\gamma$

y_{i}

$y_i$

x_{i}

$x_i$

γ = \frac{1}{N^{2}} \sum_{i = 1}^{N} \sum_{j = 1}^{N} L (y_{i}, f (x_{j}))

$\gamma = \dfrac{1}{N^2}\sum_{i=1}^N\sum_{j=1}^N L(y_i, f(x_j))$

$R$ $Err_{boot(1)} = \overline{err}$

— bdeonovic
स्रोत

2

वे अच्छे सवाल हैं, @rpierce, लेकिन वे इस थ्रेड के केंद्रीय विषय से कुछ हटकर हैं। बेहतर होगा, सीवी संगठन-वार, उन्हें एक नए सूत्र में रखें, ताकि बाद में लोगों को उस जानकारी को खोजना और उसका उपयोग करना आसान हो।

— गंग

1

प्रश्न 1: आंकड़े.stackexchange.com/questions/96764/…

— russellpierce

1

प्रश्न 2: en.wikipedia.org/wiki/Resampling_%28statistics%29#Jackknife के माध्यम से stats.stackexchange.com/questions/21023/bootstrap-vs-jackknife

— russellpierce

1

\bar{e r r} = \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, f (x_{i}))

$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$

\frac{1}{n} \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2}

$\dfrac{1}{n}\sum_{i=1}^n (y_i-\hat{y}_i)^2$

1

@ स्वभाव, हाँ! मैं थोड़ा सामान्य हो रहा था क्योंकि मैं कुछ वर्ग के नोटों से इस सामग्री का एक बहुत कुछ पढ़ रहा था।

— बाइडोनोविक

53

$S$ $n$ $\{1:n\}$ $S$ $(1-e^{-1})\,n \approx 0.63212056\, n$

$S=\{s_1,\ldots,s_n\}$ $i=1,\ldots,n$ $\{1:n\}$ $m\in\{1:n\}$

फिर:

P (s_{i} = m) = 1 / n

$P(s_i=m)=1/n$

तथा

P (s_{i} \neq m) = 1 - 1 / n

$P(s_i\neq m)=1-1/n$

$\forall 1\leq i \leq n$ $i$

इस प्रकार

P (m \in S) = 1 - P (m \notin S) = 1 - P (\cap_{i = 1}^{n} s_{i} \neq m) = 1 - \prod_{i = 1}^{n} P (s_{i} \neq m) = 1 - (1 - 1 / n)^{n} \approx 1 - e^{- 1}

$P(m\in S)=1-P(m\notin S)=1-P(\cap_{i=1}^n s_i\neq m)\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;=1-\prod_{i=1}^n P(s_i\neq m)=1-(1-1/n)^n\approx 1-e^{-1}$

$n$

n <- 100
fx01 <- function(ll,n){
    a1 <- sample(1:n, n, replace=TRUE)
    length(unique(a1))/n
}
b1 <- c(lapply(1:1000,fx01,n=100), recursive=TRUE)
mean(b1)

1. ब्रैडली एफ्रॉन और रॉबर्ट टिबशिरानी (1997)। क्रॉस-वैलिडेशन पर सुधार: .632+ बूटस्ट्रैप विधि । जर्नल ऑफ़ द अमेरिकन स्टैटिस्टिकल एसोसिएशन , वॉल्यूम। 92, नंबर 438, पीपी। 548--560।

— user603
स्रोत

3

यहाँ आपके लिए संदर्भ में एक दस्तावेज है - stat.washington.edu/courses/stat527/s14/readings/…

1

(x_{1}, \dots, x_{n})

$(x_1,\dots,x_n)$

S_{1}, \dots, S_{n}

$S_1,\dots,S_n$

P (S_{i} = k) = \frac{1}{n} I_{{1, \dots, n}} (k)

$P(S_i=k)=\frac{1}{n}\;I_{\{1,\dots,n\}}(k)$

P (\cup_{i = 1}^{n} {S_{i} = k}) = 1 - P (\cap_{i = 1}^{n} {S_{i} \neq k}) = 1 - \prod_{i = 1}^{n} P {S_{i} \neq k} = 1 - (1 - 1 / n)^{n} \to 1 - 1 / e \approx 63.21 %

$P(\cup_{i=1}^n\{S_i=k\})=1-P(\cap_{i=1}^n\{S_i\neq k\})=1-\prod_{i=1}^n P\{S_i\neq k\}=1-(1-1/n)^n\to1-1/e\approx 63.21\%$

4

1 - e^{- 1} \approx 0.63212056

$1-e^{-1}\approx0.63212056$

1

यह उत्तर भी महान है, वास्तव में, स्वीकृत उत्तर प्लस यह उत्तर वास्तव में मेरे प्रश्न का पूर्ण उत्तर प्रदान करता है - लेकिन दोनों के बीच मुझे ऐसा लगता है जैसे बेंजामिन के पास वह है जो मैं उत्तर में देख रहा था। कहा जा रहा है - मैं वास्तव में चाहता हूं कि दोनों को स्वीकार करना संभव था।

— रुसलपिएर्स

1

@ श्रव्य: सेलीन डायोन को उद्धृत करने के लिए, " समय के रूप में पुराने के रूप में पुराना / कविता और सौंदर्य और जानवर के रूप में पुराना है।" : पी

— निक स्टैनर

8

$c$

— फ्रैंक हैरेल
स्रोत

3

मुझे नहीं लगता कि मैं आपके द्वारा फ्रैंक कहे गए अधिकांश चीजों को समझता हूं। क्या आप स्पष्ट करने के लिए तैयार होंगे? ऐसा लगता है कि आपके पास योगदान देने के लिए कुछ अनूठा और महत्वपूर्ण है।

— रसेलपिएर्स

यदि आप किसी विशिष्ट प्रश्न का उल्लेख कर सकते हैं, तो विस्तार करें।

— फ्रैंक हरेल

1

ये स्कोरिंग नियम थे ... बूटस्ट्रैप परिणाम की गुणवत्ता को देखते हुए? क्या आप एक ऐसा लिंक प्रदान कर सकते हैं जो "वर्गीकृत" अनुपात के नियम को सही ढंग से स्कोर करने का वर्णन करता है, मुझे यह कल्पना करने में परेशानी हो रही है कि जानवर किस तरह का हो सकता है। Google पर "एफ्रॉन-गोंग आशावाद" के शीर्ष परिणामों में से अधिकांश आपके द्वारा पोस्ट किए गए लगते हैं ... यदि मैं क्वालीफायर के बिना "बूटस्ट्रैप" कहता हूं तो यह कैसे अलग है? मुझे किस एफट्रॉन और गोंग लेख को देखना चाहिए? कई लग रहे हैं।

— रुसलपिएरेस

3

0.632 के बारे में मूल पेपर देखें, जो सही तरीके से वर्गीकृत अनुपात का उपयोग करता है और परिभाषित करता है (एफ्रॉन और टिबशिरानी जासा: 548: 1997)। आशावाद बूटस्ट्रैप पूर्वाग्रह का अनुमान लगाने के लिए बूटस्ट्रैप का एक प्रकार है। यह गोंग में वर्णित है: जेएएसए 85:20; 1990.

— फ्रैंक हरेल

2

वे उत्तर बहुत उपयोगी हैं। मुझे गणित के साथ इसे प्रदर्शित करने का कोई तरीका नहीं मिला, इसलिए मैंने कुछ पायथन कोड लिखे, जो हालांकि काफी अच्छी तरह से काम करते हैं:

    from numpy import mean
    from numpy.random import choice

    N = 3000

    variables = range(N)

    num_loop = 1000
    # Proportion of remaining variables
    p_var = []

    for i in range(num_loop):
        set_var = set(choice(variables, N))
        p=len(set_var)/float(N)
        if i%50==0:
            print "value for ", i, " iteration ", "p = ",p
        p_var.append(p)

    print "Estimator of the proportion of remaining variables, ", mean(p_var)

— अनिल नरसिगिन
स्रोत