सामान्य रूप से वितरित डेटा के लिए स्टूडेंट के टी-टेस्ट की तुलना में विलकॉक्सन टेस्ट की एसिम्प्टोटिक सापेक्ष दक्षता क्यों है ?

यह सर्वविदित है कि विलकॉक्सन हस्ताक्षरित रैंक परीक्षण की एसिम्प्टोटिक सापेक्ष दक्षता (हैं) स्टूडेंट के t की तुलना में है , यदि डेटा सामान्य रूप से वितरित जनसंख्या से खींचा जाता है। यह बुनियादी एक-नमूना परीक्षण और दो स्वतंत्र नमूनों (विल्कोक्सन-मान-व्हिटनी यू) के लिए संस्करण के लिए सच है। सामान्य डेटा के लिए, एनोवा एफ -टेस्ट की तुलना में यह क्रुस्कल-वालिस परीक्षण के प्रकार भी हैं । $\frac{3}{\pi} \approx 0.955$

यह उल्लेखनीय है (मेरे लिए, "में से एक के सबसे अप्रत्याशित रूप से सामने आए $\pi$ ") एक, व्यावहारिक उल्लेखनीय या साधारण सबूत है और उल्लेखनीय सरल परिणाम है?

— silverfish
स्रोत

सामान्य cdf में की उपस्थिति को देखते हुए , the की उपस्थिति में वास्तव में यह सब आश्चर्यजनक नहीं होना चाहिए । मैं एक उत्तर दूंगा, लेकिन एक अच्छा बनाने में थोड़ा समय लगेगा।

π

$\pi$

π

$\pi$

— Glen_b -Reinstate Monica

@Glen_b दरअसल - मैंने देखा है एक "क्यों करता है से पहले चर्चा मैं एक बहुत ऊपर फसलों पता है" सामान्य वितरण की वजह से "इतना आंकड़ों में दिखाया" (हालांकि अगर यह सीवी पर नहीं था या याद नहीं कर सकते) और , लेकिन पहली बार देखने के बाद भी सुखद आश्चर्यचकित है। तुलना के लिए मान-व्हिटनी बनाम दो-नमूना टी-परीक्षण घातीय डेटा पर 3, डबल घातीय पर 1.5 और वर्दी पर 1 - बहुत राउंडर है!

π

$\pi$

3 / π

$3/\pi$

— सिल्वरफिश

@Silverfish मैंने van der Vaart के पेज 197 को "Asymptotic सांख्यिकी" से जोड़ा है। एक-नमूने के लिए, साइन-टेस्ट में टी-टेस्ट के सापेक्ष ।

2 / π

$2/\pi$

— खाशा

@Silverfish ... और लॉजिस्टिक में यह । वहाँ बहुत कुछ ज्ञात क्षेत्र (या तो एक या दो नमूना मामलों में) में शामिल हैं और काफी कुछ जो पूर्णांकों के सरल अनुपात हैं।

(π / 3)^{2}

$(\pi/3)^2$

π

$\pi$

— Glen_b -Reinstate मोनिका

एक नमूना हस्ताक्षरित रैंक परीक्षण के लिए, यह लगता है । एक-नमूना हस्ताक्षर परीक्षण के लिए, यह । इसलिए, हमने अपनी स्थिति स्पष्ट की। मुझे लगता है कि यह एक अच्छा संकेत है।

3 / π

$3/\pi$

2 / π

$2/\pi$

— खाशा

जवाबों:

एक नमूना - टेस्ट, हस्ताक्षरित परीक्षण और हस्ताक्षरित-रैंक परीक्षण के लिए संक्षिप्त संक्षिप्त विवरण $t$

मुझे उम्मीद है कि @ Glen_b के उत्तर के लंबे संस्करण में दो-नमूना हस्ताक्षरित रैंक परीक्षण के लिए विस्तृत विश्लेषण के साथ विस्तृत विवरण शामिल हैं। तो मैं सबसे व्युत्पत्ति छोड़ दूँगा। (एक-नमूना मामला, आप लेहमैन टीएसएच में लापता विवरण पा सकते हैं)।

परीक्षण समस्या : को स्थान मॉडल से एक यादृच्छिक नमूना होना चाहिए , शून्य के बारे में सममित। हम गणना परीक्षण के हैं, परिकल्पना के लिए हस्ताक्षरित रैंक परीक्षण टी-परीक्षण के सापेक्ष। $X_1,\ldots,X_n$ $f(x-\theta)$ $H_0: \theta=0$

परीक्षणों की सापेक्ष दक्षता का आकलन करने के लिए, केवल स्थानीय विकल्पों पर विचार किया जाता है क्योंकि लगातार परीक्षणों में निर्धारित विकल्प के मुकाबले 1 तक शक्ति होती है। स्थानीय विकल्प जो एसिम्प्टोटिक पॉवर को जन्म देते हैं, अक्सर फिक्स्ड के लिए फॉर्म होता है, जिसे कुछ साहित्य में पिटमैन ड्रिफ्ट कहा जाता है। $\theta_n=h/\sqrt{n}$ $h$

आगे हमारा काम है

नल के तहत प्रत्येक परीक्षण सांख्यिकीय की सीमा वितरण का पता लगाएं
विकल्प के तहत प्रत्येक परीक्षण सांख्यिकीय की सीमा वितरण का पता लगाएं
प्रत्येक परीक्षण की स्थानीय विषम शक्ति की गणना करें

टेस्ट स्टैटिसिक्स और एसिम्पोटिक्स

t-test ( के अस्तित्व को देखते हुए ) टी एन = √t n = √ के तहत
$t_{n} = \sqrt{n} \frac{\bar{X}}{\hat{σ}} \to_{d} N (0, 1) under the null$

$t_{n} = \sqrt{n} \frac{\bar{X}}{\hat{σ}} \to_{d} N (h / σ, 1) under the alternative θ = h / \sqrt{n}$
- इसलिए परीक्षण जो अस्वीकार करता है अगर शक्ति कार्य है $t_n>z_\alpha$ $1 - Φ (z_{α} - h \frac{1}{σ})$ $1-\Phi\left(z_\alpha-h\frac{1}{\sigma}\right)$
हस्ताक्षरित परीक्षण और स्थानीय शक्ति है $S_n=\frac{1}{n}\sum_{i=1}^{n}1\{X_i>0\}$ $\sqrt{n} (S_{n} - \frac{1}{2}) \to_{d} N (0, \frac{1}{4}) under the null$ $\sqrt{n}\left(S_n-\frac{1}{2}\right)\to_dN\left(0,\frac{1}{4}\right)\quad \text{under the null }$ $\sqrt{n} (S_{n} - \frac{1}{2}) \to_{d} N (h f (0), \frac{1}{4}) under the alternative$ $\sqrt{n}\left(S_n-\frac{1}{2}\right)\to_dN\left(hf(0),\frac{1}{4}\right)\quad \text{under the alternative }$ $1 - Φ (z_{α} - 2 h f (0))$ $1-\Phi\left(z_\alpha-2hf(0)\right)$
हस्ताक्षरित-रैंक परीक्षण और स्थानीय असममित शक्ति $W_{n} = n^{- 2 / 3} \sum_{i = 1}^{n} R_{i} 1 {X_{i} > 0} \to_{d} N (0, \frac{1}{3}) under the null$ $W_n=n^{-2/3}\sum_{i=1}^{n}R_i1\{X_i>0\}\to_dN\left(0,\frac{1}{3}\right)\quad \text{under the null }$ $W_{n} \to_{d} N (2 h \int f^{2}, \frac{1}{3}) under the alternative$ $W_n\to_dN\left(2h\int f^2,\frac{1}{3}\right)\quad \text{under the alternative }$ $1 - Φ (z_{α} - \sqrt{12} h \int f^{2})$ $1-\Phi\left(z_\alpha-\sqrt{12}h\int f^2\right)$

इसलिए, यदि मानक सामान्य घनत्व है, तो ,

A R E (S_{n}) = (2 f (0) σ)^{2}

$ARE(S_n)=(2f(0)\sigma)^2$

A R E (W_{n}) = (\sqrt{12} \int f^{2} σ)^{2}

$ARE(W_n)=(\sqrt{12}\int f^2\sigma)^2$

f

$f$

A R E (S_{n}) = 2 / π

$ARE(S_n)=2/\pi$

A R E (W_{n}) = 3 / π

$ARE(W_n)=3/\pi$

यदि [-1,1] पर समान है, तो , $f$ $ARE(S_n)=1/3$ $ARE(W_n)=1/3$

विकल्प के तहत वितरण की व्युत्पत्ति पर टिप्पणी

विकल्प के तहत सीमित वितरण को प्राप्त करने के कई तरीके हैं। एक सामान्य दृष्टिकोण ले कैम के तीसरे लेम्मा का उपयोग करना है। इसका सरलीकृत संस्करण बताता है

आज्ञा दें संभावना अनुपात का लॉग हो। कुछ आँकड़ा , यदि null के तहत, फिर $\Delta_n$ $W_n$
$(W_{n}, Δ_{n}) \to_{d} N [(\begin{matrix} μ \\ - σ^{2} / 2 \end{matrix}), (\begin{array}{cc} σ_{W}^{2} & τ \\ τ & σ^{2} / 2 \end{array})]$ $(W_n,\Delta_n)\to_d N\left[\left(\begin{array}{c} \mu\\ -\sigma^2/2 \end{array}\right),\left(\begin{array}{cc} \sigma^2_W & \tau \\ \tau & \sigma^2/2 \end{array}\right)\right]\\$ $W_{n} \to_{d} N (μ + τ, σ_{W}^{2}) under the alternative$ $W_n\to_d N\left(\mu+\tau,\sigma^2_W\right)\quad\text{under the alternative}$

द्विघात माध्य भिन्नताओं के लिए, स्थानीय स्पर्शोन्मुख सामान्यता और आकस्मिकता स्वचालित रूप से संतुष्ट होती है, जिसका अर्थ है ले कैम लेम्मा। इस लेम्मा का उपयोग करके, हमें केवल null के तहत गणना करने की आवश्यकता है । obeys LAN जहाँ है स्कोर फ़ंक्शन, सूचना मैट्रिक्स है। फिर, उदाहरण के लिए, हस्ताक्षरित परीक्षण $\mathrm{cov}(W_n,\Delta_n)$ $\Delta_n$

Δ_{n} \approx \frac{h}{\sqrt{n}} \sum_{i = 1}^{n} l (X_{i}) - \frac{1}{2} h^{2} I_{0}

$\Delta_n\approx \frac{h}{\sqrt{n}}\sum_{i=1}^{n}l(X_i)-\frac{1}{2}h^2I_0$

l

$l$

I_{0}

$I_0$

S_{n}

$S_n$

c o v (\sqrt{n} (S_{n} - 1 / 2), Δ_{n}) = - h c o v (1 {X_{i} > 0}, \frac{f^{'}}{f} (X_{i})) = h \int_{0}^{\infty} f^{'} = h f (0)

$\mathrm{cov}(\sqrt{n}(S_n-1/2),\Delta_n)=-h\mathrm{cov}\left(1\{X_i>0\},\frac{f'}{f}(X_i)\right)=h\int_0^\infty f'=hf(0)$

— Khashaa
स्रोत

+1 मैं बहुत अधिक विवरण में नहीं जा रहा था (वास्तव में, आपके उत्तर को बहुत पहले से ही चीजों को कवर करने के साथ, मैं शायद अब मेरे पास जो कुछ भी है उसे कुछ भी नहीं जोड़ूंगा) यदि आप अधिक विवरण डालना चाहते हैं, तो डॉन ' t मेरे खाते पर वापस जाएं मुझे अभी भी कई दिन हुए होंगे (और अभी भी आपके लिए पहले से कम है), इसलिए यह एक अच्छी बात है जो आप में आए हैं।

— Glen_b -Reinstate Monica

यह विशेष रूप से ले कैम के लेम्मा (+1) में जोड़ने के लिए एक अच्छा जवाब है। यह मुझे लगता है कि 1, 2, और 3 में एसिम्पोटिक्स की स्थापना और "इसलिए" बिट के बीच काफी बड़ा उछाल है जहां आप एरे लिखते हैं। मुझे लगता है कि अगर मैं इसे लिख रहा था, तो मैं इस बिंदु पर (या शायद पहले, इसलिए अंक 1, 2 और 3 के अपोजिट दक्षता को परिभाषित करूँगा) प्रत्येक मामले में AE केवल स्थानीय असममित शक्तियां नहीं होगी और फिर कदम भविष्य के पाठकों के लिए यह आसान होगा।

— सिल्वरफिश

शायद यह आपके निर्दिष्ट करने के लायक है ? एक तरफा और दो तरफा मामलों में अलग-अलग दिखने वाली अस्मितावादी शक्तियां हैं (हालांकि वे एक ही तरह के हैं)।

H_{1}

$H_1$

— सिल्वरफिश

मेरे उत्तर को संपादित करने के लिए स्वतंत्र महसूस करें या इसे ओपी में जोड़ें।

— खाशा

@ खाशा धन्यवाद जब मेरे सामने सही सामान होगा तो मैं आपकी पोस्ट को संपादित करूंगा। क्या आप अंतिम समीकरण में का अर्थ स्पष्ट करेंगे ?

*

$*$

— सिल्वरफिश

इसका यह बताने में कोई लेना-देना नहीं है कि क्यों प्रकट होता है (जिसे दूसरों द्वारा अच्छी तरह से समझाया गया था) लेकिन यह सहज रूप से मदद कर सकता है। विलकॉक्सन परीक्षण के रैंक पर एक - टेस्ट है जबकि पैरामीट्रिक टेस्ट की गणना कच्चे डेटा पर की जाती है। - टेस्ट के संबंध में विल्कोक्सन परीक्षण की दक्षता दो परीक्षणों के लिए उपयोग किए गए स्कोर के बीच सहसंबंध का वर्ग है। के रूप में के वर्ग सह-संबंध और converges । आप आसानी से आर के उपयोग से इस अनुभव को देख सकते हैं: $\pi$ $t$ $Y$ $t$ $n\rightarrow \infty$ $\frac{\pi}{3}$

n <- 1000000; x <- qnorm((1:n)/(n+1)); cor(1:n, x)^2; 3/pi
[1] 0.9549402
[1] 0.9549297
n <- 100000000; x <- qnorm((1:n)/(n+1)); cor(1:n, x)^2; 3/pi
[1] 0.9549298
[1] 0.9549297

— फ्रैंक हैरेल
स्रोत

यह वास्तव में एक बहुत ही उपयोगी टिप्पणी है। क्या यह करने के लिए थोड़ा वैचारिक रूप से करीब है n <- 1e6; x <- rnorm(n); cor(x, rank(x))^2(जो स्पष्ट रूप से एक ही परिणाम पैदा करता है)?

— सिल्वर फिश

(फ्रैंक की टिप्पणी से घिरे लोग इस सवाल को विलकॉक्सन-मैन-व्हिटनी यू और रैंकों पर एक टी -टेस्ट की समानता के बारे में देखना चाहते हैं ।)

— सिल्वरफिश

इस उत्तर के बारे में मुझे कुछ समझ नहीं आ रहा है कि सहसंबंध निम्न मूल्यों के लिए अधिक है (मुझे लगता है कि समीपस्थ कारण यह है कि हम छोटे लिए बहुत अच्छी तरह से पूंछ नहीं देखते हैं )। Naively कि इसका मतलब है कि विलकॉक्सन की सापेक्ष दक्षता छोटे लिए अधिक है , जो मुझे आश्चर्यचकित करती है ... ?? (मैं कुछ सिमुलेशन कर सकता हूं, लेकिन (ए) अगर कोई आसान जवाब है ... और (बी) क्या मुझे एक वैचारिक बिंदु याद आ रहा है?)

n

$n$

n

$n$

n

$n$

— बेन बोल्कर

मेरे स्मरण के लिए दोनों विल्कोक्सन हस्ताक्षरित रैंक परीक्षण की छोटी नमूना दक्षता और डब्लूएमडब्ल्यू सामान्य वितरण पर शिफ्ट विकल्प पर एसिम्प्टोटिक मूल्य से थोड़ा कम है।

— Glen_b -Reinstate मोनिका

लघु संस्करण: एक शिफ्ट विकल्प के तहत विलकॉक्सन-मैन-व्हिटनी के साथ मूल कारण यह है कि असममित सापेक्ष दक्षता (WMW / t) को खोजने के लिए का मूल्यांकन किया जाता है जहां अशक्त पर आम घनत्व है और आम विचरण है। $12\sigma^2[\int f^2(x) dx]^2$ $f$ $\sigma$

तो सामान्य तौर पर, प्रभावी रूप से का एक छोटा संस्करण है ; इसके अभिन्न अंग में एक शब्द होगा; जब चुकता हो, तो यह का स्रोत है । $f^2$ $f$ $\frac{1}{\sqrt{\pi}}$ $\frac{ \;}{\pi}$

एक ही शब्द - एक ही अभिन्न के साथ - हस्ताक्षरित रैंक परीक्षण के लिए शामिल हैं, इसलिए यह समान मूल्य लेता है।

T के सापेक्ष साइन टेस्ट के लिए, हैं ... और फिर से एक है। $4\sigma^2f(0)^2$ $f(0)^2$ $\frac{ \;}{\pi}$

इसलिए अनिवार्य रूप से जैसा कि मैंने टिप्पणियों में कहा है; में कम से, Wilcoxon-मन-व्हिटनी दो नमूना टी परीक्षण बनाम हैं के लिए Wilcoxon बनाम एक नमूना टी और संकेत परीक्षण एक नमूना टी परीक्षण बनाम रैंक परीक्षण पर हस्ताक्षर किए (प्रत्येक मामले में है सामान्य) काफी शाब्दिक क्योंकि यह सामान्य घनत्व में प्रकट होता है। $\pi$

संदर्भ:

जेएल हॉजेस और ईएल लेहमन (1956),
"द टेस्ट ऑफ़ द नॉन अपरमेट्रिक कॉम्पिटिटर्स ऑफ़ द टी-टेस्ट",
एन। गणित। सांख्यिकीविद। , 27 : 2, 324-335।

— Glen_b -Reinstate मोनिका
स्रोत

मैं भाजक में की उपस्थिति के लिए अंतर्ज्ञान के लिए स्पष्टीकरण पसंद करता हूं ; क्या यह आवश्यक रूप से संयोग है कि रेनी एन्ट्रापी WMW / विलकॉक्स इंटीग्रल्स में बदल जाती है?

π

$\pi$

— सिल्वरफिश

@Silverfish That बदल जाता है निश्चित रूप से यह संयोग नहीं है। हालाँकि, ऐसा इसलिए नहीं है क्योंकि यह रेनी एन्ट्रॉपी से जुड़ा है, या कम से कम मुझे कोई सीधा संबंध नहीं दिखता है। हम सामान में हो रहे हैं मैं वास्तव में अब के बारे में पता नहीं है, हालांकि।

\int f^{2} d x

$\int f^2 dx$

— Glen_b -Reinstate मोनिका

@Silverfish यह केवल लिए एक रेनी एन्ट्रॉपी है । अन्यथा, यह सिर्फ एक सादा पुराना वर्ग है जो एक मिलियन अलग-अलग तरीकों से आ सकता है।

α = 2

$\alpha=2$

— 19-02 को 198