परिमित विचरण के लिए परीक्षण?

Question

क्या किसी नमूने को दिए गए यादृच्छिक चर के भिन्नता के परिमितता (या अस्तित्व) के लिए परीक्षण करना संभव है? एक अशक्त के रूप में, या तो {विचरण मौजूद है और परिमित है} या {विचरण मौजूद नहीं है / अनंत है} स्वीकार्य होगा। दार्शनिक रूप से (और कम्प्यूटेशनल रूप से), यह बहुत अजीब लगता है क्योंकि परिमित विचरण के बिना आबादी के बीच कोई अंतर नहीं होना चाहिए, और एक बहुत बड़े विचरण के साथ (जैसे कि> $10^{400}$ ), इसलिए मुझे उम्मीद नहीं है कि इस समस्या को हल किया जा सकता है।

एक दृष्टिकोण जो मुझे सुझाया गया था, वह केंद्रीय सीमा प्रमेय के माध्यम से था: यह मानते हुए कि नमूने आईआईडी हैं, और जनसंख्या का एक छोटा सा अर्थ है, कोई भी, किसी भी तरह से जांच कर सकता है कि नमूना का नमूना आकार बढ़ाने के साथ सही मानक त्रुटि है या नहीं। मुझे यकीन नहीं है कि मुझे विश्वास है कि यह विधि काम करेगी, हालांकि। (विशेष रूप से, मैं यह नहीं देखता कि इसे एक उचित परीक्षा में कैसे बनाया जाए।)

Comments

प्रासंगिक: आंकड़े.stackexchange.com/questions/94402/… यदि थोड़ी सी भी संभावना है कि विचरण मौजूद नहीं है, तो आप एक मॉडल का उपयोग करके बेहतर हैं जो परिमित विचरण को नहीं मानता है। इसके परीक्षण के बारे में भी मत सोचो।

— kjetil b halvorsen

Answer 1

नहीं, यह संभव नहीं है, क्योंकि आकार का एक परिमित नमूना $n$मज़बूती से उन लोगों के बीच अंतर नहीं कर सकता है, जो कहते हैं, एक सामान्य जनसंख्या और एक सामान्य आबादी जो कि एक संचय वितरण के $1/N$ राशि से दूषित होती है जहां $N$ >> $n$ । (निश्चित रूप से पूर्व में परिमित विचरण है और उत्तरार्द्ध में अनंत विचरण है।) इस प्रकार किसी भी पूर्णतया अपारदर्शी परीक्षण में ऐसे विकल्पों के प्रति मनमाने ढंग से कम शक्ति होगी।

Comments

यह बहुत अच्छी बात है। हालाँकि, अधिकांश परिकल्पना परीक्षणों में कुछ विकल्प के मुकाबले मनमाने ढंग से कम शक्ति नहीं होती है? जैसे शून्य मतलब के लिए एक परीक्षण जब मतलब के साथ एक जनसंख्या से एक नमूना दिया बहुत कम बिजली होगा के लिए 0 < | ϵ | छोटे। मुझे अब भी आश्चर्य हो रहा है कि क्या इस तरह के परीक्षण का निर्माण बिल्कुल भी किया जा सकता है, क्या यह कुछ मामलों में कम शक्ति वाला है। $\epsilon$$0 \lt |\epsilon|$

— शब्बीशेफ

इसके अलावा, 'प्रदूषित' वितरण जैसे कि आप हमेशा मुझे पहचानते हैं 'पहचान वितरित' होने के विचार के साथ बाधाओं का सामना करना पड़ता है। शायद आप सहमत होंगे। ऐसा लगता है कि यह कहते हुए कि नमूने वितरण के बिना कुछ वितरण से नमूने खींचे गए हैं , व्यर्थ है (ठीक है,) स्वतंत्र रूप से आईआईडी का हिस्सा सार्थक है ’)।

— शब्बीशेफ

(1) आप कम शक्ति के बारे में सही हैं, लेकिन यहाँ समस्या (यह मुझे प्रतीत होती है) यह है कि "परिमित" से "अनंत" तक कोई क्रमिक कदम नहीं है: समस्या हमें बताने के लिए एक प्राकृतिक पैमाना नहीं है "बड़े" प्रस्थान की तुलना में अशक्त से "छोटा" प्रस्थान होता है। (२) वितरण का स्वरूप विचारधारा से स्वतंत्र है। मेरा यह मतलब नहीं है कि, 1% डेटा कॉची से आएगा और 99% एक नॉर्मल से। मेरा मतलब है कि 100% डेटा एक वितरण से आता है जो लगभग सामान्य है लेकिन कैची पूंछ है। इस अर्थ में एक दूषित वितरण के लिए डेटा iid हो सकता है।

— whuber

क्या किसी ने इस पेपर को पढ़ा है? sciencedirect.com/science/article/pii/S0304407615002596

— क्रिस्टोफ Hanck

यदि हर अवलोकन सटीक रूप से उसी मिश्रण प्रक्रिया से उत्पन्न होता है, जो वे समान रूप से वितरित की जाती हैं, तो प्रत्येक एक समान मिश्रण वितरण से ड्रा के रूप में आता है। यदि कुछ प्रक्रियाएं एक प्रक्रिया से आवश्यक हैं और अन्य आवश्यक रूप से एक अलग प्रक्रिया से हैं (अवलोकन 1 से 990 सामान्य हैं और 991 से 1000 तक अवलोकन हैं कॉची, कहते हैं), तो वे पहचान के रूप में वितरित नहीं किए जाते हैं (भले ही संयुक्त नमूना अप्रभेद्य हो सकता है 99% -1% मिश्रण से)। यह अनिवार्य रूप से आपके द्वारा उपयोग की जाने वाली प्रक्रिया के मॉडल के लिए नीचे आता है।

— Glen_b -Reinstate मोनिका

Answer 2

आप वितरण को जाने बिना निश्चित नहीं हो सकते। लेकिन कुछ चीजें हैं जो आप कर सकते हैं, जैसे कि "आंशिक विचरण" कहा जा सकता है, यानी यदि आपके पास आकार का एक नमूना है , तो आप पहले n शब्दों से अनुमानित विचरण आकर्षित करते हैं, जिसमें n 2 से चल रहा है एन ।$N$$n$$n$$N$

एक परिमित जनसंख्या विचरण के साथ, आप आशा करते हैं कि आंशिक विचरण जल्द ही जनसंख्या विचरण के करीब हो जाएगा।

एक अनंत जनसंख्या विचरण के साथ, आप आंशिक विचरण में छलांग लगाते हैं, उसके बाद धीमी गति से गिरावट आती है जब तक कि नमूना में बहुत बड़ा मूल्य दिखाई नहीं देता।

यह सामान्य और कॉची यादृच्छिक चर (और एक लॉग स्केल) के साथ एक चित्रण है

हो सकता है कि यह आपके वितरण का आकार ऐसा न हो, जो आपके लिए एक बहुत बड़े नमूने के आकार की आवश्यकता हो, जो इसे पर्याप्त आत्मविश्वास के साथ पहचानने के लिए आवश्यक हो, यानी जहां परिमित विचरण के साथ वितरण के लिए बहुत बड़े मूल्य निष्पक्ष (लेकिन अत्यंत नहीं) दुर्लभ हैं, या अनंत विचरण के साथ वितरण के लिए अत्यंत दुर्लभ हैं। दिए गए वितरण के लिए नमूना आकार होंगे जो इसकी प्रकृति को प्रकट नहीं करने की तुलना में अधिक संभावना रखते हैं; इसके विपरीत, किसी दिए गए नमूने के आकार के लिए, ऐसे वितरण होते हैं जो नमूना के उस आकार के लिए अपने जालों को छिपाने के लिए नहीं की तुलना में अधिक होते हैं।

Comments

+1 मुझे यह पसंद है क्योंकि (ए) एक ग्राफिक आमतौर पर एक परीक्षण से बहुत अधिक पता चलता है और (बी) यह व्यावहारिक है। मैं थोड़ा चिंतित हूं कि इसका एक मनमाना पहलू है: इसका स्वरूप उस क्रम पर (जोरदार, शायद) निर्भर करेगा जिसमें डेटा दिया गया है। जब "आंशिक विचरण" एक या दो चरम मूल्यों के कारण होता है, और वे शुरुआत के करीब आते हैं, तो यह ग्राफिक भ्रामक हो सकता है। मुझे आश्चर्य है कि क्या इस समस्या का कोई अच्छा समाधान है।

— whuber

महान ग्राफिक के लिए +1। वास्तव में कॉची वितरण में "कोई विचरण" की अवधारणा को ठोस नहीं करता है। @ व्हाइटर: सभी संभावित क्रमपरिवर्तन में डेटा को छाँटना, प्रत्येक के लिए परीक्षण चलाना और किसी तरह का औसत लेना? बहुत कम्प्यूटेशनल रूप से कुशल नहीं है, मैं आपको अनुदान दूंगा :) लेकिन हो सकता है कि आप बस कुछ ही यादृच्छिक क्रमांकन चुन सकें?

— n

@ naught101 सभी क्रमपरिवर्तन पर एवरेजिंग आपको कुछ भी नहीं बताएगा, क्योंकि आपको पूरी तरह से क्षैतिज रेखा मिलेगी। शायद मुझे गलतफहमी है कि आपका क्या मतलब है?

— whuber

@ वाउचर: मैं वास्तव में अभिसरण के लिए किसी प्रकार के परीक्षण का औसत लेना चाहता था, न कि ग्राफ का। लेकिन मैं इसे एक बहुत अस्पष्ट विचार प्रदान करूंगा, और यह काफी हद तक इसलिए है क्योंकि मुझे पता नहीं है कि मैं किस बारे में बात कर रहा हूं :)

— naught101

Answer 3

यहाँ एक और जवाब है। मान लीजिए कि आप समस्या को हल कर सकते हैं, कुछ इस तरह से:

$$H_{0}:\ X \sim t(\mathtt{df}=3)\mathrm{\ versus\ } H_{1}:\ X \sim t(\mathtt{df}=1).$$

तब आप एच 0 बनाम एच 1 के एक साधारण नेमन-पीयरसन संभावना अनुपात परीक्षण कर सकते थे । ध्यान दें कि एच 1 है कॉची (अनंत विचरण) और एच 0 सामान्य है छात्र टी : स्वतंत्रता के 3 डिग्री (परिमित विचरण) जो पीडीएफ के साथ च ( एक्स | ν ) = Γ ( ν + 1$H_{0}$$H_{1}$$H_{1}$$H_{0}$ $t$

$$f(x|\nu) = \frac{\Gamma\left(\frac{\nu + 1}{2}\right)}{\sqrt{\nu\pi}\Gamma\left(\frac{\nu}{2}\right)}\left(1 + \frac{x^{2}}{\nu} \right)^{-\frac{\nu + 1}{2}},$$

के लिए । यह देखते हुए सरल यादृच्छिक नमूना डेटा एक्स 1 , x 2 , ... , x n , संभावना अनुपात परीक्षण को खारिज कर दिया एच 0 जब Λ ( एक्स ) = Π n मैं = 1 च ( एक्स मैं | ν = 1 $-\infty < x < \infty$$x_{1},x_{2},\ldots,x_{n}$$H_{0}$ जहांकश्मीर≥0चुना जाता है ऐसा है कि पी(Λ(एक्स)>

$$\Lambda(\mathbf{x}) = \frac{\prod_{i=1}^{n}f(x_{i}|\nu = 1)}{\prod_{i=1}^{n}f(x_{i}|\nu = 3)} > k,$$ $k \geq 0$ $$P(\Lambda(\mathbf{X}) > k\,|\nu = 3) = \alpha.$$

यह bra ( x ) = ( al ) को सरल बनाने के लिए बीजगणित का एक छोटा सा है

$$\Lambda(\mathbf{x}) = \left(\frac{\sqrt{3}}{2}\right)^{n}\prod_{i = 1}^{n}\frac{\left(1 + x_{i}^{2}/3 \right)^{2}}{1 + x_{i}^{2}}.$$

तो, फिर से, हमें एक सरल यादृच्छिक नमूना मिलता है, गणना करें , और H 0 को अस्वीकार करें यदि Λ ( x ) बहुत बड़ा है। कितना बड़ा? यह मजेदार हिस्सा है! यह महत्वपूर्ण मूल्य के लिए एक बंद रूप पाने के लिए कठिन (असंभव?) होने जा रहा है, लेकिन हम इसे करीब से पसंद कर सकते हैं, जैसे कि हम सुनिश्चित करते हैं। यहाँ ऐसा करने का एक तरीका है, R. Suppose α = 0.05 के साथ , और हंसी के लिए, n = 13 कहते हैं ।$\Lambda(\mathbf{x})$$H_{0}$$\Lambda(\mathbf{x})$$\alpha = 0.05$$n = 13$

हम के तहत नमूने के एक झुंड उत्पन्न , calculate Λ प्रत्येक नमूने के लिए, और फिर 95 वें quantile पाते हैं।$H_{0}$$\Lambda$

set.seed(1)
x <- matrix(rt(1000000*13, df = 3), ncol = 13)
y <- apply(x, 1, function(z) prod((1 + z^2/3)^2)/prod(1 + z^2))
quantile(y, probs = 0.95)

$\approx 12.8842$$(\sqrt{3}/2)^{13}$$k \approx 1.9859$

$H_{0}$$H_{1}$$\alpha$

अस्वीकरण: यह एक खिलौना उदाहरण है। मेरे पास कोई वास्तविक दुनिया की स्थिति नहीं है जिसमें मैं यह जानने के लिए उत्सुक था कि क्या मेरा डेटा कॉची से आया है जैसा कि 3 डीएफ के साथ छात्र के टी के विपरीत है। और मूल प्रश्न में पैराट्राइज्ड समस्याओं के बारे में कुछ भी नहीं कहा गया था, ऐसा लगता था कि यह एक गैर-पैरामीटर दृष्टिकोण की तलाश में था, जो मुझे लगता है कि दूसरों द्वारा अच्छी तरह से संबोधित किया गया था। इस उत्तर का उद्देश्य भविष्य के पाठकों के लिए है जो प्रश्न के शीर्षक के पार ठोकर खाते हैं और शास्त्रीय धूल भरी पाठ्यपुस्तक के दृष्टिकोण की तलाश में हैं।

$H_{1}:\nu \leq 1$

Comments

$\alpha$

$H_1:\nu\leq 2$$\nu>2$

$\alpha$

$\alpha$$\alpha = 2$

Answer 4

$D\equiv Y_{1},Y_{2},\dots,Y_{N}$

1. $H_{0}:Y_{i}\sim Normal(\mu,\sigma)$
2. $H_{A}:Y_{i}\sim Cauchy(\nu,\tau)$

एक परिकल्पना में परिमित विचरण है, एक में अनंत विचरण है। बस बाधाओं की गणना करें:

$$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\frac{\int P(D,\mu,\sigma|H_{0},I)d\mu d\sigma}{\int P(D,\nu,\tau|H_{A},I)d\nu d\tau}$$

$\frac{P(H_{0}|I)}{P(H_{A}|I)}$

$$P(D,\mu,\sigma|H_{0},I)=P(\mu,\sigma|H_{0},I)P(D|\mu,\sigma,H_{0},I)$$ $$P(D,\nu,\tau|H_{A},I)=P(\nu,\tau|H_{A},I)P(D|\nu,\tau,H_{A},I)$$

$L_{1}<\mu,\tau<U_{1}$$L_{2}<\sigma,\tau<U_{2}$

$$\frac{\left(2\pi\right)^{-\frac{N}{2}}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma$$

$s^2=N^{-1}\sum_{i=1}^{N}(Y_i-\overline{Y})^2$$\overline{Y}=N^{-1}\sum_{i=1}^{N}Y_i$

$$\frac{\pi^{-N}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau$$

और अब अनुपात लेते हुए हम पाते हैं कि सामान्य करने वाले स्थिरांक के महत्वपूर्ण हिस्से रद्द हो जाते हैं और हमें मिलते हैं:

$$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{\pi}{2}\right)^{\frac{N}{2}}\frac{\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

और सभी इंटीग्रल अभी भी सीमा में उचित हैं ताकि हम प्राप्त कर सकें:

$$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{2}{\pi}\right)^{-\frac{N}{2}}\frac{\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

$$\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma=\sqrt{2N\pi}\int_{0}^{\infty}\sigma^{-N} exp\left(-\frac{Ns^{2}}{2\sigma^{2}}\right)d\sigma$$

अब चर का परिवर्तन करें$\lambda=\sigma^{-2}\implies d\sigma = -\frac{1}{2}\lambda^{-\frac{3}{2}}d\lambda$

$$-\sqrt{2N\pi}\int_{\infty}^{0}\lambda^{\frac{N-1}{2}-1} exp\left(-\lambda\frac{Ns^{2}}{2}\right)d\lambda=\sqrt{2N\pi}\left(\frac{2}{Ns^{2}}\right)^{\frac{N-1}{2}}\Gamma\left(\frac{N-1}{2}\right)$$

और हम संख्यात्मक कार्य के लिए बाधाओं के लिए एक अंतिम विश्लेषणात्मक रूप में प्राप्त करते हैं:

$$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\times\frac{\pi^{\frac{N+1}{2}}N^{-\frac{N}{2}}s^{-(N-1)}\Gamma\left(\frac{N-1}{2}\right)}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

तो यह परिमित बनाम अनंत विचरण के विशिष्ट परीक्षण के रूप में सोचा जा सकता है। हम इस फ्रेमवर्क में एक और परीक्षण करने के लिए एक टी वितरण भी कर सकते हैं (परिकल्पना का परीक्षण करें कि स्वतंत्रता की डिग्री 2 से अधिक है)।

Comments

$s^2$

$s$$s^2=N^{-1}\sum_{i=1}^{N}(Y_i-\overline{Y})^2$$\overline{Y}$$\overline{x}$

Answer 5

काउंटरएक्सप्लिमेंट पूछे गए प्रश्न के लिए प्रासंगिक नहीं है। आप अशक्त परिकल्पना का परीक्षण करना चाहते हैं कि आईआईडी रैंडम वैरिएबल का एक सैंपल एक डिलेवरी स्तर पर परिमित विचरण वाले वितरण से खींचा गया है । मैं कैसैला द्वारा "सांख्यिकीय इंजेक्शन" जैसे एक अच्छे संदर्भ पाठ का उपयोग करने और परिकल्पना परीक्षण की सीमा को समझने की सलाह देता हूं। परिमित विचलन पर ht के बारे में, मेरे पास संदर्भ संदर्भ नहीं है, लेकिन निम्नलिखित पेपर एक समान, लेकिन मजबूत, समस्या का संस्करण है, अर्थात, यदि वितरण पूंछ एक शक्ति कानून का पालन करती है।

बिजली के आंकड़ों में बिजली के आंकड़ों की समीक्षा सियाम 51 (2009): 661--703।

Answer 6

एक दृष्टिकोण जो मुझे सुझाया गया था, वह केंद्रीय सीमा प्रमेय था।

यह एक पुराना प्रश्न है, लेकिन मैं बड़ी पूंछों के परीक्षण के लिए CLT का उपयोग करने का एक तरीका प्रस्तावित करना चाहता हूं।

$X = \{X_1,\ldots,X_n\}$$Y = \{Y_1,\ldots,Y_n\}$$X$

$$Z = \sqrt{n}\times\frac{mean(Y) - mean(X)}{sd(Y)},$$

एन (0,1) वितरण फ़ंक्शन के करीब भी है।

अब हमें बस इतना करना है कि बड़ी संख्या में बूटस्ट्रैप करें और एन (0,1) के एड के साथ देखे गए जेड के अनुभवजन्य वितरण समारोह की तुलना करें। यह तुलना करने का एक प्राकृतिक तरीका है कोलमोगोरोव-स्मिरनोव परीक्षण ।

निम्नलिखित चित्र मुख्य विचार को चित्रित करते हैं। दोनों चित्रों में प्रत्येक रंगीन रेखा का निर्माण विशेष वितरण से 1000 अवलोकनों के आईड बोध से होता है, इसके बाद Z इक्वेड के सन्निकटन के लिए आकार 500 के 200 बूटस्ट्रैप आकार के होते हैं। काली निरंतर रेखा N (0,1) cdf है।

Comments

मेरे जवाब में मेरे द्वारा उठाए गए समस्या के खिलाफ बूटस्ट्रैपिंग की कोई भी राशि आपको कहीं भी नहीं मिलेगी। ऐसा इसलिए है क्योंकि अधिकांश नमूनों में भारी पूंछ का कोई सबूत नहीं दिया जाएगा - और बूटस्ट्रैपिंग, परिभाषा के अनुसार, नमूने से केवल डेटा का उपयोग करता है।

— व्हिबर

@ वाउचर यदि एक्स मान एक सममित बिजली कानून से लिया जाता है, तो सामान्यीकृत सीएलटी लागू होता है और केएस परीक्षण अंतर का पता लगाएगा। मेरा मानना ​​है कि आपका अवलोकन सही ढंग से वर्णन नहीं करता है कि आप जो कहते हैं वह "परिमित" से "अनंत" तक एक क्रमिक कदम है

— 211:39 पर Mur1lo

CLT कभी भी किसी परिमित नमूने पर "लागू नहीं" होता है। यह एक सीमा के बारे में प्रमेय है।

— whuber

जब मैं कहता हूं कि यह "लागू होता है" तो मैं केवल यह कह रहा हूं कि अगर हमारे पास एक बड़ा नमूना है तो यह एक अच्छा अनुमान प्रदान करता है।

— मुरलो ०

"अच्छे सन्निकटन" और "बड़े" की अस्पष्टता दुर्भाग्य से परिकल्पना परीक्षणों के तर्क को पकड़ने में विफल रहती है। अपने बयान में निहित है जब तक आप भारी-पूंछता का पता लगाने में सक्षम होते हैं, तब तक एक बड़ा नमूना एकत्र करने की संभावना है: लेकिन यह नहीं है कि आमतौर पर परिकल्पना परीक्षण कैसे काम करते हैं। मानक सेटिंग में आपके पास एक नमूना दिया गया है और आपका कार्य यह परीक्षण करना है कि क्या यह शून्य परिकल्पना में वितरण से है। इस मामले में, बूटस्ट्रैपिंग किसी भी अधिक सीधे परीक्षण से बेहतर नहीं होगा।

— whuber