क्या करें जब दो नमूनों के साधन काफी भिन्न होते हैं लेकिन अंतर बहुत कम लगता है

13

मेरे पास दो नमूने हैं ( दोनों मामलों में )। साधन लगभग दो बार एसटीडी से भिन्न होता है। देव। परिणामी मान लगभग 10. है, जबकि यह जानना बहुत अच्छा है कि मैंने निर्णायक रूप से दिखाया है कि साधन समान नहीं हैं, ऐसा लगता है कि मुझे बड़े एन द्वारा संचालित किया जाएगा। डेटा के हिस्टोग्राम को देखते हुए मुझे निश्चित रूप से ऐसा नहीं लगता है कि इस तरह के छोटे पी-मूल्य वास्तव में डेटा के प्रतिनिधि हैं और ईमानदार होने के लिए वास्तव में इसे उद्धृत करने में सहज महसूस नहीं करते हैं। मैं शायद गलत सवाल पूछ रहा हूं। मैं जो सोच रहा हूं वह है: ठीक है, साधन अलग हैं लेकिन क्या वास्तव में यह महत्वपूर्ण है क्योंकि वितरण एक महत्वपूर्ण ओवरलैप साझा करते हैं? $n \approx 70$ $T$

क्या यह वह जगह है जहाँ बायेसियन परीक्षण उपयोगी है? यदि हां, तो कहां से शुरू करने के लिए एक अच्छी जगह है, थोड़ी सी भी गुगली से कुछ उपयोगी नहीं निकला है, लेकिन मैं सही सवाल पूछकर नहीं कर सकता हूं। अगर यह गलत बात है तो क्या किसी के पास कोई सुझाव है? या यह केवल मात्रात्मक विश्लेषण के विपरीत चर्चा के लिए एक बिंदु है?

hypothesis-testing t-test

— गेंदबाज
स्रोत

मैं केवल अन्य सभी उत्तरों को जोड़ना चाहता हूं कि आपका पहला कथन गलत है: आपने निर्णायक रूप से नहीं दिखाया है कि साधन अलग हैं । एक टी-टेस्ट का पी-मूल्य आपको बता रहा है कि क्या आपके डेटा या इसके अधिक चरम मूल्यों के अवलोकन की संभावना है / संभावना नहीं है, जो अशक्त परिकल्पना दी गई है (जो कि टी-टेस्ट के लिए , यानी : { "साधन समान हैं"}), जिसका अर्थ यह नहीं है कि साधन वास्तव में भिन्न हैं । इसके अलावा, मेरा मानना है कि आपने पूल किए गए विचरण टी-टेस्ट, सही करने से पहले भिन्नताओं की समानता का परीक्षण करने के लिए एफ-टेस्ट भी किया है?

μ_{A} = μ_{B}

$\mu_A=\mu_B$

H_{0}

$H_0$

— Néstor

आपका प्रश्न बहुत अच्छा है क्योंकि यह एक महत्वपूर्ण अंतर लाता है और यह दर्शाता है कि आप सांख्यिकीय आउटपुट पर कुछ सितारों की तलाश करने और खुद को घोषित करने के बजाय अपने डेटा के बारे में सोच रहे हैं। जैसा कि कई उत्तर बताते हैं, सांख्यिकीय महत्व उतना ही सार्थक नहीं है । और जब आप इसके बारे में सोचते हैं, तो वे नहीं हो सकते हैं: एक सांख्यिकीय प्रक्रिया को कैसे पता चलेगा कि 0.01 के एक सांख्यिकीय महत्वपूर्ण अंतर का अर्थ फील्ड ए में कुछ है, लेकिन फील्ड बी में अर्थहीन रूप से छोटा है?

— वेन

काफी हद तक, लैंगगॉउट हाजिर नहीं था, लेकिन जब पी-मूल्य लोगों की तरह होता है, तो मुझे लगता है कि मैं शब्दों के बारे में ज्यादा उतावला नहीं हूं। मैंने एक एफ-टेस्ट (और एक क्यूक्यू-प्लॉट) किया था। जैसा कि वे कहते हैं, जैज के लिए यह काफी करीब है।

— गेंदबाज

1

FWIW, अगर आपके साधन 2 SD के अलग हैं, तो यह मेरे लिए बहुत बड़ा अंतर है। यह आपके क्षेत्र पर निर्भर करेगा, निश्चित रूप से, लेकिन यह एक अंतर है जिसे लोग आसानी से डब्ल्यू / नग्न आंखों (जैसे, अमेरिकी पुरुषों और महिलाओं की औसत ऊंचाई 20-29 की उम्र के बारे में नोटिस करेंगे) लगभग 1.5 एसडी के हैं।) आईएमओ, यदि वितरण डॉन करते हैं। सभी पर ओवरलैप नहीं है, आपको वास्तव में कोई डेटा विश्लेषण करने की आवश्यकता नहीं है; यदि वितरण ओवरलैप नहीं करता है , तो न्यूनतम 6 से कम w / , <.05 होगा।

N

$N$

p

$p$

— गूँग - २०:०२ पर मोनिका

मैं मानता हूं कि यह अंतर बड़ा है, हालांकि यह बिलकुल अपरिवर्तनीय है।

— बॉउलर

12

Let पहली जनसंख्या के माध्य को दर्शाता है और दूसरी जनसंख्या के माध्य को दर्शाता है। ऐसा लगता है कि आपने दो-नमूना उपयोग किया है या नहीं यह जांचने के लिए कि क्या । महत्वपूर्ण परिणाम का तात्पर्य है कि , लेकिन यह अंतर आपके आवेदन के लिए छोटे से छोटा प्रतीत होता है। $\mu_1$ $\mu_2$ $t$ $\mu_1=\mu_2$ $\mu_1\neq\mu_2$

आपने जो सामना किया है वह यह तथ्य है कि सांख्यिकीय रूप से महत्वपूर्ण अक्सर आवेदन के लिए महत्वपूर्ण के अलावा कुछ और हो सकता है । हालांकि यह अंतर सांख्यिकीय रूप से महत्वपूर्ण हो सकता है लेकिन यह अभी भी सार्थक नहीं हो सकता है ।

बायेसियन परीक्षण उस समस्या को हल नहीं करेगा - आप अभी भी निष्कर्ष निकालेंगे कि एक अंतर मौजूद है।

हालाँकि कोई रास्ता भी हो सकता है। उदाहरण के लिए, एक तरफा परिकल्पना के लिए आप तय कर सकते हैं कि अगर है इकाइयों से अधिक तो है कि एक सार्थक फर्क आपके आवेदन के लिए बात करने के बड़ा पर्याप्त है कि होगा। $\mu_1$ $\Delta$ $\mu_2$

उस स्थिति में आप यह कि क्या बजाय । -statistic (बराबर प्रसरण कल्पना करते हुए) होता है कि मामले में जहां जमा मानक विचलन का अनुमान है। रिक्त परिकल्पना के तहत, यह आँकड़ा है -distributed साथ स्वतंत्रता की डिग्री। $\mu_1-\mu_2\leq \Delta$ $\mu_1-\mu_2=0$ $t$

T = \frac{{\bar{x}}_{1} - {\bar{x}}_{2} - Δ}{s_{p} \sqrt{1 / n_{1} + 1 / n_{2}}}

$T=\frac{\bar{x}_1-\bar{x}_2-\Delta}{s_p\sqrt{1/n_1+1/n_2}}$

s_{p}

$s_p$

t

$t$

n_{1} + n_{2} - 2

$n_1+n_2-2$

इस परीक्षण को अंजाम देने का एक आसान तरीका यह है कि आप पहली आबादी से अपनी टिप्पणियों से को घटाएं और फिर नियमित एक तरफा दो-नमूना -est करें। $\Delta$ $t$

— MånsT
स्रोत

8

यह कई दृष्टिकोणों की तुलना करने के लिए मान्य है, लेकिन हमारी इच्छाओं / विश्वासों के पक्षधर को चुनने के उद्देश्य से नहीं।

आपके प्रश्न का मेरा उत्तर है: यह संभव है कि दो वितरण ओवरलैप करते हैं, जबकि उनके पास अलग-अलग साधन होते हैं, जो कि आपका मामला लगता है (लेकिन हमें अधिक सटीक उत्तर प्रदान करने के लिए आपके डेटा और संदर्भ को देखने की आवश्यकता होगी)।

मैं सामान्य साधनों की तुलना करने के लिए दृष्टिकोण के एक जोड़े का उपयोग करके यह वर्णन कर रहा हूं ।

1. -टेस्ट $t$

एक और से आकार दो सिम्युलेटेड नमूनों पर विचार करें , फिर आपके मामले में अंतराल लगभग (नीचे आर कोड देखें)। $70$ $N(10,1)$ $N(12,1)$ $t$ $10$

rm(list=ls())
# Simulated data
dat1 = rnorm(70,10,1)
dat2 = rnorm(70,12,1)

set.seed(77)

# Smoothed densities
plot(density(dat1),ylim=c(0,0.5),xlim=c(6,16))
points(density(dat2),type="l",col="red")

# Normality tests
shapiro.test(dat1)
shapiro.test(dat2)

# t test
t.test(dat1,dat2)

हालाँकि सघनता एक अतिव्यापी दिखाती है। लेकिन याद रखें कि आप साधनों के बारे में एक परिकल्पना का परीक्षण कर रहे हैं, जो इस मामले में स्पष्ट रूप से भिन्न हैं, लेकिन, के मूल्य के कारण , घनत्व का एक ओवरलैप है। $\sigma$

यहाँ छवि विवरण दर्ज करें

2. प्रोफाइल की संभावना $\mu$

प्रोफ़ाइल संभावना और परिभाषा की परिभाषा के लिए कृपया 1 और 2 देखें ।

इस स्थिति में, आकार और नमूना नमूने के की संभावना केवल । $\mu$ $n$ $\bar{x}$ $R_p(\mu)=\exp\left[-n(\bar{x}-\mu)^2\right]$

सिम्युलेटेड डेटा के लिए, इनकी गणना R में निम्नानुसार की जा सकती है

# Profile likelihood of mu
Rp1 = function(mu){
n = length(dat1)
md = mean(dat1)
return( exp(-n*(md-mu)^2) )
}

Rp2 = function(mu){
n = length(dat2)
md = mean(dat2)
return( exp(-n*(md-mu)^2) )
}

vec=seq(9.5,12.5,0.001)
rvec1 = lapply(vec,Rp1)
rvec2 = lapply(vec,Rp2)

# Plot of the profile likelihood of mu1 and mu2
plot(vec,rvec1,type="l")
points(vec,rvec2,type="l",col="red")

जैसा कि आप देख सकते हैं, और की संभावना अंतराल किसी भी उचित स्तर पर ओवरलैप नहीं है। $\mu_1$ $\mu_2$

3. पूर्ववर्ती Jeffreys का उपयोग करके का पिछला भाग $\mu$

पर विचार करें जेफ्रेय्स पूर्व की $(\mu,\sigma)$

π (μ, σ) \propto \frac{1}{σ^{2}}

$\pi(\mu,\sigma)\propto \dfrac{1}{\sigma^2}$

प्रत्येक डेटा सेट के लिए बाद की गणना निम्नानुसार की जा सकती है $\mu$

# Posterior of mu
library(mcmc)

lp1 = function(par){
n=length(dat1)
if(par[2]>0) return(sum(log(dnorm((dat1-par[1])/par[2])))- (n+2)*log(par[2]))
else return(-Inf)
}

lp2 = function(par){
n=length(dat2)
if(par[2]>0) return(sum(log(dnorm((dat2-par[1])/par[2])))- (n+2)*log(par[2]))
else return(-Inf)
}

NMH = 35000
mup1 = metrop(lp1, scale = 0.25, initial = c(10,1), nbatch = NMH)$batch[,1][seq(5000,NMH,25)]
mup2 = metrop(lp2, scale = 0.25, initial = c(12,1), nbatch = NMH)$batch[,1][seq(5000,NMH,25)]

# Smoothed posterior densities
plot(density(mup1),ylim=c(0,4),xlim=c(9,13))
points(density(mup2),type="l",col="red")

फिर, साधनों के लिए विश्वसनीयता अंतराल किसी भी उचित स्तर पर ओवरलैप नहीं होता है।

निष्कर्ष में, आप देख सकते हैं कि वितरण के ओवरलैपिंग के बावजूद, ये सभी दृष्टिकोण किस प्रकार महत्वपूर्ण अंतर का संकेत देते हैं (जो कि मुख्य रुचि है)।

$\star$ एक अलग दृष्टिकोण तुलना

घनत्वों के अतिव्यापीकरण के बारे में आपकी चिंताओं को देखते हुए, ब्याज की एक और मात्रा , संभावना है कि पहला यादृच्छिक चर दूसरे चर की तुलना में छोटा है। इस उत्तर के रूप में इस मात्रा का गैर-अनुमानित रूप से अनुमान लगाया जा सकता है । ध्यान दें कि यहां कोई वितरण संबंधी धारणाएं नहीं हैं। सिम्युलेटेड डेटा के लिए, यह अनुमानक , इस अर्थ में कुछ ओवरलैप दिखा रहा है, जबकि साधन काफी भिन्न हैं। कृपया, नीचे दिखाए गए R कोड पर एक नज़र डालें। ${\mathbb P}(X<Y)$ $0.8823825$

# Optimal bandwidth
h = function(x){
n = length(x)
return((4*sqrt(var(x))^5/(3*n))^(1/5))
}

# Kernel estimators of the density and the distribution
kg = function(x,data){
hb = h(data)
k = r = length(x)
for(i in 1:k) r[i] = mean(dnorm((x[i]-data)/hb))/hb
return(r )
} 

KG = function(x,data){
hb = h(data)
k = r = length(x)
for(i in 1:k) r[i] = mean(pnorm((x[i]-data)/hb))
return(r ) 
} 

# Baklizi and Eidous (2006) estimator
nonpest = function(dat1B,dat2B){
return( as.numeric(integrate(function(x) KG(x,dat1B)*kg(x,dat2B),-Inf,Inf)$value))  
}

nonpest(dat1,dat2)

आशा है कि ये आपकी मदद करेगा।

— समुदाय
स्रोत

2

(+1) बेसियन विधियों पर वास्तव में उपयोगी उत्तर के लिए धन्यवाद। इसके अलावा पी (एक्स <वाई) लिंक एक और मुद्दे का जवाब देता है जो मैं उसी विश्लेषण के बारे में सोच रहा हूं।

— बॉलर

7

सही प्रश्न का उत्तर देना

ठीक है, साधन अलग-अलग हैं, लेकिन क्या यह वास्तव में मायने रखता है क्योंकि वितरण एक महत्वपूर्ण ओवरलैप साझा करते हैं?

कोई भी परीक्षण जो पूछता है कि क्या समूह का मतलब अलग-अलग है, जब यह सही काम करता है, तो आपको बताएंगे कि क्या साधन अलग हैं। यह आपको यह नहीं बताएगा कि डेटा का वितरण खुद ही अलग है, क्योंकि यह एक अलग सवाल है। यह सवाल निश्चित रूप से इस बात पर निर्भर करता है कि साधन अलग-अलग हैं, लेकिन कई अन्य चीजों पर भी जो कि (अपूर्ण रूप से) विचरण, तिरछा और कुर्तोसिस के रूप में संक्षेपित हो सकते हैं।

आप सही ढंग से ध्यान दें कि जहां साधन हैं, उनके बारे में निश्चितता डेटा की मात्रा पर निर्भर करती है, ताकि आप उनका अनुमान लगा सकें, इसलिए अधिक डेटा होने से आप अधिक ओवरलैपिंग वितरण में अंतर का अर्थ लगा पाएंगे। लेकिन आपको आश्चर्य है कि क्या

इस तरह के छोटे पी-मूल्य वास्तव में डेटा के प्रतिनिधि हैं

वास्तव में यह नहीं है, कम से कम सीधे नहीं। और यह डिजाइन द्वारा है। यह निश्चितता का प्रतिनिधि (लगभग बोलना) है जो आपके पास हो सकता है कि डेटा के नमूने के आंकड़ों की एक विशेष जोड़ी (स्वयं डेटा नहीं) अलग हो।

यदि आप केवल हिस्टोग्राम और उसके परीक्षण क्षणों को दिखाने की तुलना में अधिक औपचारिक तरीके से डेटा का प्रतिनिधित्व करना चाहते थे, तो शायद एक जोड़ी घनत्व वाले प्लॉट सहायक हो सकते हैं। यह वास्तव में उस तर्क पर निर्भर करता है जिसे आप परीक्षण करने के लिए उपयोग कर रहे हैं।

एक बायेसियन संस्करण

इन सभी मामलों में, बायेसियन अंतर 'परीक्षण' और टी-टेस्ट एक ही तरह से व्यवहार करेंगे क्योंकि वे एक ही काम करने की कोशिश कर रहे हैं। एक बायेसियन दृष्टिकोण का उपयोग करने के लिए केवल मैं ही सोच सकता हूं: क) कि प्रत्येक समूह के लिए अलग-अलग संस्करण की अनुमति देने वाले परीक्षण को करना आसान होगा, और बी) कि यह अंतर के संभावित आकार का अनुमान लगाने पर ध्यान केंद्रित करेगा अंतर के कुछ परीक्षण के लिए पी-मान प्राप्त करने के बजाय। उस ने कहा, ये फायदे बहुत मामूली हैं: उदाहरण के लिए बी) आप हमेशा अंतर के लिए एक आत्मविश्वास अंतराल की रिपोर्ट कर सकते हैं।

'परीक्षण' के ऊपर दिए गए उद्धरण चिह्न जानबूझकर दिए गए हैं। बेयसियन परिकल्पना परीक्षण करना निश्चित रूप से संभव है, और लोग करते हैं। हालांकि, मैं यह सुझाव दूंगा कि दृष्टिकोण का तुलनात्मक लाभ डेटा के प्रशंसनीय मॉडल के निर्माण और अनिश्चितता के उपयुक्त स्तरों के साथ इसके महत्वपूर्ण पहलुओं को संप्रेषित करने पर केंद्रित है।

— conjugateprior
स्रोत

3

सबसे पहले यह लगातार परीक्षण पर पिन करने के लिए एक समस्या नहीं है। समस्या शून्य परिकल्पना में निहित है कि साधन बिल्कुल समान हैं। इसलिए अगर आबादी किसी भी छोटी राशि के माध्यम से भिन्न होती है और नमूना आकार काफी बड़ा होता है तो इस अशक्त परिकल्पना को अस्वीकार करने का मौका बहुत अधिक होता है। इसलिए आपके परीक्षण के लिए पी-मूल्य बहुत छोटा निकला। अपराधी शून्य परिकल्पना का विकल्प है। D> 0 को चुनें और शून्य परिकल्पना को इस रूप में लें कि साधन d से कम से कम निरपेक्ष मान से भिन्न हो। आप डी लेते हैं ताकि वास्तविक अंतर को अस्वीकार करने के लिए संतोषजनक रूप से बड़ा हो। आपकी समस्या दूर हो जाती है। यदि आप साधनों की सटीक समानता की अशक्त परिकल्पना पर जोर देते हैं तो बायेसियन परीक्षण आपकी समस्या का समाधान नहीं करता है।

— माइकल आर
स्रोत

मैं दूसरे दो के रूप में एक ही समय में अपना जवाब लिख रहा था।

— माइकल आर। चेरनिक