प्रत्येक समूह में सहसंबंध महत्वपूर्ण लेकिन सभी पर गैर-महत्वपूर्ण?

Question

मान लीजिए कि हम और समूहों में चर और बीच पियर्सन सहसंबंध का परीक्षण करते हैं । क्या यह , सहसंबंध के लिए और में से प्रत्येक में महत्वपूर्ण है , लेकिन दोनों समूहों के डेटा संयुक्त होने पर गैर-महत्वपूर्ण है? इस मामले में, क्या आप इसके लिए स्पष्टीकरण प्रदान कर सकते हैं।$x$$y$$A$$B$$(x,y)$$A$$B$

Answer 1

हां, यह संभव है और यह सभी तरह के तरीके से हो सकता है। एक स्पष्ट उदाहरण है जब ए और बी की सदस्यता किसी तरह से चुनी जाती है जो एक्स और वाई के मूल्यों को दर्शाती है। अन्य उदाहरण संभव हैं, उदाहरण के लिए @ मैक्रो की टिप्पणी एक वैकल्पिक संभावना का सुझाव देती है।

नीचे दिए गए उदाहरण पर विचार करें, R. x और y में लिखे गए iid मानक सामान्य चर हैं, लेकिन अगर मैं उन्हें x और y के सापेक्ष मानों के आधार पर समूहों को आवंटित करता हूं तो मुझे आपके नाम का विवरण मिलता है। समूह ए और समूह बी के भीतर x और y के बीच मजबूत सांख्यिकीय महत्वपूर्ण सहसंबंध है, लेकिन यदि आप समूहीकरण संरचना को अनदेखा करते हैं तो कोई संबंध नहीं है।

> library(ggplot2)
> x <- rnorm(1000)
> y <- rnorm(1000)
> Group <- ifelse(x>y, "A", "B")
> cor.test(x,y)

        Pearson's product-moment correlation

data:  x and y 
t = -0.9832, df = 998, p-value = 0.3257
alternative hypothesis: true correlation is not equal to 0 
95 percent confidence interval:
 -0.09292  0.03094 
sample estimates:
     cor 
-0.03111 

> cor.test(x[Group=="A"], y[Group=="A"])

        Pearson's product-moment correlation

data:  x[Group == "A"] and y[Group == "A"] 
t = 11.93, df = 487, p-value < 2.2e-16
alternative hypothesis: true correlation is not equal to 0 
95 percent confidence interval:
 0.4040 0.5414 
sample estimates:
   cor 
0.4756 

> cor.test(x[Group=="B"], y[Group=="B"])

        Pearson's product-moment correlation

data:  x[Group == "B"] and y[Group == "B"] 
t = 9.974, df = 509, p-value < 2.2e-16
alternative hypothesis: true correlation is not equal to 0 
95 percent confidence interval:
 0.3292 0.4744 
sample estimates:
   cor 
0.4043 
> qplot(x,y, color=Group)

Comments

+1। यह एक बहुत ही चतुर उदाहरण है जो मेरे साथ नहीं हुआ था।

— मैक्रों

Answer 2

एक संभावना यह है कि प्रभाव प्रत्येक समूह में अलग-अलग दिशाओं में जा रहे हैं और जब आप उन्हें एकत्र करते हैं तो रद्द हो जाते हैं । यह इस बात से भी संबंधित है कि, जब आप एक प्रतिगमन मॉडल में एक महत्वपूर्ण अंतःक्रियात्मक पद छोड़ते हैं, तो मुख्य प्रभाव भ्रामक हो सकते हैं।

उदाहरण के लिए, मान लें कि समूह में प्रतिक्रिया और भविष्यवक्ता बीच का वास्तविक संबंध है:$\rm A$$y_i$$x_i$

$$E(y_i|x_i, {\rm Group \ A}) = 1 + x_i$$

और समूह ,$\rm B$

$$E(y_i|x_i, {\rm Group \ B}) = 1 - x_i$$

मान लीजिए समूह सदस्यता इसलिए वितरित किया जाता है कि तो फिर, अगर आप समूह सदस्यता और calculate से अधिक हाशिए द्वारा कुल अपेक्षा का कानून आपको मिलता है

$$P({\rm Group \ A}) = 1-P( {\rm Group \ B}) = p$$ $E(y_i|x_i)$

$$\begin{align*} E(y_i | x_i) = E( E(y_i|x_i,{\rm Group}) ) &= p(1+ x_i) + (1-p)(1-x_i) \\ &= p + px_i + 1 - x_i - p + px_i \\ &= 1 - x_i(2p-1) \end{align*}$$

इसलिए, यदि , और पर बिल्कुल निर्भर नहीं है । इसलिए, दोनों समूहों के बीच एक संबंध है, लेकिन जब आप उन्हें एकत्र करते हैं, तो कोई संबंध नहीं होता है। दूसरे शब्दों में, जनसंख्या में एक यादृच्छिक रूप से चयनित व्यक्ति के लिए, जिनकी समूह सदस्यता हमें नहीं पता है, औसतन, और बीच कोई संबंध नहीं । लेकिन, प्रत्येक समूह के भीतर है।$p = 1/2$$E(y_i | x_i) = 1$$x_i$$x_i$$y_i$

कोई भी उदाहरण जहां का मान पूरी तरह से प्रत्येक समूह के भीतर प्रभाव के आकार को संतुलित करता है, इस परिणाम को भी जन्म देगा - यह गणना को आसान बनाने के लिए सिर्फ यह खिलौना उदाहरण था :)$p$

नोट: सामान्य त्रुटियों के साथ, रेखीय प्रतिगमन गुणांक का महत्व पियर्सन के सहसंबंध के महत्व के बराबर है, इसलिए यह उदाहरण आपके द्वारा देखे जा रहे एक विवरण को उजागर करता है।