3 चर के लिए पियर्सन सहसंबंध की सादृश्य

Question

मुझे इस बात में दिलचस्पी है कि तीन चर का "सहसंबंध" कुछ है या नहीं, और यदि है, तो यह क्या होगा?

पीयरसन उत्पाद पल सहसंबंध गुणांक

$$\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)\}}{\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)}}$$

अब 3 चर के लिए प्रश्न: है

$$\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)(Z-\mu_Z)\}} {\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)\mathrm{Var}(Z)}}$$

कुछ भी?

R में ऐसा लगता है जैसे कुछ व्याख्या करने योग्य है:

> a <- rnorm(100); b <- rnorm(100); c <- rnorm(100)
> mean((a-mean(a)) * (b-mean(b)) * (c-mean(c))) / (sd(a) * sd(b) * sd(c))
[1] -0.3476942

हम आम तौर पर 2 चर के बीच सहसंबंध को देखते हुए एक निश्चित तीसरे चर का मान देते हैं। क्या कोई स्पष्ट कर सकता है?

Comments

1) आपके बीवरिएट पियर्सन फार्मूले में, यदि "E" (आपके कोड में माध्य) का तात्पर्य n तब st द्वारा विभाजन है । विचलन भी n (n-1 नहीं) पर आधारित होना चाहिए । 2) तीनों चर एक ही चर होने दें। इस मामले में, हम सहसंबंध 1 होने की उम्मीद करते हैं (जैसा कि बीवरिएट मामले में), लेकिन अफसोस ...

— ttnphns

एक सामान्य सामान्य वितरण के लिए, यह शून्य है, भले ही सहसंबंध क्या हों।

— रे कोपमैन

मुझे वास्तव में लगता है कि शीर्षक को "3 वेरिएबल्स के लिए पियर्सन सहसंबंध की समानता" में परिवर्तित होने से लाभ होगा - इसी तरह यह लिंक और अधिक जानकारीपूर्ण बना देगा

— सिल्वरफ़िश

@Silverfish मैं सहमत हूँ! मैंने शीर्षक अपडेट किया है, धन्यवाद।

— पास्कलवुकुटेन

Answer 1

यह है वास्तव में कुछ। यह पता लगाने के लिए, हमें यह जांचने की आवश्यकता है कि हम सहसंबंध के बारे में क्या जानते हैं।

1. सदिश-मूल्यवान यादृच्छिक चर X = ( X 1 , X 2 , … , X p ) का सहसंबंध मैट्रिक्स$\mathbf{X}=(X_1,X_2,\ldots,X_p)$ का सहसंबंध मैट्रिक्स के मानकीकृत संस्करण का विचरण-सहसंयोजक मैट्रिक्स, या बस "विचरण" है $\mathbf{X}$। यही है, प्रत्येक $X_i$ को इसके पुन: व्यवस्थित, पुनर्विकसित संस्करण द्वारा प्रतिस्थापित किया जाता है।

2. $X_i$ और $X_j$ का सहसंयोजक उनके केंद्रित संस्करणों के उत्पाद की अपेक्षा है। यही कारण है, लेखन $X^\prime_i = X_i - E[X_i]$ और $X^\prime_j = X_j - E[X_j]$ , हमारे पास है

   $$\operatorname{Cov}(X_i,X_j) = E[X^\prime_i X^\prime_j].$$

3. का विचरण , जिसे मैं वार ( एक्स ) लिखूंगा , एक भी संख्या नहीं है। यह मानों की सरणी है Var ( X ) i j = Cov ( X i , X j ) $\mathbf{X}$$\operatorname{Var}(\mathbf{X})$

   $$\operatorname{Var}(\mathbf{X})_{ij}=\operatorname{Cov}(X_i,X_j).$$

4. इच्छित सामान्यीकरण के लिए सहसंयोजक के सोचने का तरीका यह है कि इसे एक टेंसर माना जाए । मतलब है कि यह मात्रा की एक पूरी संग्रह है , द्वारा अनुक्रमित मैं और जे से लेकर 1 के माध्यम से पी , जिनके मान एक विशेष रूप से सरल उम्मीद के मुताबिक जिस तरह से जब में बदल एक्स एक रेखीय परिवर्तन से गुजरता है। विशेष रूप से, Y = ( Y 1 , Y 2$v_{ij}$$i$$j$$1$$p$$\mathbf{X}$ को एक अन्य वेक्टर-मूल्यवान यादृच्छिक चर द्वारा परिभाषित किया जाना चाहिए$\mathbf{Y}=(Y_1,Y_2,\ldots,Y_q)$

   $$Y_i = \sum_{j=1}^p a_i^{\,j}X_j.$$

   स्थिरांक (मैंऔरजेहैंअनुक्रमित-जेएक शक्ति नहीं है) एक फार्मक्ष×$a_i^{\,j}$$i$$j$$j$$q\times p$ सरणी ,j=1,…,pऔर$\mathbb{A} = (a_i^{\,j})$$j=1,\ldots, p$ । अपेक्षा की रैखिकता का अर्थ है$i=1,\ldots, q$

   $$\operatorname{Var}(\mathbf Y)_{ij} = \sum a_i^{\,k}a_j^{\,l}\operatorname{Var}(\mathbf X)_{kl} .$$

   मैट्रिक्स संकेतन में,

   $$\operatorname{Var}(\mathbf Y) = \mathbb{A}\operatorname{Var}(\mathbf X) \mathbb{A}^\prime .$$

5. वार के सभी घटकवास्तव मेंध्रुवीकरण पहचान केकारण अविभाज्य संस्करण हैं$\operatorname{Var}(\mathbf{X})$

   $$4\operatorname{Cov}(X_i,X_j) = \operatorname{Var}(X_i+X_j) - \operatorname{Var}(X_i-X_j).$$

   यह हमें बताता है कि यदि आप अनइवरिएट रैंडम वैरिएबल्स के वैरिएंस को समझते हैं, तो आप पहले से ही बायवेरिएट वैरिएबल के कॉवरियन्स को समझते हैं: वे वेरिएंस के "सिर्फ" लीनियर कॉम्बिनेशन हैं।

---

प्रश्न में अभिव्यक्ति पूरी तरह अनुरूप है: चर को ( 1 ) के रूप में मानकीकृत किया गया है । हम यह समझ सकते हैं कि किसी चर के लिए इसका क्या अर्थ है , यह मानकीकृत है या नहीं, यह विचार करके इसका प्रतिनिधित्व करता है । हम एक की जगह होता एक्स मैं अपने केंद्रित संस्करण के द्वारा, के रूप में $X_i$$(1)$$X_i$ , औरतीनइंडेक्स वालीमात्राएँ बनातेहैं,$(2)$

$$\mu_3(\mathbf{X})_{ijk} = E[X_i^\prime X_j^\prime X_k^\prime].$$

ये डिग्री $3$ के केंद्रीय (बहुभिन्नरूपी) क्षण हैं । के रूप में , वे एक टेंसर बनाते हैं: जब वाई = ए एक्स , तब$(4)$$\mathbf{Y} = \mathbb{A}\mathbf{X}$

$$\mu_3(\mathbf{Y})_{ijk} = \sum_{l,m,n} a_i^{\,l}a_j^{\,m}a_k^{\,n} \mu_3(\mathbf{X})_{lmn}.$$

इस ट्रिपल योग में अनुक्रमणिका पूर्णांक के सभी संयोजनों पर से p तक होती है ।$1$$p$

ध्रुवीकरण पहचान का एनालॉग है

$$\eqalign{&24\mu_3(\mathbf{X})_{ijk} = \\ &\mu_3(X_i+X_j+X_k) - \mu_3(X_i-X_j+X_k) - \mu_3(X_i+X_j-X_k) + \mu_3(X_i-X_j-X_k).}$$

दाहिने हाथ की ओर, (अविभाजित) केंद्रीय तीसरे क्षण को संदर्भित करता है: केंद्र चर के घन का अपेक्षित मान। जब चर को मानकीकृत किया जाता है, तो इस क्षण को आमतौर पर तिरछा कहा जाता है । तदनुसार, हम के बारे में सोच सकता है μ 3 ( एक्स ) होने के रूप में मल्टीवेरिएट तिरछापन की एक्स । यह पद तीन (है कि तीन सूचकांक के साथ है,) की एक टेन्सर जिनके मान विभिन्न रकम और के अंतरों के skewnesses के रैखिक संयोजन कर रहे हैं एक्स मैं । यदि हम व्याख्याओं की तलाश कर रहे थे, तो, हम इन घटकों को पी में मापने के रूप में सोचेंगे$\mu_3$$\mu_3(\mathbf{X})$$\mathbf{X}$$X_i$$p$आयाम जो भी तिरछापन एक आयाम में माप रहा है। कई मामलों में,

• पहले क्षण वितरण के स्थान को मापते हैं ;

• दूसरे क्षण (विचरण-सह-संवेदी मैट्रिक्स) इसके प्रसार को मापते हैं ;

• मानकीकृत दूसरे क्षण (सहसंबंध) यह दर्शाते हैं कि प्रसार -Dimensional स्थान में कैसे भिन्न होता है; तथा$p$

• इसके प्रसार के सापेक्ष वितरण के आकार को मापने के लिए मानकीकृत तीसरे और चौथे क्षणों को लिया जाता है ।

एक बहुआयामी "आकार" का क्या अर्थ हो सकता है, इस पर विस्तार से देखने के लिए, हम किसी भी बहुभिन्न वितरण को मूल और सभी दिशाओं में समान रूप से स्थित मानक संस्करण में कम करने के लिए एक तंत्र के रूप में पीसीए को समझ सकते हैं। पीसीए के प्रदर्शन के बाद, फिर, वितरण के बहुआयामी आकार का सबसे सरल संकेतक प्रदान करेगा। ये विचार डेटा के साथ-साथ यादृच्छिक चर पर भी समान रूप से लागू होते हैं, क्योंकि डेटा का हमेशा उनके अनुभवजन्य वितरण के संदर्भ में विश्लेषण किया जा सकता है।$\mu_3$

---

संदर्भ

एलन स्टुअर्ट और जे कीथ ऑर्ड, केंडल के सांख्यिकी पांचवें संस्करण का उन्नत सिद्धांत , खंड 1: वितरण सिद्धांत ; अध्याय 3, क्षण और संयोग । ऑक्सफोर्ड यूनिवर्सिटी प्रेस (1987)।

---

परिशिष्ट: ध्रुवीकरण पहचान का प्रमाण

चलो बीजीय चर हो। इन सभी n को जोड़ने और घटाने के 2 n तरीके हैं। जब हम इन sums- और अंतरों में से प्रत्येक को n वें शक्ति तक बढ़ाते हैं , तो उन परिणामों में से प्रत्येक के लिए एक उपयुक्त चिह्न चुनें, और उन्हें जोड़ दें, हमें x 1 x 2 n x n का गुणनफल मिलेगा$x_1,\ldots, x_n$$2^n$$n$$n^\text{th}$$x_1x_2\cdots x_n$ ।

अधिक औपचारिक रूप से, चलो सब से सेट हो n की -tuples ± 1 , ताकि किसी भी तत्व रों ∈ एस एक वेक्टर है रों = ( रों 1 , एस 2 , ... , एस एन ) जिसका गुणांक सब कर रहे हैं ± 1 । दावा है$S=\{1,-1\}^n$$n$$\pm 1$$s\in S$$s=(s_1,s_2,\ldots,s_n)$$\pm 1$

$$2^n n!\, x_1x_2\cdots x_n = \sum_{s\in S} \color{red}{s_1s_2\cdots s_n}(s_1x_1+s_2x_2+\cdots+s_nx_n)^n.\tag{1}$$

$x_1^{i_1}x_2^{i_2}\cdots x_n^{i_n}$$i_j$$n$

$$\binom{n}{i_1,i_2,\ldots,i_n}s_1^{i_1}s_2^{i_2}\cdots s_n^{i_n}.$$

$(1)$, the coefficients involving $x_1^{i_1}$ appear in pairs where one of each pair involves the case $s_1=1$, with coefficient proportional to $\color{red}{s_1}$ times $s_1^{i_1}$, equal to $1$, and the other of each pair involves the case $s_1=-1$, with coefficient proportional to $\color{red}{-1}$ times $(-1)^{i_1}$, equal to $(-1)^{i_1+1}$. They cancel in the sum whenever $i_1+1$ is odd. The same argument applies to $i_2, \ldots, i_n$. Consequently, the only monomials that occur with nonzero coefficients must have odd powers of all the $x_i$. The only such monomial is $x_1x_2\cdots x_n$. It appears with coefficient $\binom{n}{1,1,\ldots,1}=n!$ in all $2^n$ terms of the sum. Consequently its coefficient is $2^nn!$, QED.

We need take only half of each pair associated with $x_1$: that is, we can restrict the right hand side of $(1)$ to the terms with $s_1=1$ and halve the coefficient on the left hand side to $2^{n-1}n!$ . That gives precisely the two versions of the Polarization Identity quoted in this answer for the cases $n=2$ and $n=3$: $2^{2-1}2! = 4$ and $2^{3-1}3!=24$.

Of course the Polarization Identity for algebraic variables immediately implies it for random variables: let each $x_i$ be a random variable $X_i$. Take expectations of both sides. The result follows by linearity of expectation.

Comments

Well done on explaining so far! Multivariate skewness kind of makes sense. Could you perhaps add an example that would show the importance of this multivariate skewness? Either as an issue in a statistical models, or perhaps more interesting, what real life case would be subject to multivariate skewness :)?

— PascalVKooten

Answer 2

Hmmm. If we run...

a <- rnorm(100);
b <- rnorm(100);
c <- rnorm(100)
mean((a-mean(a))*(b-mean(b))*(c-mean(c)))/
  (sd(a) * sd(b) * sd(c))

it does seem to center on 0 (I haven't done a real simulation), but as @ttnphns alludes, running this (all variables the same)

a <- rnorm(100)
mean((a-mean(a))*(a-mean(a))*(a-mean(a)))/
  (sd(a) * sd(a) * sd(a))

also seems to center on 0, which certainly makes me wonder what use this could be.

Comments

The nonsense apparently comes from the fact that sd or variance is a function of squaring, as is covariance. But with 3 variables, cubing occurs in the numerator while denominator remains based on originally squared terms

— ttnphns

Is that the root of it (pun intended)? Numerator and denominator have the same dimensions and units, which cancel, so that alone doesn't make the measure poorly formed.

— Nick Cox

@Nick That's right. This is simply one of the multivariate central third moments. It is one component of a rank-three tensor giving the full set of third moments (which is closely related to the order-3 component of the multivariate cumulant generating function). In conjunction with the other components it could be of some use in describing asymmetries (higher-dimensional "skewness") in the distribution. It's not what anyone would call a "correlation," though: almost by definition, a correlation is a second-order property of the standardized variable.

— whuber

Answer 3

If You need to calculate "correlation" between three or more variables, you could not use Pearson, as in this case it will be different for different order of variables have a look here. If you are interesting in linear dependency, or how well they are fitted by 3D line, you may use PCA, obtain explained variance for first PC, permute your data and find probability, that this value may be to to random reasons. I've discuss something similar here (see Technical details below).

Matlab code

% Simulate our experimental data
x=normrnd(0,1,100,1);
y=2*x.*normrnd(1,0.1,100,1);
z=(-3*x+1.5*y).*normrnd(1,2,100,1);
% perform pca
[loadings, scores,variance]=pca([x,y,z]);
% Observed Explained Variance for first principal component
OEV1=variance(1)/sum(variance)
% perform permutations
permOEV1=[];
for iPermutation=1:1000
    permX=datasample(x,numel(x),'replace',false);
    permY=datasample(y,numel(y),'replace',false);
    permZ=datasample(z,numel(z),'replace',false);
    [loadings, scores,variance]=pca([permX,permY,permZ]);
    permOEV1(end+1)=variance(1)/sum(variance);
end

% Calculate p-value
p_value=sum(permOEV1>=OEV1)/(numel(permOEV1)+1)