महालनोबिस दूरी और उत्तोलन के बीच संबंध साबित करें?

मैंने विकिपीडिया पर सूत्र देखे हैं । वह महालनोबिस दूरी और उत्तोलन से संबंधित है:

महालनोबिस दूरी लीवरेज स्टैटिस्टिक, $h$ से निकटता से संबंधित है , लेकिन इसका एक अलग पैमाना है:
$D^{2} = (N - 1) (h - \frac{1}{N}) .$ $D^2 = (N - 1)(h - \tfrac{1}{N}).$

एक लिंक किए गए लेख में , विकिपीडिया इन शब्दों में $h$ का वर्णन करता है :

रेखीय प्रतीपगमन मॉडल में, के लिए लाभ उठाने के स्कोर $i^{th}$ डेटा इकाई के रूप में परिभाषित किया गया है: टोपी मैट्रिक्स की विकर्ण तत्व , जहां मैट्रिक्स ट्रांज़ोज़ को दर्शाता है।
$h_{i i} = (H)_{i i},$ $h_{ii}=(H)_{ii},$ $i^{th}$ $H=X(X^{\top}X)^{-1}X^{\top}$ $^{\top}$

मुझे कहीं भी प्रमाण नहीं मिला। मैंने परिभाषाओं से शुरू करने की कोशिश की लेकिन मैं कोई प्रगति नहीं कर सकता। कोई कुछ संकेत दे सकता है?

— dave2d
स्रोत

महालनोबिस दूरी के शीर्ष विवरण के नीचे महालनोबिस दूरी का मेरा विवरण ? दो प्रमुख परिणाम शामिल हैं:

परिभाषा के अनुसार, यह तब नहीं बदलता है जब रजिस्टरों को समान रूप से स्थानांतरित किया जाता है।
वैक्टर के बीच महालनोबिस दूरी चुकता और द्वारा दिया जाता है जहां डेटा की सहप्रसरण है। $x$ $y$
$D^{2} (x, y) = (x - y)^{'} Σ^{- 1} (x - y)$ $D^2(x,y) = (x-y)^\prime \Sigma^{-1}(x-y)$ $\Sigma$

(1) हमें यह मानने की अनुमति देता है कि रजिस्टरों के साधन सभी शून्य हैं। यह गणना करने के लिए बना हुआ है । हालांकि, दावे के सच होने के लिए, हमें एक और धारणा जोड़ने की जरूरत है: $h_i$

मॉडल में एक अवरोधन शामिल होना चाहिए।

इस के लिए अनुमति दे, चलो वहाँ regressors और डेटा, regressor का मूल्य लेखन अवलोकन के लिए के रूप में । इनमें से स्तंभ वेक्टर चलो regressor के लिए मान लिखा जा और इनमें से पंक्ति वेक्टर मूल्यों अवलोकन के लिए लिखा जा । फिर मॉडल मैट्रिक्स है $k \ge 0$ $n$ $j$ $i$ $x_{ij}$ $n$ $j$ $\mathbf{x}_{,j}$ $k$ $i$ $\mathbf{x}_i$

X = (\begin{matrix} 1 & x_{11} & \dots & x_{1 k} \\ 1 & x_{21} & \dots & x_{2 k} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 1 & x_{n 1} & \dots & x_{n k} \end{matrix})

$X = \pmatrix{ 1 &x_{11} &\cdots &x_{1k} \\ 1 &x_{21} &\cdots &x_{2k} \\ \vdots &\vdots &\vdots &\vdots \\ 1 &x_{n1} &\cdots &x_{nk}}$

और, परिभाषा के अनुसार, टोपी मैट्रिक्स है

H = X (X^{'} X)^{- 1} X^{'},

$H = X(X^\prime X)^{-1} X^\prime,$

जिस कारण से प्रवेश विकर्ण साथ है $i$

\begin{matrix} (1) & h_{i} = h_{i i} = (1; x_{i}) (X^{'} X)^{- 1} (1; x_{i})^{'} . \end{matrix}

$h_i = h_{ii} = (1; \mathbf{x}_i) (X^\prime X)^{-1} (1; \mathbf{x}_i)^\prime.\tag{1}$

इसके लिए कुछ भी नहीं है, लेकिन उस केंद्रीय मैट्रिक्स के विपरीत काम करने के लिए - लेकिन पहली कुंजी परिणाम के आधार पर, यह आसान है, खासकर जब हम इसे ब्लॉक-मैट्रिक्स रूप में लिखते हैं:

X^{'} X = n (\begin{matrix} 1 & 0^{'} \\ 0 & C \end{matrix})

$X^\prime X = n\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C}$

जहां और $\mathbf{0} = (0,0,\ldots,0)^\prime$

C_{j k} = \frac{1}{n} \sum_{i = 1}^{n} x_{i j} x_{i k} = \frac{n - 1}{n} Cov (x_{j}, x_{k}) = \frac{n - 1}{n} Σ_{j k} .

$C_{jk} = \frac{1}{n} \sum_{i=1}^n x_{ij} x_{ik} = \frac{n-1}{n}\operatorname{Cov}(\mathbf{x}_j, \mathbf{x}_k) = \frac{n-1}{n}\Sigma_{jk}.$

(मैंने रजिस्टरों के नमूना सहसंयोजक मैट्रिक्स के लिए लिखा है ।) क्योंकि यह ब्लॉक विकर्ण है, इसका उलटा केवल ब्लॉकों को निष्क्रिय करके पाया जा सकता है: $\Sigma$

(X^{'} X)^{- 1} = \frac{1}{n} (\begin{matrix} 1 & 0^{'} \\ 0 & C^{- 1} \end{matrix}) = (\begin{matrix} \frac{1}{n} & 0^{'} \\ 0 & \frac{1}{n - 1} Σ^{- 1} \end{matrix}) .

$(X^\prime X)^{-1} = \frac{1}{n}\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C^{-1}} = \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}.$

परिभाषा हम प्राप्त करते हैं $(1)$

\begin{aligned} h_{i} & = (1; x_{i}) (\begin{matrix} \frac{1}{n} & 0^{'} \\ 0 & \frac{1}{n - 1} Σ^{- 1} \end{matrix}) (1; x_{i})^{'} \\ = \frac{1}{n} + \frac{1}{n - 1} x_{i} Σ^{- 1} x_{i}^{'} \\ = \frac{1}{n} + \frac{1}{n - 1} D^{2} (x_{i}, 0) . \end{aligned}

$\eqalign{ h_i &= (1; \mathbf{x}_i) \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}(1; \mathbf{x}_i)^\prime \\ &=\frac{1}{n} + \frac{1}{n-1}\mathbf{x}_i \Sigma^{-1}\mathbf{x}_i^\prime \\ &=\frac{1}{n} + \frac{1}{n-1} D^2(\mathbf{x}_i, \mathbf{0}). }$

महालनोबिस लंबाई पैदावार के लिए $D_i^2 = D^2(\mathbf{x}_i, \mathbf{0})$

D_{i}^{2} = (n - 1) (h_{i} - \frac{1}{n}),

$D_i^2 = (n-1)\left(h_i - \frac{1}{n}\right),$

QED ।

पीछे मुड़कर देखें, तो हम अवरोधक शब्द को एक अवरोधन की उपस्थिति का पता लगा सकते हैं , जिसने मॉडल मैट्रिक्स में लोगों के कॉलम को पेश किया है । महालनोबिस दूरी मानने के बाद गुणा शब्द दिखाई दिया, जो नमूना सहसंयोजक अनुमान का उपयोग करके गणना किया जाएगा (जो द्वारा वर्गों और उत्पादों के योगों को विभाजित करता है ) बजाय डेटा के सहसंयोजक मैट्रिक्स (जो वर्गों के योग को विभाजित करता है और) द्वारा उत्पादों )। $1/n$ $X$ $n-1$ $n-1$ $n$

इस विश्लेषण का मुख्य मूल्य उत्तोलन के लिए एक ज्यामितीय व्याख्या प्रदान करना है, जो मापता है कि अवलोकन में प्रतिक्रिया में एक इकाई कितनी बदल जाती है, उस अवलोकन में फिट किए गए मूल्य को बदल दूंगा: उच्च-उत्तोलन का अवलोकन सेंट्रोइड से बड़ी महालनोबिस दूरी पर है रजिस्ट्रारों के रूप में, बिल्कुल एक यांत्रिक रूप से कुशल लीवर अपने फुलक्रम से बड़ी दूरी पर संचालित होता है। $i$

यह दिखाने के लिए कि वास्तव में संबंध रखने के लिए आर कोड:

x <- mtcars

# Compute Mahalanobis distances
h <- hat(x, intercept = TRUE); names(h) <- rownames(mtcars)
M <- mahalanobis(x, colMeans(x), cov(x))

# Compute D^2 of the question
n <- nrow(x); D2 <- (n-1)*(h - 1/n)

# Compare.
all.equal(M, D2)               # TRUE
print(signif(cbind(M, D2), 3))

— व्हीबर
स्रोत

उत्कृष्ट उत्तर, बहुत अच्छी तरह से कठोरता और अंतर्ज्ञान के साथ गोल। चीयर्स!

— 22 दिसंबर को 22:19 पर cgrudz

पोस्ट के लिए धन्यवाद @whuber! पवित्रता की जाँच के लिए, यहाँ R कोड है जो यह दर्शाता है कि संबंध वास्तव में है: x <- mtcars rownames (x) <- NULL colnames (x) <- NULL n <- nrow (x) h <- hat (x, T) mahalanobis (x, colMeans (x), cov (x)) (n-1) * (h - 1 / n) all.equal (mahalanobis (x, colMeans (x), cov (x)), (n-1) ) * (एच - 1 / एन))

— ताल गैली

@ मुझे नहीं लगा कि मुझे एक विवेक जांच की आवश्यकता है - लेकिन कोड के लिए धन्यवाद। :-) मैंने इसे स्पष्ट करने के लिए संशोधन किया है और इसका उत्पादन थोड़ा बढ़ा है।

— whuber

@whuber, मुझे एक उदाहरण चाहिए था जो दिखाता है कि समानता के कार्यों को कैसे किया जाए (मुझे स्पष्ट करना कि मुझे सही धारणा मिली)। मैंने प्रासंगिक विकी प्रविष्टि को भी बढ़ा दिया है: en.wikipedia.org/wiki/… (जैसा कि आप फिट देखें, वहां पर भी खर्च करने के लिए स्वतंत्र महसूस करें :))

— Tal Galili