11

मेरे पास स्केल इक्वेरिअन की औपचारिक परिभाषा नहीं है, लेकिन यहाँ पर सांख्यिकीय लर्निंग का परिचय पी के बारे में क्या कहता है। 217:

मानक न्यूनतम वर्ग गुणांक ... स्केल इक्वेरिएंट होते हैं : $X_j$ को एक स्थिर गुणा $c$ करने पर बस कारक से कम से कम वर्ग गुणांक अनुमानों की स्केलिंग होती है $1/c$ ।

सादगी के लिए, आइए मान लें कि सामान्य रेखीय मॉडल , जहाँ , , , और में सभी प्रविष्टियों के साथ एक मैट्रिक्स (जहां ) है। साथ वास्तविक-मूल्यवान यादृच्छिक चर का एक - वेक्टर है । $\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilon$ $\mathbf{y} \in \mathbb{R}^N$ $\mathbf{X}$ $N \times (p+1)$ $p+1 < N$ $\mathbb{R}$ $\boldsymbol\beta \in \mathbb{R}^{p+1}$ $\boldsymbol\epsilon$ $N$ $\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}$

OLS आकलन से, हम जानते हैं कि अगर में पूर्ण (स्तंभ) रैंक है, तो मान लीजिए कि हमने एक कॉलम को गुणा किया है , तो कुछ लिए एक निरंतर द्वारा । यह मैट्रिक्स के बराबर होगा $\mathbf{X}$

{\hat{β}}_{X} = (X^{T} X)^{- 1} X^{T} y .

$\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.}$

X

$\mathbf{X}$

x_{k}

$\mathbf{x}_k$

k \in {1, 2, \dots, p + 1}

$k \in \{1, 2, \dots, p+1\}$

c \neq 0

$c \neq 0$

X \underset{S}{\underset{⏟}{[\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ c \\ 1 \\ ⋱ \\ 1 \end{matrix}]}} = [\begin{matrix} x_{1} & x_{2} & \dots & c x_{k} & \dots & x_{p + 1} \end{matrix}] \equiv \tilde{X}

$\begin{equation} \mathbf{X}\underbrace{\begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & c\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}}_{\mathbf{S}} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & c\mathbf{x}_{k} & \cdots & \mathbf{x}_{p+1}\end{bmatrix} \equiv \tilde{\mathbf{X}} \end{equation}$ जिसमें मैट्रिक्स की अन्य सभी प्रविष्टियों से ऊपर हैं , और में है के विकर्ण की वें प्रविष्टि । फिर,

S

$\mathbf{S}$

0

$0$

c

$c$

k

$k$

S

$\mathbf{S}$

\tilde{X}

$\tilde{\mathbf X}$

\tilde{X}

$\tilde{\mathbf X}$ जैसा कि नई डिज़ाइन मैट्रिक्स है कुछ काम के बाद, कोई दिखा सकता है।

{\hat{β}}_{\tilde{X}} = {({\tilde{X}}^{T} \tilde{X})}^{- 1} {\tilde{X}}^{T} y .

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \left(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}\right)^{-1}\tilde{\mathbf{X}}^{T}\mathbf{y}\text{.}$

{\tilde{X}}^{T} \tilde{X} = [\begin{matrix} x_{1}^{T} x_{1} & x_{1}^{T} x_{2} & \dots & c x_{1}^{T} x_{k} & \dots & x_{1}^{T} x_{p + 1} \\ x_{2}^{T} x_{1} & x_{2}^{T} x_{2} & \dots & c x_{2}^{T} x_{k} & \dots & x_{2}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋱ & ⋮ & \dots & ⋮ \\ c x_{k}^{T} x_{1} & c x_{k}^{T} x_{2} & \dots & c^{2} x_{k}^{T} x_{k} & \dots & c x_{k}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋮ & ⋮ & \dots & ⋮ \\ x_{p + 1}^{T} x_{1} & x_{p + 1}^{T} x_{2} & \dots & c x_{p + 1}^{T} x_{p + 1} & \dots & x_{p + 1}^{T} x_{p + 1} \end{matrix}]

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{x}_1 & \mathbf{x}_1^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_1^{T}\mathbf{x}_k & \cdots & \mathbf{x}_1^{T}\mathbf{x}_{p+1} \\ \mathbf{x}_2^{T}\mathbf{x}_1 & \mathbf{x}_2^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_2^{T}\mathbf{x}_k & \cdots & \mathbf{x}_2^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \ddots & \vdots & \cdots & \vdots \\ c\mathbf{x}_k^{T}\mathbf{x}_1 & c\mathbf{x}_k^{T}\mathbf{x}_2 & \cdots & c^2\mathbf{x}_k^{T}\mathbf{x}_k & \cdots & c\mathbf{x}_k^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \vdots & \vdots & \cdots & \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{x}_1 & \mathbf{x}_{p+1}^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} & \cdots & \mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} \\ \end{bmatrix}$ \ cdots & \ mathbf {x} _ {p + 1} ^ {T} \ mathbf {x} _ {p + 1} \\ \ end {bmatrix} और

{\tilde{X}}^{T} y = [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}]

$\tilde{\mathbf{X}}^{T}\mathbf{y} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix}$ ऊपर बताए गए दावे को दिखाने के लिए मैं यहां से कैसे

(यानी, उस

{\hat{β}}_{\tilde{X}} = \frac{1}{c} {\hat{β}}_{X}

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \dfrac{1}{c}\hat{\boldsymbol\beta}_{\mathbf{X}}$ )? यह मेरे लिए स्पष्ट नहीं है कि कैसे

गणना की जाए

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$ ।

least-squares linear-model

— बाजा बजानेवाला
स्रोत

मुझे लगता है कि आपका सही नहीं है, यह पूरी पंक्ति में एक गुणक याद कर रहा है ।

{\tilde{X}}^{T} \tilde{X}

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}$

c

$c$

— फायरबग

1

यह भी ध्यान में रखें कि दावा , हर नहीं ।

{\hat{β}}_{k, new} = \frac{1}{c} {\hat{β}}_{k, old}

$\hat{\beta}_{k, \text{new}}={1\over c}\hat{\beta}_{k, \text{old}}$

β

$\beta$

— फायरबग

@ फ़ायरबग येप, मैंने अभी पता लगाया है। मैं एक उत्तर पोस्ट कर रहा हूं।

— शहनाई

2

आप इस सभी बीजगणित को बहुत सरल इकाइयों के विश्लेषण से बदल सकते हैं , क्योंकि को से गुणा से इसकी माप की इकाई मात्र बदल जाती है, और इसलिए इसके गुणांक से जुड़ी इकाइयों में संबंधित परिवर्तन इसे से विभाजित करना है । यह साबित नहीं करता है कि को , दुर्भाग्य से विभाजित किया जाना चाहिए । हालाँकि, विचार की यह श्रृंखला हमें याद दिला सकती है कि एक समय में एक खिलाफ कई प्रतिगमन के उत्तराधिकार द्वारा किया जा सकता है, जहां यह स्पष्ट है कि से विभाजित है , और इसलिए प्रमाण पूर्ण है।

X_{j}

$X_j$

c

$c$

β_{j}

$\beta_j$

c

$c$

{\hat{β}}_{j}

$\hat \beta_j$

c

$c$

{\hat{β}}_{j}

$\hat\beta_j$

c

$c$

— व्हीबर

@ व्हीबर, जबकि परिणाम के लिए अंतर्ज्ञान स्पष्ट है, ऐसा लगता है कि बस एक प्रमाण प्रस्तुत करने में बीजगणित का एक सा होना चाहिए। सब के बाद, स्केलिंग कारक को उल्टा करने की आवश्यकता है।

c

$c$

— user795305

11

चूँकि उद्धरण में अभिकथन के स्तंभों को पुन: प्रस्तुत करने के बारे में कथनों का एक संग्रह है , इसलिए आप उन सभी को एक ही बार में सिद्ध कर सकते हैं। वास्तव में, मुखरता के सामान्यीकरण को सिद्ध करने में अधिक काम नहीं होता है: $X$

जब एक उलटी मैट्रिक्स द्वारा राइट गुणा किया जाता है , तो नए गुणांक अनुमान के बराबर है द्वारा छोड़ा-गुणा । $X$ $A$ $\hat\beta_A$ $\hat \beta$ $A^{-1}$

केवल ऐसे बीजगणितीय तथ्य जिनकी आपको आवश्यकता है (आसानी से सिद्ध, प्रसिद्ध व्यक्ति) कि किसी भी matrices और invertible matrices और । (सामान्यीकृत व्युत्क्रमों के साथ काम करते समय उत्तरार्द्ध का एक उप-संस्करण संस्करण आवश्यक होता है: उल्टे और और किसी , । ) $(AB)^\prime=B^\prime A^\prime$ $AB$ $(AB)^{-1}=B^{-1}A^{-1}$ $A$ $B$ $A$ $B$ $X$ $(AXB)^{-} = B^{-1}X^{-}A^{-1}$

बीजगणित द्वारा प्रमाण :

{\hat{β}}_{A} = ((X A)^{'} ((X A))^{-} (X A)^{'} y = A^{- 1} (X^{'} X)^{-} (A^{'})^{- 1} A^{'} y = A^{- 1} \hat{β},

$\hat\beta_A = ((XA)^\prime ((XA))^{-}(XA)^\prime y = A^{-1}(X^\prime X)^{-} (A^\prime)^{-1}A^\prime y = A^{-1}\hat \beta,$

QED। (इस प्रमाण के पूरी तरह से सामान्य होने के लिए, सुपरस्क्रिप्ट एक सामान्यीकृत व्युत्क्रम को संदर्भित करता है।) $^-$

ज्यामिति द्वारा प्रमाण :

यह देखते हुए ठिकानों और की और , क्रमशः, से एक रेखीय परिवर्तन का प्रतिनिधित्व करता है करने के लिए । द्वारा दाएं-गुणा को इस परिवर्तन को तय करने के रूप में माना जा सकता है लेकिन को (अर्थात के कॉलम में )। आधार के उस परिवर्तन के तहत, किसी भी सदिश में प्रतिनिधित्व को द्वारा बाएं-गुणन के माध्यम से बदलना चाहिए , $E_p$ $E_n$ $\mathbb{R}^n$ $\mathbb{R}^p$ $X$ $\mathbb{R}^p$ $\mathbb{R}^n$ $X$ $A$ $E_p$ $AE_p$ $A$ $\hat\beta\in\mathbb{R}^p$ $A^{-1}$ QED ।

(यह सबूत तब काम करता है, जब तक कि इन्वर्टिबल नहीं है, अनमॉडिफाइड है।) $X^\prime X$

उद्धरण विशेष रूप से विकर्ण मैट्रिक्स के मामले को संदर्भित करता है साथ के लिए और । $A$ $A_{ii}=1$ $i\ne j$ $A_{jj}=c$

कनेक्शन कम से कम वर्गों के साथ

यहां इसका उद्देश्य परिणाम प्राप्त करने के लिए पहले सिद्धांतों का उपयोग करना है, सिद्धांत कम से कम वर्गों के साथ है: गुणांक का आकलन करना जो अवशेषों के वर्गों के योग को कम करता है।

फिर से, एक (विशाल) सामान्यीकरण साबित करना अधिक कठिन नहीं है और यह खुलासा करता है। मान लें कि वास्तविक सदिश स्थानों का कोई भी नक्शा (रैखिक या नहीं) है और मान लें कि पर कोई वास्तविक-मूल्यवान फ़ंक्शन है । चलो (संभवतः खाली) अंक के सेट हो जिसके लिए कम से कम है।

ϕ : V^{p} \to W^{n}

$\phi:V^p\to W^n$

Q

$Q$

W^{n}

$W^n$

U \subset V^{p}

$U\subset V^p$

v

$v$

Q (ϕ (v))

$Q(\phi(v))$

परिणाम: , जो केवल और द्वारा निर्धारित किया गया है , में वैक्टर का प्रतिनिधित्व करने के लिए उपयोग किए जाने वाले किसी भी विकल्प पर निर्भर नहीं करता है । $U$ $Q$ $\phi$ $E_p$ $V^p$

प्रमाण: QED

साबित करने के लिए कुछ नहीं है!

परिणाम के अनुप्रयोग: Let पर सकारात्मक semidefinite द्विघात रूप हो , चलो , और लगता है कि है एक रेखीय का प्रतिनिधित्व करती map जब के आधार और को चुना जाता है। परिभाषित करें । के आधार चुनें और लगता है कुछ का प्रतिनिधित्व है उस आधार में। यह कम से कम वर्ग है : वर्ग दूरी । क्योंकि $F$ $\mathbb{R}^n$ $y\in\mathbb{R}^n$ $\phi$ $X$ $V^p=\mathbb{R}^p$ $W^n=\mathbb{R}^n$ $Q(x)=F(y,x)$ $\mathbb{R}^p$ $\hat\beta$ $v\in U$ $x=X\hat\beta$ $F(y,x)$ $X$ एक रेखीय मानचित्र है, जो के आधार को बदलकर कुछ इनवर्टेड मैट्रिक्स द्वारा राइट-गुणा से मेल खाता है । यह , QED द्वारा बाएँ-से-गुणा करेगा । $\mathbb{R}^p$ $X$ $A$ $\hat\beta$ $A^{-1}$

— व्हीबर
स्रोत

6

कम से कम वर्गों के अनुमानक को परिभाषित करें , जहां डिज़ाइन मैट्रिक्स पूर्ण रैंक है। यह मानते हुए कि स्केलिंग मैट्रिक्स उल्टा है। $\hat\beta = \arg\min_{\beta\in\mathbb{R}^p} \|y - X \beta\|_2^2$ $X \in \mathbb{R}^{n \times p}$ $S \in \mathbb{R}^{p \times p}$

इस नए स्केल किए गए अनुमानक को परिभाषित करें । इसका मतलब यह है कि सभी । को परिभाषित करते हुए , हम ऊपर प्रदर्शित इस असमानता को रूप में फिर से लिख सकते हैं सभी लिए। । इसलिए , और यह निम्न प्रकार का अनुमान लगाता है कि स्केलिंग मैट्रिक्स के इन्वर्टिबिलिटी के कारण $\tilde\alpha = \arg\min_{\alpha\in\mathbb{R}^p} \|y - X S \alpha\|_2^2$

‖ y - X S \tilde{α} ‖_{2}^{2} < ‖ y - X S α ‖_{2}^{2}

$\|y - X S \tilde\alpha\|_2^2 < \|y - X S \alpha\|_2^2$

α \neq \tilde{α}

$\alpha\ne \tilde\alpha$

\tilde{β} = S \tilde{α}

$\tilde\beta = S \tilde\alpha$

‖ y - X \tilde{β} ‖_{2}^{2} < ‖ y - X β ‖_{2}^{2}

$\|y - X \tilde\beta \|_2^2 < \|y - X \beta \|_2^2$

β \neq \tilde{β}

$\beta \ne \tilde\beta$

\tilde{β} = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2}

$\tilde\beta = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2$

\begin{aligned} \hat{β} = \tilde{β} = S \tilde{α} . \end{aligned}

$\begin{align*} \hat\beta = \tilde\beta = S \tilde\alpha. \end{align*}$

S

$S$ , यह उस अनुसरण करता है । हमारे मामले में, से केवल अलग है द्वारा प्रवेश द्वारा बढ़ाया जा रहा है ।

\tilde{α} = S^{- 1} \hat{β}

$\tilde\alpha = S^{-1} \hat\beta$

\hat{β}

$\hat\beta$

k^{t h}

$k^\mathrm{th}$

\frac{1}{c}

$\frac{1}{c}$

— user795305
स्रोत

1

मैं परिचित नहीं हूं क्योंकि मुझे और इसी तरह के कार्यों के साथ काम करना चाहिए - क्या आप अपने दूसरे से तीसरी पंक्ति के समीकरणों में संक्रमण की व्याख्या कर सकते हैं?

arg min

$\text{arg min}$

— क्लारनटिस्ट

मैंने इसे थोड़ा अलग तरीके से लिखा है, जो चरणों को अधिक स्पष्ट करना चाहिए।

— user795305

यह वास्तव में चतुर है। (+1)

— शहनाई

4

मैंने प्रश्न पोस्ट करने के बाद यह पता लगाया। यदि मेरा काम सही है, लेकिन मैंने दावे को गलत बताया। केवल स्केलिंग के एक घटक पर होता है के स्तंभ के लिए इसी से गुणा किया जा रहा । $\dfrac{1}{c}$ $\boldsymbol\beta$ $\mathbf{X}$ $c$

ध्यान दें कि ऊपर स्थित संकेतन में , एक विकर्ण, सममित मैट्रिक्स है और इसका व्युत्क्रम होता है (क्योंकि यह विकर्ण है) ध्यान दें कि एक मैट्रिक्स है। मान लीजिए कि $\mathbf{S}$ $(p+1) \times (p+1)$

S^{- 1} = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ \frac{1}{c} \\ 1 \\ ⋱ \\ 1 \end{matrix}] .

$\mathbf{S}^{-1} = \begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & \frac{1}{c}\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

(p + 1) \times (p + 1)

$(p+1)\times(p+1)$

(X^{T} X)^{- 1} = [\begin{matrix} z_{1} & z_{2} & \dots & z_{k} & \dots & z_{p + 1} \end{matrix}] .

$(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 & \cdots & \mathbf{z}_k & \cdots & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1} = [(X S)^{T} X S]^{- 1} = (S^{T} X^{T} X S)^{- 1} = (S X^{T} X S)^{- 1} = S^{- 1} (X^{T} X)^{- 1} S^{- 1} .

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1} = [(\mathbf{X}\mathbf{S})^{T}\mathbf{X}\mathbf{S}]^{-1} = (\mathbf{S}^{T}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1} = (\mathbf{S}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1}=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}\text{.}$ इसलिए, और इसे गुणा करके का एक समान प्रभाव पड़ता है जो द्वारा को गुणा करता है - यह समान रहता है, से गुणा किया जाता है

S^{- 1} (X^{T} X)^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}]

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}$

S^{- 1}

$\mathbf{S}^{-1}$

X

$\mathbf{X}$

S

$\mathbf{S}$

\frac{1}{c} z_{k}

$\frac{1}{c}\mathbf{z}_k$

\frac{1}{c}

$\frac{1}{c}$ : इसलिए।

S^{- 1} (X^{T} X)^{- 1} S^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] .

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

\begin{aligned} {\hat{β}}_{\tilde{X}} & = S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S)^{T} y \\ = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}] \\ = [\begin{matrix} z_{1} x_{1}^{T} y \\ z_{2} x_{2}^{T} y \\ ⋮ \\ \frac{1}{c} z_{k} x_{k}^{T} y \\ ⋮ \\ z_{p + 1} x_{p + 1}^{T} y \end{matrix}] \end{aligned}

$\begin{align} \hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}}&=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}(\mathbf{X}\mathbf{S})^{T}\mathbf{y} \\ &= \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{z}_1\mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{z}_2\mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ \frac{1}{c}\mathbf{z}_k\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{z}_{p+1}\mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \end{align}$ वांछित।

— बाजा बजानेवाला
स्रोत

एक टाइपो में । आपको स्थानांतरित करने की आवश्यकता है ।

S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S) y

$\mathbf{S}^{-1}( \mathbf{X}^{T}\mathbf{X})^{-1} \mathbf{S}^{-1}(\mathbf{X} \mathbf{S}) \mathbf{y}$

(X S)

$(\mathbf{X}\mathbf{S})$

— जॉनके

3

सबसे तुच्छ सबूत कभी

आप अपने रैखिक समीकरण के साथ शुरू करते हैं: अब आप अपने रजिस्टरों के पैमाने को बदलना चाहते हैं, शायद मीट्रिक सिस्टम से इंपीरियल में परिवर्तित कर सकते हैं, आप किलोग्राम से पाउंड, मीटर से गज तक आदि जानते हैं, इसलिए आप ऊपर आते हैं। रूपांतरण मैट्रिक्स के साथ जहां प्रत्येक परिवर्तनशील गुणांक (स्तंभ) के लिए है, जिसे मैट्रिक्स मैट्रिक्स में डिजाइन करता ।

Y = X β + ε

$Y=X\beta+\varepsilon$

S = d i a g (s_{1}, s_{1}, \dots, s_{n})

$S=diag(s_1,s_1,\dots,s_n)$

s_{i}

$s_i$

i

$i$

X

$X$

आइए समीकरण को फिर से लिखें:

Y = (X S) (S^{- 1} β) + ε

$Y=(XS)(S^{-1}\beta)+\varepsilon$

अब यह बहुतायत से स्पष्ट है कि स्केलिंग आपके समीकरण की रैखिकता की संपत्ति है, गुणांक के आकलन की ओएलएस विधि नहीं। रैखिक समीकरण के साथ अनुमान पद्धति के बावजूद, आपके पास यह है कि जब रजिस्टरों को रूप में बढ़ाया जाता है तो आपके नए गुणांक को रूप में स्केल किया जाना चाहिए $XS$ $S^{-1}\beta$

केवल ओएलएस के लिए बीजगणित द्वारा प्रमाण

स्केलिंग यह है: जहां प्रत्येक चर (कॉलम) का स्केल फैक्टर, और , का स्केल किया गया संस्करण है । आइए तिरछे पैमाने के मैट्रिक्स को । आपका OLS आकलनकर्ता है बजाय स्केल्ड मैट्रिक्स प्लग करें और कुछ मैट्रिक्स बीजगणित का उपयोग करें : तो, आप देखते हैं कि कैसे नया गुणांक बस पुराने गुणांक को कम कर दिया जाता है, जैसा कि अपेक्षित था।

Z = X * d i a g (s_{1}, s_{2}, . . ., s_{n})

$Z=X*diag(s_1,s_2,...,s_n)$

s_{i}

$s_i$

Z

$Z$

X

$X$

S \equiv d i a g (s_{1}, s_{2}, . . ., s_{n})

$S\equiv diag(s_1,s_2,...,s_n)$

\hat{β} = (X^{T} X)^{- 1} X^{T} Y

$\hat\beta=(X^TX)^{-1}X^TY$

Z

$Z$

X

$X$

(Z^{T} Z)^{- 1} Z^{T} Y = (S^{T} X^{T} X S)^{- 1} S^{T} X^{T} Y = S^{- 1} (X^{T} X)^{- 1} S^{- 1} S X^{T} Y = S^{- 1} (X^{T} X)^{- 1} X^{T} Y = S^{- 1} \hat{β}

$(Z^TZ)^{-1}Z^TY=(S^TX^TXS)^{-1}S^TX^TY=S^{-1}(X^TX)^{-1}S^{-1}SX^TY\\ =S^{-1}(X^TX)^{-1}X^TY=S^{-1}\hat\beta$

— Aksakal
स्रोत

2

मुझे आपके दृष्टिकोण पसंद हैं, लेकिन "अब तक का सबसे तुच्छ प्रमाण" है। आपने स्पष्ट रूप से मान लिया है, और फिर भी यह दिखाने की आवश्यकता है, कि फिर से लिखे गए मॉडल में मूल के समान ही फिट होना चाहिए। इसे और अधिक सख्ती से रखें: यदि हम एक फिटिंग प्रक्रिया को एक फ़ंक्शन , जहां सभी संभावित डेटा का सेट है (जिसे हम ऑर्डर की गई जोड़ी रूप में लिख सकते हैं ) और सभी संभावित गुणांक अनुमानों का सेट है, फिर आपको यह प्रदर्शित करने की आवश्यकता है सभी इनवर्टेबल , सभी और सभी लिए । (यह हमेशा सच नहीं है!)

δ : M \to R^{p}

$\delta:M\to\mathbb{R}^p$

M

$M$

(X, Y)

$(X,Y)$

R^{p}

$\mathbb{R}^p$

δ (X, Y) = S^{- 1} δ (X S, Y)

$\delta(X,Y)=S^{-1}\delta(XS,Y)$

S

$S$

X

$X$

Y

$Y$

— व्हीबर

@ वाउचर, वास्तव में यह दूसरा तरीका है: उचित फिटिंग प्रक्रिया को इस स्थिति को संतुष्ट करना चाहिए, अन्यथा माप की इकाई का एक सरल परिवर्तन एक अलग पूर्वानुमान / अनुमान का उत्पादन करेगा। मैं अपने उत्तर को अपडेट करूंगा, इसके बारे में थोड़ा

— सोचूंगा

मैं सहमत हूं - लेकिन मैं उन मामलों में अपवादों की कल्पना कर सकता हूं जहां पूर्ण रैंक का नहीं है। यह मेरे लिए सुझाव दिया है कि स्थिति काफी तुच्छ नहीं है क्योंकि यह प्रतीत हो सकता है।

X

$X$

— व्हबेर

3

शाही दोस्त, शाही नहीं ...: D (अच्छा जवाब, +1)

— us11r11852

@ usεr11852, मैं कुछ आज सीखा :)

— Aksakal

2

इस परिणाम को प्राप्त करने का एक आसान तरीका यह है कि याद रखें कि का स्तंभ स्थान पर का प्रक्षेपण है। गुणांक का वेक्टर है जब को रैखिक के रूप में व्यक्त किया जाता है के कॉलम का संयोजन । यदि कुछ कॉलम को कारक द्वारा स्केल किया जाता है , तो यह स्पष्ट है कि रैखिक संयोजन में संबंधित गुणांक को द्वारा स्केल किया जाना चाहिए । $\hat{y}$ $y$ $X.$ $\hat{\beta}$ $\hat{y}$ $X$ $c$ $1/c$

चलो के मूल्यों हो और जब एक स्तंभ द्वारा मापे जाने OLS समाधान के मूल्यों हो $b_i$ $\hat{\beta}$ $a_i$ $c.$

b_{1} x_{1} + . . . + b_{i} x_{i} + . . . + b_{m} x_{m} = a_{1} x_{1} + . . . a_{i} (c x_{i}) + . . . + a_{n} x_{n}

$b_1x_1 + ... + b_ix_i + ...+ b_mx_m = a_1x_1 + ... a_i(cx_i) + ... +a_nx_n$

तात्पर्य है कि जहाँ और , यह मानते हुए कि के स्तंभ रैखिक रूप से स्वतंत्र हैं। $b_j = a_j$ $j \neq i$ $b_i = a_ic$ $X$

— जॉनी लोमोंड
स्रोत

दिखा रहा है कि ओएलएस अनुमानक पैमाने पर संतुलन है?

कनेक्शन कम से कम वर्गों के साथ

सबसे तुच्छ सबूत कभी

केवल ओएलएस के लिए बीजगणित द्वारा प्रमाण