PCA वस्तुनिष्ठ फ़ंक्शन: अधिकतम विचरण को कम करने और त्रुटि को कम करने के बीच क्या संबंध है?

पीसीए एल्गोरिथ्म को सहसंबंध मैट्रिक्स के रूप में तैयार किया जा सकता है (मान लें कि डेटा $X$ पहले से ही सामान्य हो गया है और हम केवल पहले पीसी पर प्रक्षेपण पर विचार कर रहे हैं)। उद्देश्य समारोह के रूप में लिखा जा सकता है:

max_{w} (X w)^{T} (X w) s.t. w^{T} w = 1.

$\max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1.$

यह ठीक है, और हम इसे हल करने के लिए Lagrangian गुणकों का उपयोग करते हैं, अर्थात इसे निम्न रूप से लिखते हैं:

max_{w} [(X w)^{T} (X w) - λ w^{T} w],

$\max_w [(Xw)^T(Xw) - \lambda w^Tw],$

के बराबर है

max_{w} \frac{(X w)^{T} (X w)}{w^{T} w},

$\max_w \frac{ (Xw)^T(Xw) }{w^Tw},$

और इसलिए ( मैथवर्ल्ड पर यहाँ देख ) के बराबर हो रहा है

max_{w} \sum_{i = 1}^{n} {(distance from point x_{i} to line w)}^{2} .

$\max_w \sum_{i=1}^n \text{(distance from point $x_i$ to line $w$)}^2.$

लेकिन यह बिंदु और रेखा के बीच की दूरी को अधिकतम करने के लिए कह रहा है, और जो मैंने यहां पढ़ा है , यह गलत है - यह होना चाहिए , नहीं । मेरी गलती कहाँ है? $\min$ $\max$

या, क्या कोई मुझे अनुमानित स्थान में अधिकतम विचरण और बिंदु और रेखा के बीच की दूरी को कम करने के बीच लिंक दिखा सकता है ?

pca optimization

— Cam.Davidson.Pilon
स्रोत

मुझे लगता है कि घटकों के लिए ऑर्थोगोनलिटी की कसौटी को पूरा करने के लिए न्यूनतम दूरी का उपयोग किया जाता है। पीसी में उन बिंदुओं का अनुमान लगाया जाता है जो एक दूसरे के लिए ऑर्थोगोनल होते हैं लेकिन प्रत्येक क्रमिक घटक में शेष विचरण अधिकतम होता है।

— माइकल आर। चेरनिक

संकेत: जब आप सबसे बड़े के बजाय सबसे छोटे स्वदेशी पर विचार करते हैं तो क्या होता है ?

— whuber

@whuber The smallest eigenvalue probably has the PC that is the solution to the final objective function. But this PC does not maximixe the original objective function.

— Cam.Davidson.Pilon

I'm not sure what you mean by "final" and "original" objective function, Cam. PCA is not (conceptually) an optimization program. Its output is a set of principal directions, not just one. It is an (interesting) mathematical theorem that these directions can be found by solving a sequence of constrained quadratic programs, but that's not basic to the concepts or the practice of PCA. I am only suggesting that, by focusing on the smallest eigenvalue rather than on the largest one, you can reconcile the two ideas of (1) minimizing distances and (2) taking an optimization view of PCA.

— whuber

That's okay - your answer was the non-mistake version of what I was trying to do.

— Cam.Davidson.Pilon

Let $\newcommand{\X}{\mathbf X}\X$ be a centered data matrix with $n$ observations in rows. Let $\newcommand{\S}{\boldsymbol \Sigma}\S=\X^\top\X/(n-1)$ be its covariance matrix. Let $\newcommand{\w}{\mathbf w}\w$ be a unit vector specifying an axis in the variable space. We want $\w$ to be the first principal axis.

According to the first approach, first principal axis maximizes the variance of the projection $\X \w$ (variance of the first principal component). This variance is given by the

V a r (X w) = w^{⊤} X^{⊤} X w / (n - 1) = w^{⊤} Σ w .

$\mathrm{Var}(\X\w)=\w^\top\X^\top \X \w/(n-1)=\w^\top\S\w.$

According to the second approach, first principal axis minimizes the reconstruction error between $\X$ and its reconstruction $\X\w\w^\top$ , i.e. the sum of squared distances between the original points and their projections onto $\w$ . The square of the reconstruction error is given by

\begin{aligned} ‖ X - X w w^{⊤} ‖^{2} & = t r ((X - X w w^{⊤}) (X - X w w^{⊤})^{⊤}) \\ = t r ((X - X w w^{⊤}) (X^{⊤} - w w^{⊤} X^{⊤})) \\ = t r (X X^{⊤}) - 2 t r (X w w^{⊤} X^{⊤}) + t r (X w w^{⊤} w w^{⊤} X^{⊤}) \\ = c o n s t - t r (X w w^{⊤} X^{⊤}) \\ = c o n s t - t r (w^{⊤} X^{⊤} X w) \\ = c o n s t - c o n s t \cdot w^{⊤} Σ w . \end{aligned}

$\begin{align}\newcommand{\tr}{\mathrm{tr}} \|\X-\X\w\w^\top\|^2 &=\tr\left((\X-\X\w\w^\top)(\X-\X\w\w^\top)^\top\right) \\ &=\tr\left((\X-\X\w\w^\top)(\X^\top-\w\w^\top\X^\top)\right) \\ &=\tr(\X\X^\top)-2\tr(\X\w\w^\top\X^\top)+\tr(\X\w\w^\top\w\w^\top\X^\top) \\ &=\mathrm{const}-\tr(\X\w\w^\top\X^\top) \\ &=\mathrm{const}-\tr(\w^\top\X^\top\X\w) \\ &=\mathrm{const} - \mathrm{const} \cdot \w^\top \S \w. \end{align}$

Notice the minus sign before the main term. Because of that, minimizing the reconstruction error amounts to maximizing $\w^\top \S \w$ , which is the variance. So minimizing reconstruction error is equivalent to maximizing the variance; both formulations yield the same $\w$ .

— amoeba says Reinstate Monica
स्रोत

Something I noticed, isn't

w^{T} Σ w

${w}^{T} \Sigma w$ a convex function (With respect to

w

$w$ as

Σ

$\Sigma$ is PSD? How come we try to maximize it?

— Royi

@amoeba can you explain how you go from tr() to const in the last step?

— alberto

@alberto What is inside the trace is a number (1x1 matrix); a trace of a number is this number itself, so the trace can be removed. The constant appears because

Σ

$\Sigma$ is equal to

X^{⊤} X / n

$X^\top X/n$ , so there is this

1 / n

$1/n$ factor.

— amoeba says Reinstate Monica

@Leullame The calculation will hold verbatim for

W

$W$ if it is a matrix with orthonormal columns. You need

W^{⊤} W = I

$W^\top W = I$ to go from line #3 to line #4. If matrix

W

$W$ has orthonormal columns, then indeed

x W W^{⊤}

$xWW^\top$ will be a projection of

x

$x$ onto the subspace spanned by the columns of

W

$W$ (here

x

$x$ is a row vector).

— amoeba says Reinstate Monica

@DanielLópez Well, we are looking for a 1-dimensional subspace minimizing reconstruction error. A 1-dimensional subspace can be defined by a unit-norm vector pointing into its direction, which is what

w

$w$ is taken to be. It has unit norm by construction.

— amoeba says Reinstate Monica