प्रभाव कार्यों और OLS

मैं यह समझने की कोशिश कर रहा हूं कि कार्य कैसे प्रभावित करते हैं। क्या कोई साधारण OLS प्रतिगमन के संदर्भ में व्याख्या कर सकता है

y_{i} = α + β \cdot x_{i} + ε_{i}

$\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation}$

जहाँ मैं लिए प्रभाव कार्य करना चाहता हूँ । $\beta$

regression least-squares

— stevejb
स्रोत

यहां अभी तक कोई विशिष्ट प्रश्न नहीं है: क्या आप यह देखना चाहते हैं कि प्रभाव फ़ंक्शन की गणना कैसे की जाती है? क्या आप एक विशिष्ट अनुभवजन्य उदाहरण चाहते हैं? इसका क्या अर्थ है, इसका एक व्याख्यात्मक विवरण?

— whuber

यदि आप फ्रैंक क्रिचले के 1986 के पेपर "प्रिंसिपल कंपोनेंट्स में प्रभाव कार्यों" को देखते हैं (पेपर का सटीक नाम याद नहीं कर सकते हैं)। वह यहां साधारण प्रतिगमन के लिए प्रभाव समारोह को परिभाषित करता है (जो मेरे उत्तर को गलत साबित कर सकता है या नहीं भी)।

— प्रोबेबिलिसलॉजिक

जवाबों:

प्रभाव कार्य मूल रूप से एक विश्लेषणात्मक उपकरण है जिसका उपयोग उस सांख्यिकीय के पुन: गणना किए बिना किसी आंकड़े के मूल्य पर एक अवलोकन को हटाने के प्रभाव (या "प्रभाव") का आकलन करने के लिए किया जा सकता है । उनका उपयोग स्पर्शोन्मुख विचरण अनुमान बनाने के लिए भी किया जा सकता है। यदि प्रभाव बराबर होता है तो स्पर्शोन्मुख विचरण $I$ । $\frac{I^2}{n}$

प्रभाव कार्यों को समझने का तरीका इस प्रकार है। आपके पास कुछ प्रकार की सैद्धांतिक CDF है, जिसे द्वारा निरूपित किया गया है । सरल OLS के लिए, आपके पास है $F_{i}(y)=Pr(Y_{i}<y_{i})$

कहाँमानक सामान्य CDF है, औरत्रुटि विचरण है। अब आप यह दिखा सकते हैं कि कोई भी आँकड़ा इस CDF का कार्य होगा, इसलिए संकेतन(अर्थातका कुछ कार्य)। अब मान लीजिए कि हम समारोह बदलएक "छोटा सा" द्वारा, के लिए

P r (Y_{i} < y_{i}) = P r (α + β x_{i} + ϵ_{i} < y_{i}) = Φ (\frac{y_{i} - (α + β x_{i})}{σ})

$Pr(Y_{i}<y_{i})=Pr(\alpha+\beta x_{i} + \epsilon_{i} < y_{i})=\Phi\left(\frac{y_{i}-(\alpha+\beta x_{i})}{\sigma}\right)$

Φ (z)

$\Phi(z)$

σ^{2}

$\sigma^2$

S (F)

$S(F)$

F

$F$

F

$F$

कहाँ

, और

F_{(i)} (z) = (1 + ζ) F (z) - ζ δ_{(i)} (z)

$F_{(i)}(z)=(1+\zeta)F(z)-\zeta \delta_{(i)}(z)$

δ_{i} (z) = I (y_{i} < z)

$\delta_{i}(z)=I(y_{i}<z)$

। इस प्रकार

डेटा के CDF को "ith" डेटा बिंदु के साथ हटा देता है। हम की एक टेलर श्रृंखला कर सकते हैं

के बारे में

। यह देता है:

ζ = \frac{1}{n - 1}

$\zeta=\frac{1}{n-1}$

F_{(i)}

$F_{(i)}$

F_{(i)} (z)

$F_{(i)}(z)$

ζ = 0

$\zeta=0$

S [F_{(i)} (z, ζ)] \approx S [F_{(i)} (z, 0)] + ζ [\frac{\partial S [F_{(i)} (z, ζ)]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F_{(i)}(z,0)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

ध्यान दें कि इसलिए हम प्राप्त करते हैं: $F_{(i)}(z,0)=F(z)$

S [F_{(i)} (z, ζ)] \approx S [F (z)] + ζ [\frac{\partial S [F_{(i)} (z, ζ)]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F(z)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

यहां आंशिक व्युत्पन्न को प्रभाव समारोह कहा जाता है। तो यह "ith" अवलोकन को हटाने के कारण एक सांख्यिकीय के लिए किए जाने वाले लगभग "पहले क्रम" सुधार का प्रतिनिधित्व करता है। ध्यान दें कि प्रतिगमन में शेष असममित रूप से शून्य नहीं जाता है, ताकि यह उन परिवर्तनों का एक अनुमान हो जो आपको वास्तव में मिल सकते हैं। अब as: लिखें $\beta$

β = \frac{\frac{1}{n} \sum_{j = 1}^{n} (y_{j} - \bar{y}) (x_{j} - \bar{x})}{\frac{1}{n} \sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}}

$\beta=\frac{\frac{1}{n}\sum_{j=1}^{n}(y_{j}-\overline{y})(x_{j}-\overline{x})}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}$

इस प्रकार बीटा दो आँकड़ों का एक कार्य है: X और Y के बीच X और सहसंयोजी का विचरण। इन दोनों आँकड़ों का CDF के रूप में प्रतिनिधित्व है:

और जहां

c o v (X, Y) = \int (X - μ_{x} (F)) (Y - μ_{y} (F)) d F

$cov(X,Y)=\int(X-\mu_x(F))(Y-\mu_y(F))dF$

v a r (X) = \int (X - μ_{x} (F))^{2} d F

$var(X)=\int(X-\mu_x(F))^{2}dF$

μ_{x} = \int x d F

$\mu_x=\int xdF$

$F\rightarrow F_{(i)}=(1+\zeta)F-\zeta \delta_{(i)}$

μ_{x (i)} = \int x d [(1 + ζ) F - ζ δ_{(i)}] = μ_{x} - ζ (x_{i} - μ_{x})

$\mu_{x(i)}=\int xd[(1+\zeta)F-\zeta \delta_{(i)}]=\mu_x-\zeta(x_{i}-\mu_x)$

V a r (X)_{(i)} = \int (X - μ_{x (i)})^{2} d F_{(i)} = \int (X - μ_{x} + ζ (x_{i} - μ_{x}))^{2} d [(1 + ζ) F - ζ δ_{(i)}]

$Var(X)_{(i)}=\int(X-\mu_{x(i)})^{2}dF_{(i)}=\int(X-\mu_x+\zeta(x_{i}-\mu_x))^{2}d[(1+\zeta)F-\zeta \delta_{(i)}]$

$\zeta^{2}$

वी ए आर (एक्स)_{(मैं)} \approx वी ए आर (एक्स) - ζ [({एक्स}_{मैं} - μ_{एक्स})^{2} - वी ए आर (एक्स)]

$Var(X)_{(i)}\approx Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]$

C o v (X, Y)_{(i)} \approx C o v (X, Y) - ζ [(x_{i} - μ_{x}) (y_{i} - μ_{y}) - C o v (X, Y)]

$Cov(X,Y)_{(i)}\approx Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]$

$\beta_{(i)}$ $\zeta$

β_{(i)} (ζ) \approx \frac{C o v (X, Y) - ζ [(x_{i} - μ_{x}) (y_{i} - μ_{y}) - C o v (X, Y)]}{V a r (X) - ζ [(x_{i} - μ_{x})^{2} - V a r (X)]}

$\beta_{(i)}(\zeta)\approx \frac{Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]}{Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]}$

अब हम टेलर श्रृंखला का उपयोग कर सकते हैं:

β_{(i)} (ζ) \approx β_{(i)} (0) + ζ {[\frac{\partial β_{(i)} (ζ)}{\partial ζ}]}_{ζ = 0}

$\beta_{(i)}(\zeta)\approx \beta_{(i)}(0)+\zeta\left[\frac{\partial \beta_{(i)}(\zeta)}{\partial \zeta}\right]_{\zeta=0}$

इसे सरल बनाता है:

β_{(i)} (ζ) \approx β - ζ [\frac{(x_{i} - μ_{x}) (y_{i} - μ_{y})}{V a r (X)} - β \frac{(x_{i} - μ_{x})^{2}}{V a r (X)}]

$\beta_{(i)}(\zeta)\approx \beta-\zeta\left[\frac{(x_{i}-\mu_x)(y_{i}-\mu_y)}{Var(X)}-\beta\frac{(x_{i}-\mu_x)^2}{Var(X)}\right]$

$\mu_y$ $\mu_x$ $var(X)$ $\zeta=\frac{1}{n-1}$

β_{(i)} \approx β - \frac{x_{i} - \bar{x}}{n - 1} [\frac{y_{i} - \bar{y}}{\frac{1}{n} \sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}} - β \frac{x_{i} - \bar{x}}{\frac{1}{n} \sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}}]

$\beta_{(i)}\approx \beta-\frac{x_{i}-\overline{x}}{n-1}\left[\frac{y_{i}-\overline{y}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}-\beta\frac{x_{i}-\overline{x}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}\right]$

$\tilde{x}=\frac{x-\overline{x}}{s_{x}}$

β_{(i)} \approx β - \frac{\tilde{x_{i}}}{n - 1} [\tilde{y_{i}} \frac{s_{y}}{s_{x}} - \tilde{x_{i}} β]

$\beta_{(i)}\approx \beta-\frac{\tilde{x_{i}}}{n-1}\left[\tilde{y_{i}}\frac{s_y}{s_x}-\tilde{x_{i}}\beta\right]$

— probabilityislogic
स्रोत

तो कहानी अतिरिक्त डेटा बिंदु के प्रभाव के बारे में है? मैंने समय श्रृंखला के आंकड़ों के लिए आवेग प्रतिक्रिया का अधिक इस्तेमाल किया, सांख्यिकीय संदर्भ में सभी प्रभाव सीमांत प्रभाव या मानकीकृत प्रतिगमन से बीटा गुणांक द्वारा वर्णित किया जाएगा। वैसे मुझे वास्तव में प्रश्न और उत्तर का न्याय करने के लिए अधिक संदर्भ की आवश्यकता है, लेकिन यह एक अच्छा है, मुझे लगता है (+1 अभी तक नहीं है लेकिन इंतजार कर रहा है)।

— १६:४३ पर १६:११ पर पापेल सेलोव

@dmitrij - यह वही है जो लिंक से निहित था (या मुझे क्या पता था) - यह एक आंकड़े की मजबूती गुणों के बारे में है। प्रभाव फ़ंक्शन 1 डेटा बिंदु की तुलना में थोड़ा अधिक सामान्य हैं - आप डेल्टा फ़ंक्शन को उनमें से एक राशि (इसलिए कई अवलोकन) को फिर से परिभाषित कर सकते हैं। मैं इसे कुछ हद तक "सस्ते जैकनेफ" के रूप में सोचूंगा - क्योंकि आपको मॉडल के पुन: फिटिंग की आवश्यकता नहीं है।

— प्रोबेबिलिसलॉजिक

एक प्रतिगमन के प्रभाव कार्यों के बारे में बात करने के लिए यहां एक सुपर सामान्य तरीका है। पहले मैं प्रभाव कार्यों को प्रस्तुत करने के एक तरीके से निपटने जा रहा हूँ:

$F$ $\Sigma$ $F_\epsilon(x)$

{एफ}_{ε} (एक्स) = (1 - ε) एफ + ε δ_{एक्स}

$F_\epsilon(x)=(1-\epsilon)F+\epsilon\delta_x$

δ_{x}

$\delta_x$

Σ

$\Sigma$

{x}

$\{x\}$

Σ

$\Sigma$

इससे हम प्रभाव फ़ंक्शन को आसानी से परिभाषित कर सकते हैं:

$\hat{\theta}$ $F$ $\psi_i:\mathcal{X}\to\Gamma$

ψ_{\hat{θ}, एफ} (एक्स) = \underset{ε \to 0}{लिम} \frac{\hat{θ} ({एफ}_{ε} (एक्स)) - \hat{θ} (एफ)}{ε}

$\begin{equation} \psi_{\hat{\theta},F}(x)=\lim\limits_{\epsilon\to 0}\dfrac{\hat{\theta}(F_\epsilon(x))-\hat{\theta}(F)}{\epsilon} \end{equation}$

$\hat\theta$ $F$ $\delta_x$

OLS अनुमान समस्या का हल है:

\hat{θ} = आर्ग \underset{θ}{मिनट} इ [(Y - एक्स θ)^{टी} (Y - एक्स θ)]

$\hat\theta=\arg\min_\theta E[(Y-X\theta)^T(Y-X\theta)]$

$(x,y)$

{\hat{θ}}_{ε} = आर्ग \underset{θ}{मिनट} (1 - ε) इ [(Y - एक्स θ)^{टी} (Y - एक्स θ)] + ε (y - एक्स θ)^{टी} (y - एक्स θ)

$\hat\theta_\epsilon = \arg\min_\theta (1-\epsilon)E[(Y-X\theta)^T(Y-X\theta)]+\epsilon (y-x\theta)^T(y-x\theta)$

पहले आदेश की स्थिति लेना:

{(1 - ε) इ [{एक्स}^{टी} एक्स] + ε {एक्स}^{टी} एक्स} {\hat{θ}}_{ε} = (1 - ε) इ [{एक्स}^{टी} Y] + ε {एक्स}^{टी} y

$\left\{(1-\epsilon)E[X^TX]+\epsilon x^Tx\right\}\hat\theta_\epsilon = (1-\epsilon)E[X^TY]+\epsilon x^Ty$

चूंकि प्रभाव समारोह सिर्फ गैटॉक्स व्युत्पन्न है, जिसे हम अब कह सकते हैं:

- (इ [{एक्स}^{टी} एक्स] + {एक्स}^{टी} एक्स) {\hat{θ}}_{ε} + इ [{एक्स}^{टी} एक्स] ψ_{θ} (एक्स, y) = - इ [{एक्स}^{टी} Y] + {एक्स}^{टी} y

$-(E[X^TX]+x^Tx)\hat\theta_\epsilon + E[X^TX]\psi_{\theta}(x,y) = -E[X^TY] + x^Ty$

$\epsilon=0$ $\hat\theta_\epsilon=\hat\theta=E[X^TX]^{-1}E[X^TY]$

ψ_{θ} (एक्स, y) = इ [{एक्स}^{टी} एक्स]^{- 1} {एक्स}^{टी} (y - एक्स θ)

$\psi_{\theta}(x,y)=E[X^TX]^{-1}x^T(y-x\theta)$

इस प्रभाव समारोह का परिमित नमूना प्रतिरूप है:

ψ_{θ} (एक्स, y) = {(\frac{1}{एन} \underset{मैं}{Σ} {एक्स}_{मैं}^{टी} {एक्स}_{मैं})}^{- 1} {एक्स}^{टी} (y - एक्स θ)

$\psi_{\theta}(x,y)=\left(\dfrac{1}{N}\sum_i X_i^TX_i\right)^{-1}x^T(y-x\theta)$

सामान्य तौर पर मुझे यह ढांचा (प्रभाव कार्यों के साथ काम करने के लिए गैटॉक्स डेरिवेटिव के रूप में) से निपटने के लिए आसान लगता है।

— jayk
स्रोत