आर-वर्ग की सशर्त अपेक्षा

Question

सरल रैखिक मॉडल पर विचार करें:

$$\pmb{y}=X'\pmb{\beta}+\epsilon$$

जहां $\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2)$ और $X\in\mathbb{R}^{n\times p}$ ,औरस्थिरांक की एक कॉलम होता है।$p\geq2$$X$

मेरा प्रश्न दिया जाता है, $\mathrm{E}(X'X)$ , $\beta$ और $\sigma$ , वहाँ एक गैर तुच्छ ऊपरी पर बाध्य करने का फार्मूला है $\mathrm{E}(R^2)$ *? (मान लिया गया कि मॉडल OLS द्वारा अनुमानित किया गया था)।

* मैंने मान लिया, यह लिखते हुए, कि $E(R^2)$ को प्राप्त करना स्वयं संभव नहीं होगा।

EDIT1

स्टीफन लॉरेंट (नीचे देखें) द्वारा प्राप्त समाधान का उपयोग करके हम पर एक गैर तुच्छ ऊपरी सीमा प्राप्त कर सकते हैं $E(R^2)$। कुछ संख्यात्मक सिमुलेशन (नीचे) बताते हैं कि यह बाध्य वास्तव में बहुत तंग है।

स्टीफन लौरेंत व्युत्पन्न निम्नलिखित: $R^2\sim\mathrm{B}(p-1,n-p,\lambda)$ जहां $\mathrm{B}(p-1,n-p,\lambda)$ गैर केन्द्रीयता पैरामीटर के साथ एक गैर केंद्रीय बीटा वितरण है $\lambda$ के साथ

$$\lambda=\frac{||X'\beta-\mathrm{E}(X)'\beta1_n||^2}{\sigma^2}$$

इसलिए

$$\mathrm{E}(R^2)=\mathrm{E}\left(\frac{\chi^2_{p-1}(\lambda)}{\chi^2_{p-1}(\lambda)+\chi^2_{n-p}}\right)\geq\frac{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)}{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)+\mathrm{E}\left(\chi^2_{n-p}\right)}$$

जहां एक गैर केंद्रीय है χ 2 पैरामीटर के साथ λ और कश्मीर स्वतंत्रता की डिग्री। तो E ( R 2 ) के लिए एक गैर-तुच्छ ऊपरी सीमा है$\chi^2_{k}(\lambda)$$\chi^2$$\lambda$$k$$\mathrm{E}(R^2)$

$$\frac{\lambda+p-1}{\lambda+n-1}$$

यह बहुत तंग है (जितना मैंने उम्मीद की थी उससे कहीं अधिक तंग होगा):

उदाहरण के लिए, का उपयोग कर:

rho<-0.75
p<-10
n<-25*p
Su<-matrix(rho,p-1,p-1)
diag(Su)<-1
su<-1
set.seed(123)
bet<-runif(p)

1000 सिमुलेशन पर का मतलब है । ऊपर दी गई सैद्धांतिक ऊपरी सीमा देता है । आर 2 के कई मूल्यों के लिए बाध्य समान रूप से सटीक प्रतीत होता है । सचमुच अचरज!$R^2$0.9608190.9609081$R^2$

EDIT2:

आगे के शोध के बाद, यह प्रतीत होता है कि के लिए ऊपरी बाध्य सन्निकटन की गुणवत्ता बेहतर होगी क्योंकि λ + p बढ़ता है (और बाकी सभी समान, λ n के साथ बढ़ता है )।$E(R^2)$$\lambda+p$$\lambda$$n$

Comments

में केवल एन और पी के आधार पर मापदंडों के साथ एक बीटा वितरण है। नहीं ? $R^2$$n$$p$

— स्टीफन लॉरेंट

ओहूप्स क्षमा करें, मेरा पिछला दावा केवल "अशक्त मॉडल" (केवल अवरोधन) की परिकल्पना के तहत सच है। अन्यथा का वितरण एक गैर-केंद्रीय बीटा वितरण की तरह होना चाहिए, जिसमें गैर-पैरामीलिटी पैरामीटर अज्ञात मापदंडों को शामिल करता है। $R^2$

— स्टीफन लॉरेंट

@ स्टेफेनलौरेंट: धन्यवाद। क्या आप अज्ञात मापदंडों और बीटा के मापदंडों के बीच संबंध के बारे में अधिक जान पाएंगे? मैं फंस गया हूं, इसलिए किसी भी पॉइंटर का स्वागत किया जाएगा ...

— user603

क्या आपको से निपटने की आवश्यकता है ? शायद E [ R 2 / ( 1 - R 2 ) ] के लिए एक सरल सटीक सूत्र है । $E[R^2]$$E[R^2/(1-R^2)]$

— स्टीफन लॉरेंट

मेरा उत्तर के अंकन के साथ, कुछ अदिश के लिए कश्मीर और noncentral के पहले पल एफ -distribution सरल है। $R^2/(1-R^2) = k F$$k$$F$

— स्टीफन लॉरेंट

Answer 1

किसी भी रेखीय मॉडल लिखा जा सकता है जहां जी पर मानक सामान्य बंटन है आर एन और μ एक रेखीय उपस्पेस से संबंधित माना जाता है डब्ल्यू के आर एन । आपके मामले में W = Im ( X ) ।$\boxed{Y=\mu+\sigma G}$$G$$\mathbb{R}^n$$\mu$$W$$\mathbb{R}^n$$W=\text{Im}(X)$

चलो एक आयामी रैखिक उपस्पेस वेक्टर द्वारा उत्पन्न हो ( 1 , 1 , ... , 1 ) । लेते हुए यू = [ 1 ] नीचे, आर 2 अत्यधिक शास्त्रीय फिशर आँकड़ों से संबंधित है एफ = ‖ पी जेड वाई ‖ 2 / ( मीटर - ℓ $[1] \subset W$$(1,1,\ldots,1)$$U=[1]$$R^2$ की परिकल्पना परीक्षण के लिएएच0:{μ∈यू}जहांयू⊂डब्ल्यूहै एक रेखीय उपस्पेस, और द्वारा संकेतित करते जेड=यू⊥∩डब्ल्यूके orthogonal पूरकयूमेंडब्ल्यू, और दर्शानेमीटर=मंद(डब्ल्यू)औरℓ=मंद(यू

$$F = \frac{{\Vert P_Z Y\Vert}^2/(m-\ell)}{{\Vert P_W^\perp Y\Vert}^2/(n-m)},$$ $H_0\colon\{\mu \in U\}$$U\subset W$$Z=U^\perp \cap W$$U$$W$$m=\dim(W)$$\ell=\dim(U)$(तब और ℓ = 1 अपनी स्थिति में)।$m=p$$\ell=1$

दरअसल, क्योंकि की परिभाषाआर2है आर2= ‖ पी जेड वाई ‖

$$\dfrac{{\Vert P_Z Y\Vert}^2}{{\Vert P_W^\perp Y\Vert}^2} = \frac{R^2}{1-R^2}$$ $R^2$ $$R^2 = \frac{{\Vert P_Z Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}=1 - \frac{{\Vert P^\perp_W Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}.$$

जाहिर है और पी ⊥ डब्ल्यू वाई = σ पी ⊥ डब्ल्यू जी ।$\boxed{P_Z Y = P_Z \mu + \sigma P_Z G}$$\boxed{P_W^\perp Y = \sigma P_W^\perp G}$

जब है सच$H_0\colon\{\mu \in U\}$ तो और इसलिए एफ = ‖ पी जेड जी ‖ 2 / ( मीटर - ℓ $P_Z \mu = 0$ फिशर हैएफएम-ℓ,एन-मीटरवितरण। नतीजतन, फिशर वितरण और बीटा वितरण, के बीच शास्त्रीय संबंध सेआर2~बी(मीटर-ℓ,एन-मीटर)।

$$F = \frac{{\Vert P_Z G\Vert}^2/(m-\ell)}{{\Vert P_W^\perp G\Vert}^2/(n-m)} \sim F_{m-\ell,n-m}$$ $F_{m-\ell,n-m}$$R^2 \sim {\cal B}(m-\ell, n-m)$

In the general situation we have to deal with $P_Z Y = P_Z \mu + \sigma P_Z G$ when $P_Z\mu \neq 0$. In this general case one has ${\Vert P_Z Y\Vert}^2 \sim \sigma^2\chi^2_{m-\ell}(\lambda)$, the noncentral $\chi^2$ distribution with $m-\ell$ degrees of freedom and noncentrality parameter $\boxed{\lambda=\frac{{\Vert P_Z \mu\Vert}^2}{\sigma^2}}$, and then $\boxed{F \sim F_{m-\ell,n-m}(\lambda)}$ (noncentral Fisher distribution). This is the classical result used to compute power of $F$-tests.

The classical relation between the Fisher distribution and the Beta distribution hold in the noncentral situation too. Finally $R^2$ has the noncentral beta distribution with "shape parameters" $m-\ell$ and $n-m$ and noncentrality parameter $\lambda$. I think the moments are available in the literature but they possibly are highly complicated.

Finally let us write down $P_Z\mu$. Note that $P_Z = P_W - P_U$. One has $P_U \mu = \bar\mu 1$ when $U=[1]$, and $P_W \mu = \mu$. Hence $P_Z \mu =\mu - \bar\mu 1$ where here $\mu=X\beta$ for the unknown parameters vector $\beta$.

Comments

$P_Z x$ is the orthogoanl projection of $x$ on the linear subspace $Z$. And $P^\perp$ denotes projection on the orthogonal.

— Stéphane Laurent

Beware of $Px \neq \Vert P x \Vert^2$. I'm going to edit my post to write the formulas.

— Stéphane Laurent

Done - do you see any simplification ?

— Stéphane Laurent

$\bar \mu = \frac{1}{n} \sum \mu_i$

— Stéphane Laurent

Type I, obviously: type II are distributed on $(0, \infty)$. Actually $R^2/(1-R^2)$ has the type II distribution. I have done the last corrections for today.

— Stéphane Laurent