पूर्ण स्तंभ रैंक से कम के साथ अधिकतम संभावना सीमित है

यह प्रश्न रैखिक मॉडल के किसी विशेष संस्करण में प्रतिबंधित अधिकतम संभावना (REML) अनुमान से संबंधित है:

Y = X (α) β + ϵ, ϵ \sim N_{n} (0, Σ (α)),

$Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)),$

जहां $X(\alpha)$ एक ( $n \times p$ ) मैट्रिक्स द्वारा parametrized $\alpha \in \mathbb R^k$ , के रूप में है $\Sigma(\alpha)$ । $\beta$ उपद्रव मापदंडों का एक अज्ञात वेक्टर है; ब्याज का अनुमान लगाने में है $\alpha$ , और हमारे पास $k\leq p\ll n$ । अधिकतम संभावना द्वारा मॉडल का अनुमान लगाना कोई समस्या नहीं है, लेकिन मैं REML का उपयोग करना चाहता हूं। यह सर्वविदित है, उदाहरण के लिए देख लमोटे , कि संभावना $A'Y$ , जहां $A$ किसी भी अर्द्ध orthogonal मैट्रिक्स ऐसी है कि है $A'X=0$ लिखा जा सकता है

L_{REML} (α ∣ Y) \propto | X^{'} X |^{1 / 2} | Σ |^{- 1 / 2} | X^{'} Σ^{- 1} X |^{- 1 / 2} \exp {- \frac{1}{2} r^{'} Σ^{- 1} r}, r = (I - X (X^{'} Σ^{- 1} X)^{+} X^{'} Σ^{- 1}) Y,

$L_{\text{REML}}(\alpha\mid Y) \propto\vert X'X\vert^{1/2} \vert \Sigma\vert^{-1/2}\vert X'\Sigma^{-1}X\vert^{-1/2}\exp\left\{-\frac{1}{2} r'\Sigma^{-1}r \right\}, \\ r = (I - X(X'\Sigma^{-1}X)^+X'\Sigma^{-1})Y,$

जब $X$ पूर्ण स्तंभ रैंक है ।

मेरी समस्या यह है कि कुछ पूरी तरह से उचित है, और वैज्ञानिक रूप से दिलचस्प है, मैट्रिक्स $\alpha$ $X(\alpha)$ पूर्ण स्तंभ रैंक का नहीं है। सभी derivations मैं बनाता है ऊपर प्रतिबंधित संभावना के देखा है निर्धारक समानताओं कि लागू नहीं हैं की का उपयोग करते हैं , यानी वे पूर्ण स्तंभ रैंक को मानते हैं । इसका मतलब यह है कि उपरोक्त प्रतिबंधित संभावना केवल पैरामीटर स्पेस के हिस्सों पर मेरी सेटिंग के लिए सही है, और इस प्रकार वह नहीं है जिसे मैं अनुकूलित करना चाहता हूं। $\vert X'X\vert=0$ $X$

प्रश्न: क्या इस धारणा के बिना कि साहित्यिक श्रेणी में कहीं अधिक सामान्य प्रतिबंधित संभावनाएं हैं, सांख्यिकीय साहित्य या कहीं और हैं ? यदि हां, तो वे क्या दिखते हैं? $X$

कुछ अवलोकन:

घातीय भाग को प्राप्त करना किसी भी लिए कोई समस्या नहीं है और इसे मूर-पेनरोज़ उलटा के रूप में लिखा जा सकता है $X(\alpha)$
के कॉलम एक (किसी भी) orthonormal के लिए आधार हैं $A$ $C(X)^\bot$
जाना जाता है के लिए , के लिए संभावना आसानी से हर एक के लिए नीचे लिखा जा सकता है , लेकिन निश्चित रूप आधार वैक्टर, यानी कॉलम, में की संख्या का स्तंभ रैंक पर निर्भर करता है $A$ $A'Y$ $\alpha$ $A$ $X$

इस सवाल में रुचि रखने वाले किसी को भी मानना है की सटीक parameterization तो में मदद मिलेगी, मुझे पता है और मैं उन्हें लिख देंगे। इस बिंदु पर, मैं सही आयामों के एक सामान्य के लिए ज्यादातर REML में रुचि रखता हूं । $X,\Sigma$ $X$

मॉडल का अधिक विस्तृत विवरण यहां दिया गया है। चलो एक होना आयामी पहले के आदेश वेक्टर Autoregression [वीएआर (1)] जहां । मान लीजिए कि प्रक्रिया कुछ निश्चित मान में समय । $y_t = \mu + Ay_{t - 1} + v_t, t = 1, \dots, T$ $r$ $v_t \overset{iid}{\sim}N(0, \Omega)$ $y_0$ $t = 0$

परिभाषित करें । मॉडल को रेखीय मॉडल रूप में लिखा जा सकता है $Y = [y_1', \dots, y_T']'$ निम्नलिखित परिभाषा और अंकन का उपयोग: $Y = X\beta + \varepsilon$

\begin{aligned} X & = [1_{T} \otimes I_{r}, C^{- 1} B] \\ β & = [μ^{'}, y_{0}^{'} - μ^{'}]^{'} \\ v a r (ε)^{- 1} & = C^{'} (I_{T} \otimes Ω^{- 1}) C \\ C & = [\begin{matrix} I_{r} & 0 & 0 & \dots \\ - A & I_{r} & 0 & \dots \\ 0 & - A & I_{r} & \dots \\ ⋮ & ⋮ & ⋮ & ⋱ \end{matrix}] \\ B & = e_{1, T} \otimes A, \end{aligned}

$\begin{align} X &= [1_T \otimes I_r, C^{-1}B] \\ \beta &= [\mu', y_0' - \mu']' \\ \mathrm{var}(\varepsilon)^{-1} &= C'(I_T \otimes \Omega^{-1})C \\ C &= \begin{bmatrix} I_r & 0 & 0 & \cdots \\ -A & I_r & 0 & \cdots \\ 0 & -A & I_r & \cdots \\ \vdots & \vdots & \vdots & \ddots \end{bmatrix} \\ B &= e_{1, T} \otimes A, \end{align}$

जहाँ एक आयामी सदिश का प्रतीक है और का पहला मानक आधार वेक्टर है । $1_T$ $T-$ $e_{1,T}$ $\mathbb R^T$

Denote । ध्यान दें कि यदि पूर्ण रैंक नहीं है तो पूर्ण स्तंभ रैंक नहीं है। इसमें शामिल हैं, उदाहरण के लिए, ऐसे मामलों में जहां के घटकों में से एक अतीत पर निर्भर नहीं करता है। $\alpha = \mathrm{vec}(A)$ $A$ $X(\alpha)$ $y_t$

उदाहरण के लिए, REML का उपयोग करके VARs का अनुमान लगाने का विचार अच्छी तरह से जाना जाता है, उदाहरण के लिए, भविष्य कहनेवाला साहित्य (उदाहरण के लिए फिलिप्स और चेन और उसमें संदर्भ देखें।)

यह स्पष्ट करने के लिए सार्थक हो सकता है कि मैट्रिक्स सामान्य अर्थों में एक डिज़ाइन मैट्रिक्स नहीं है, यह सिर्फ मॉडल से बाहर निकलता है और जब तक बारे में एक पूर्व ज्ञान नहीं है, जहां तक मैं बता सकता हूं, फिर से समरूप करने का कोई तरीका नहीं है यह पूरी रैंक होगी। $X$ $A$

मैंने math.stackexchange पर एक प्रश्न पोस्ट किया है जो इस अर्थ से संबंधित है कि गणित प्रश्न का उत्तर इस संभावना को प्राप्त करने में मदद कर सकता है जो इस प्रश्न का उत्तर देगा।

— ekvall
स्रोत

शायद सवाल को संबोधित करने का एक तरीका यह है कि रैखिक मिश्रित मॉडल में क्या होता है जब मॉडल मैट्रिक्स पूर्ण स्तंभ रैंक नहीं होता है?

— ग्रीनपार्क

इनाम @Greenparker के लिए धन्यवाद। और, हाँ, यदि पूर्ण स्तंभ रैंक निश्चित प्रभाव डिज़ाइन मैट्रिक्स से कम के साथ एक रेखीय मिश्रित मॉडल के लिए एक सीमित संभावना को लिखा जा सकता है, तो इससे मदद मिलेगी।

— इकलव

घातीय भाग की व्युत्पत्ति करना किसी भी X (α) X (α) के लिए कोई समस्या नहीं है और इसे मूर-पेनरोज़ उलटा के रूप में लिखा जा सकता है

मुझे संदेह है कि यह अवलोकन सही है। सामान्यीकृत प्रतिलोम ने वास्तव में आपके अनुमानकों [राव एंड मित्रा] पर अतिरिक्त रैखिक प्रतिबंध लगा दिया है, इसलिए हमें "मूर-पेनरोज़ व्युत्क्रम घातीय भाग के लिए काम करेगा" अनुमान लगाने के बजाय संयुक्त संभावना पर विचार करना चाहिए। यह औपचारिक रूप से सही लगता है फिर भी आप मिश्रित मॉडल को सही ढंग से नहीं समझते हैं।

(1) मिश्रित प्रभाव वाले मॉडल को सही तरीके से कैसे सोचा जाए? $\blacksquare$

आपको मिश्रित प्रभाव मॉडल को एक अलग तरीके से सोचना होगा, इससे पहले कि आप जी-उलटा (या मूर-पेनरोज़ उलटा, जो कि एक विशेष प्रकार का रिफ्लेक्टिव जी-उलटा [राव एंड मित्रा] है) को यंत्रवत् रूप से आरएमएलई द्वारा दिए गए फार्मूले (प्रतिबंधित) में प्लग करने की कोशिश करें। अधिकतम संभावना अनुमानक, समान नीचे)।

X = (\begin{array}{cc} f i x e d e f f e c t \\ r a n d o m e f f e c t \end{array})

$\boldsymbol{X}=\left(\begin{array}{cc} fixed\quad effect\\ & random\quad effect \end{array}\right)$

मिश्रित प्रभाव के बारे में सोचने का एक सामान्य तरीका यह है कि डिज़ाइन मैट्रिक्स में यादृच्छिक प्रभाव वाला भाग माप त्रुटि द्वारा पेश किया जाता है, जो "स्टोचस्टिक भविष्यवक्ता" का एक और नाम रखता है यदि हम अनुमान के बजाय भविष्यवाणी के बारे में अधिक परवाह करते हैं। यह आँकड़ों की स्थापना में स्टोकेस्टिक मैट्रिक्स के अध्ययन का एक ऐतिहासिक प्रेरणा भी है।

मेरी समस्या यह है कि कुछ पूरी तरह से उचित और वैज्ञानिक रूप से दिलचस्प के लिए, αα मैट्रिक्स X (α) X (α) पूर्ण स्तंभ रैंक का नहीं है।

संभावना के सोचने के इस तरीके को देखते हुए, संभावना है कि पूर्ण रैंक का नहीं है। यह इसलिए है क्योंकि निर्धारक फ़ंक्शन मैट्रिक्स की प्रविष्टियों में निरंतर है और सामान्य वितरण एक निरंतर वितरण है जो एकल बिंदु पर शून्य संभाव्यता प्रदान करता है। दोषपूर्ण रैंक की संभावना सकारात्मक है यदि आप इसे रोगात्मक तरीके से मानकीकृत करते हैं जैसे $X(\alpha)$ $X(\alpha)$ । $\left(\begin{array}{ccc} \alpha & \alpha\\ \alpha & \alpha\\ & & random\quad effect \end{array}\right)$

तो आपके प्रश्न का हल भी सीधे आगे है, आप बस अपने डिज़ाइन मैट्रिक्स (केवल निश्चित प्रभाव वाले भाग पर अंकुश लगाते हैं) का उपयोग करें, और perturbed मैट्रिक्स का उपयोग करें (जो पूर्ण रैंक है) सभी व्युत्पत्तियों को पूरा करने के लिए। जब तक अपने मॉडल पदानुक्रम जटिल है या खुद के पास विलक्षण है, मैं नहीं दिख रहा है वहाँ एक गंभीर समस्या है जब आप ले अंतिम परिणाम में के बाद से निर्धारक समारोह निरंतर है और हम निर्धारक समारोह के अंदर सीमा ले सकते हैं। $X_\epsilon(\alpha)=X(\alpha)+\epsilon\left(\begin{array}{cc} I & 0\\ 0 & 0 \end{array}\right)$ $X$ $\epsilon\rightarrow 0$ । और गड़बड़ी में की प्रतिलोम फार्म शेर्मन-Morrision-वुडबरी प्रमेय द्वारा प्राप्त किया जा सकता है। और मैट्रिक्सके निर्धारक कोमानक रैखिक बीजगणित पुस्तक जैसे [हॉर्न एंड जॉनसन] में दिया गया है। बेशक हम मैट्रिक्स के प्रत्येक प्रविष्टि के संदर्भ में निर्धारक को लिख सकते हैं, लेकिन गड़बड़ी को हमेशा [हॉर्न एंड जॉनसन] पसंद किया जाता है। $lim_{\epsilon\rightarrow 0}|X_\epsilon|=|lim_{\epsilon\rightarrow 0}X_\epsilon|$ $X_\epsilon$ $I+X$

(2) हमें एक मॉडल में उपद्रव मापदंडों से कैसे निपटना चाहिए? $\blacksquare$

जैसा कि आप देखते हैं, मॉडल में यादृच्छिक प्रभाव वाले हिस्से से निपटने के लिए, हमें इसे "उपद्रव पैरामीटर" के रूप में मानना चाहिए। समस्या यह है: क्या RMLE एक उपद्रव पैरामीटर को खत्म करने का सबसे उपयुक्त तरीका है? यहां तक कि GLM और मिश्रित प्रभाव वाले मॉडल में, RMLE एकमात्र विकल्प से दूर है। [बसु] ने बताया कि आकलन की सेटिंग में मापदंडों को खत्म करने के कई अन्य तरीके। आज लोग आरएमएलई और बेयसियन मॉडलिंग को चुनना पसंद करते हैं क्योंकि वे क्रमशः दो लोकप्रिय कंप्यूटर आधारित समाधान: ईएम और एमसीएमसी के अनुरूप हैं।

मेरी राय में निश्चित प्रभाव वाले हिस्से में दोषपूर्ण रैंक की स्थिति में एक पूर्व परिचय करना निश्चित रूप से अधिक उपयुक्त है। या आप इसे एक पूर्ण रैंक में बनाने के लिए अपने मॉडल को फिर से सक्रिय कर सकते हैं।

इसके अलावा, यदि आपका निश्चित प्रभाव पूर्ण श्रेणी का नहीं है, तो आप गलत-निर्दिष्ट सहसंयोजक संरचना के ऊपर चिंता कर सकते हैं क्योंकि निश्चित प्रभावों में स्वतंत्रता की डिग्री त्रुटि वाले हिस्से में जानी चाहिए। इस बिंदु अधिक स्पष्ट रूप से देखने के लिए, आप GLS के लिए MLE (भी एलएसई) (सामान्य से कम पर विचार कर सकते जहां की सहप्रसरण संरचना है त्रुटि शब्द, उस स्थिति के लिए जहां पूर्ण रैंक नहीं है। $\hat{\beta}=(X\Sigma^{-1} X')^{-1}\Sigma^{-1}y$ $\Sigma$ $X(\alpha)$

(3) आगे की टिप्पणी $\blacksquare$

समस्या यह नहीं है कि आप आरएमएलई को कैसे संशोधित करते हैं ताकि यह सुनिश्चित हो सके कि मैट्रिक्स का निश्चित प्रभाव वाला हिस्सा पूर्ण रैंक का नहीं है; समस्या यह है कि उस मामले में आपका मॉडल स्वयं समस्याग्रस्त हो सकता है यदि गैर-पूर्ण श्रेणी के मामले में सकारात्मक संभावना हो।

मेरे सामने एक प्रासंगिक मामला यह है कि स्थानिक मामले में लोग कम्प्यूटेशनल विचार [विकी] के कारण निश्चित प्रभाव वाले हिस्से की रैंक को कम करना चाह सकते हैं।

मैंने ऐसी स्थिति में कोई "वैज्ञानिक रूप से दिलचस्प" मामला नहीं देखा है, तो क्या आप कुछ साहित्य को इंगित कर सकते हैं जहां गैर-रैंक का मामला प्रमुख चिंता का विषय है? मैं आगे जानना चाहता हूं और चर्चा करना चाहता हूं, धन्यवाद।

संदर्भ $\blacksquare$

[राव और मित्र] राव, कैलामपुदी राधाकृष्ण और सुजीत कुमार मित्र। मेट्रिसेस और इसके अनुप्रयोगों के सामान्यीकृत व्युत्क्रम। वॉल्यूम। 7. न्यूयॉर्क: विली, 1971।

[बसु] बसु, देवव्रत। "उपद्रव मापदंडों के उन्मूलन पर।" जर्नल ऑफ़ द अमेरिकन स्टेटिस्टिकल एसोसिएशन 72.358 (1977): 355-366।

[हॉर्न एंड जॉनसन] हॉर्न, रोजर ए।, और चार्ल्स आर। जॉनसन। मैट्रिक्स विश्लेषण। कैम्ब्रिज यूनिवर्सिटी प्रेस, 2012।

[विकी] विकले, क्रिस्टोफर के। "स्थानिक प्रक्रियाओं के लिए निम्न-श्रेणी का प्रतिनिधित्व।" हैंडबुक ऑफ़ स्पैटियल स्टैटिस्टिक्स (2010): 107-118।

— Henry.L
स्रोत

X

$X$

α

$\alpha$

@Student001 Yes, feel free to make any clarification since I also feel it more like a GLM instead of mixed model. I will try to answer again if I can:)

— Henry.L

@Student001 If you can, do write the whole model and I would like to study such case, possibly AR(1) in spatial setting I guess.

— Henry.L

"Given this way of thinking the likelihood, the probability that

X (α)

$X(\alpha)$ is not of full rank is zero." Right answer, wrong problem. The probability that it will be numerically not of full rank in finite precision is non-zero.

— Mark L. Stone

@MarkL.Stone I already provided perturbation as a solution if you read lines carefully, which is a standard solution to numerical singularity. And the OP said he will update the description, so I guess we will reach some consesus on the correctly formulated problem.

— Henry.L