श्रेणीबद्ध डेटा के लिए दंडित तरीके: एक कारक में स्तरों का संयोजन

दंडित मॉडल का उपयोग उन मॉडलों का अनुमान लगाने के लिए किया जा सकता है जहां मापदंडों की संख्या नमूना आकार के बराबर या उससे अधिक है। यह स्थिति श्रेणीबद्ध या गणना डेटा के बड़े विरल तालिकाओं के लॉग-रैखिक मॉडल में उत्पन्न हो सकती है। इन सेटिंग्स में, अक्सर यह भी वांछनीय या सहायक होता है कि किसी कारक के स्तरों को जोड़कर तालिकाओं को ध्वस्त किया जाए जहां वे स्तर अन्य कारकों के साथ बातचीत करने के मामले में अलग-अलग नहीं हैं। दो सवाल:

क्या प्रत्येक कारक के भीतर स्तरों की संक्षिप्तता के लिए परीक्षण करने के लिए LASSO या लोचदार जाल जैसे दंडित मॉडल का उपयोग करने का एक तरीका है?
यदि पहले प्रश्न का उत्तर हां, है, और चाहिए, तो इसे इस तरह से सेट किया जाना चाहिए कि स्तरों का पतन और मॉडल गुणांक का अनुमान एक ही चरण में होता है?

— andrewH
स्रोत

यह पेपर, doi.org/10.1177/1471082X16642560 , पिछले एक दशक में इस क्षेत्र में जो कुछ किया गया है , उसका एक अच्छा अवलोकन देता है।

— जोर्ने बाइसेलर

नोट: मेरे द्वारा चर्चा की गई दंड @JorneBiccler लिंक में 3.4 समीकरण है। (यह देखना दिलचस्प है कि इस सवाल पर पहले विचार किया गया है!)

— user795305

कई मूल्यों के साथ प्रीप्रोसेस श्रेणीबद्ध चर

— kjetil b halvorsen

हम इसे एक प्रश्न से दोहरा कैसे कह सकते हैं जो इससे पहले था?

— माइकल आर। चेरिक

हो सकता है। हम इसे पूरा करने के लिए फ़्यूज़्ड लासो के एक संस्करण का उपयोग कर सकते हैं ।

हम अनुमानक का उपयोग कर सकते हैं

\hat{β} = \arg min_{β} \frac{- 1}{n} \sum_{i = 1}^{n} (y_{i} β^{T} x_{i} - e^{β^{T} x_{i}}) + \sum_{factors g} λ_{g} (\sum_{j \in g} | β_{j} | + \frac{1}{2} \sum_{j, k \in g} | β_{j} - β_{k} |) .

$\hat{\beta} = \arg\min_{\beta} \frac{-1}{n} \sum_{i=1}^n \left(y_i \beta^T x_i - e^{\beta^T x_i} \right) + \sum_{\textrm{factors g}} \lambda_g \left(\sum_{j \in g} |\beta_j| + \frac{1}{2} \sum_{j,k \in g} |\beta_j - \beta_k| \right).$

ध्यान दें कि लॉग-लीनियर के लिए नुकसान फ़ंक्शन है मॉडल। $\frac{-1}{n} \sum_{i=1}^n \left(y_i \beta^T x_i - e^{\beta^T x_i} \right)$

यह एक समूह के भीतर गुणांक को समान होने के लिए प्रोत्साहित करता है। गुणांक की यह समानता कारक के और स्तरों को समेटने के बराबर है । जब , यह संदर्भ स्तर के साथ स्तर को ढहने के बराबर है। ट्यूनिंग पैरामीटर को स्थिर माना जा सकता है, लेकिन अगर यह केवल कुछ कारक हैं, तो उन्हें अलग-अलग मानने के लिए बेहतर हो सकता है। $j^{th}$ $k^{th}$ $\hat{\beta}_j=0$ $j^{th}$ $\lambda_g$

अनुमानक एक उत्तल फ़ंक्शन का एक न्यूनतम है, इसलिए इसे मनमाने ढंग से सॉल्वर के माध्यम से कुशलता से गणना की जा सकती है। यह संभव है कि यदि किसी कारक में कई, कई स्तर हैं, तो ये युग्मक अंतर हाथों से निकल जाएंगे --- इस मामले में, पतन के संभावित पैटर्न के बारे में अधिक संरचना जानना आवश्यक होगा।

ध्यान दें कि यह सब एक चरण में पूरा होता है! यह किस प्रकार के लसो-प्रकार के अनुमानकों को इतना अच्छा बनाता है!

एक और दिलचस्प दृष्टिकोण OSCAR आकलनकर्ता का उपयोग करना है, जो कि दंड के अलावा ऊपर जैसा है को प्रतिस्थापित करके । $\|[-1 \, 1] \cdot [\beta_i \, \beta_j]'\|_1$ $\|[\beta_i \, \beta_j]\|_\infty$

— user795305
स्रोत