ओएलएस की तुलना में क्वांटाइल रिग्रेशन कब बदतर है?

22

कुछ अनोखी परिस्थितियों के अलावा जहाँ हमें सशर्त मतलबी संबंधों को समझना चाहिए, वे कौन से परिस्थितियाँ हैं जहाँ एक शोधकर्ता को क्वांटम रिग्रेशन पर ओएलएस चुनना चाहिए?

मैं नहीं चाहता कि उत्तर "यदि पूंछ संबंधों को समझने में कोई फायदा नहीं है", जैसा कि हम ओएलएस विकल्प के रूप में मध्ययुगीन प्रतिगमन का उपयोग कर सकते हैं।

— फ्रैंक हैरेल
स्रोत

4

मुझे लगता है कि अधिकांश शोधकर्ता ओएलएस और मात्रात्मक प्रतिगमन दोनों का मनोरंजन करेंगे; तरीकों के बीच अंतर आप क्या मॉडल की कोशिश कर रहे हैं पर प्रकाश होगा। ओएलएस के संबंध में, यदि आप सामान्य मान्यताओं में टॉस करते हैं, तो आपको काफी अच्छी तरह से प्रलेखित और पूरी तरह से परीक्षण पद्धति मिलती है जो कि अधिकांश सांख्यिकीय पैकेजों में उपलब्ध है।

— जोनाथन लिसिक

18

यदि आप माध्य में रुचि रखते हैं, तो ओएलएस का उपयोग करें, यदि माध्यिका में, मात्रात्मक का उपयोग करें।

एक बड़ा अंतर यह है कि माध्य बाह्य और अन्य चरम डेटा से अधिक प्रभावित होता है। कभी-कभी, आप यही चाहते हैं। एक उदाहरण है यदि आपके आश्रित चर एक पड़ोस में सामाजिक पूंजी है। बहुत सारे सामाजिक पूंजी वाले एकल व्यक्ति की उपस्थिति पूरे पड़ोस के लिए बहुत महत्वपूर्ण हो सकती है।

— बहाल करें
स्रोत

6

मुझे आपके पहले वाक्य को चुनौती दें। दोनों OLS और quantile प्रतिगमन (QR) का आकलन कर रहे हैं

एक डेटा पैदा करने की प्रक्रिया के लिए

। त्रुटि वितरण भारी पूंछ

तो

तुलना में अधिक कुशल है

। की परवाह किए बिना जो सशर्त वितरण के क्षण

हम में रुचि रखते हैं, हम में से एक का उपयोग करना चाहिए

और

β

$\beta$

y = X β + ε

$y=X\beta+\varepsilon$

{\hat{β}}^{Q R}

$\hat\beta^{QR}$

{\hat{β}}^{O L S}

$\hat\beta^{OLS}$

P (y | X)

$P(y|X)$

{\hat{β}}^{O L S}

$\hat\beta^{OLS}$

{\hat{β}}^{Q R}

$\hat\beta^{QR}$ यह अधिक कुशल है।

— रिचर्ड हार्डी

इस प्रतिक्रिया के आलोचक @RichardHardy पर ध्यान देने के बाद केवल अनुमान लगाने योग्य मात्राओं में से एक है। यह Hyndman कागज एक दृष्टिकोण वह कहता परिचय additive quantile प्रतिगमन बढ़ाने , जो quantiles की एक पूरी श्रृंखला की पड़ताल विद्युत स्मार्ट मीटर डाटा में पूर्वानुमान अनिश्चितता Additive quantile प्रतिगमन बढ़ाने से ( ieeexplore.ieee.org/document/7423794 )।

— माइक हंटर

15

प्रश्न के आधार में भ्रम की स्थिति प्रतीत होती है। दूसरे पैराग्राफ में कहा गया है, "हम ओएलएस विकल्प के रूप में माध्यिका प्रतिगमन का उपयोग कर सकते हैं"। ध्यान दें कि एक्स पर सशर्त मंझला regressing है quantile प्रतिगमन (का एक रूप)।

यदि अंतर्निहित डेटा जनरेटिंग प्रक्रिया में त्रुटि सामान्य रूप से वितरित की जाती है (जो कि अवशिष्ट सामान्य होने की जाँच करके मूल्यांकन किया जा सकता है), तो सशर्त माध्य सशर्त माध्यिका के बराबर होता है। इसके अलावा, किसी भी मात्रात्मक को आप में रुचि हो सकती है (जैसे, 95 वाँ प्रतिशत, या 37 वाँ प्रतिशत), मानक ओएलएस विधियों के साथ एक्स आयाम में दिए गए बिंदु के लिए निर्धारित किया जा सकता है। मात्रात्मक प्रतिगमन की मुख्य अपील यह है कि यह ओएलएस से अधिक मजबूत है। नकारात्मक पक्ष यह है कि यदि सभी मान्यताओं को पूरा किया जाता है, तो यह कम कुशल होगा (यानी, समान शक्ति प्राप्त करने के लिए आपको बड़े नमूना आकार की आवश्यकता होगी / आपके अनुमान कम सटीक होंगे)।

— गुंग - को पुनः स्थापित मोनिका
स्रोत

12

$\beta$

y = एक्स β + ε

$y = X\beta + \varepsilon$

$\hat\beta_{QR}$ $\hat\beta_{OLS}$ $\hat\beta_{OLS}$ $P_Y(y|X)$ $\hat\beta_{OLS}$ $\hat\beta_{QR}$

$\hat\beta_{OLS}$ $\hat\beta_{QR}$ $\hat\beta_{OLS}$ $\hat\beta_{QR}$

संदर्भ:

कोएन्कर, रोजर और गिल्बर्ट बैसेट जूनियर "प्रतिगमन मात्राएँ।" इकोनोमेट्रिक: द जर्नल ऑफ़ द इकोनोमेट्रिक सोसाइटी (1978): 33-50।

— रिचर्ड हार्डी
स्रोत

3

पीटर फ्लोम का एक शानदार और संक्षिप्त जवाब था, मैं इसे विस्तार देना चाहता हूं। प्रश्न का सबसे महत्वपूर्ण हिस्सा यह है कि "बदतर" को कैसे परिभाषित किया जाए।

बदतर को परिभाषित करने के लिए, हमारे पास कुछ मैट्रिक्स होने चाहिए, और यह गणना करने के लिए फ़ंक्शन कि फिटिंग को कितना अच्छा या बुरा कहा जाता है।

हम नुकसान फ़ंक्शन की अलग-अलग परिभाषा कर सकते हैं, और प्रत्येक परिभाषा पर कोई सही या गलत नहीं है, लेकिन अलग-अलग परिभाषा अलग-अलग आवश्यकताओं को पूरा करती है। दो अच्छी तरह से ज्ञात नुकसान कार्यों चुकता हानि और पूर्ण मूल्य हानि हैं।

{एल}_{रों क्ष} (y, \hat{y}) = \underset{मैं}{Σ} (y_{मैं} - {\hat{y}}_{मैं})^{2}

$L_{sq}(y,\hat y)=\sum_i (y_i-\hat y_i)^2$

{एल}_{ए ख रों} (y, \hat{y}) = \underset{मैं}{Σ} | y_{मैं} - {\hat{y}}_{मैं} |

$L_{abs}(y,\hat y)=\sum_i |y_i-\hat y_i|$

यदि हम सफलता की माप के रूप में चुकता नुकसान का उपयोग करते हैं, तो मात्रात्मक प्रतिगमन ओएलएस से भी बदतर होगा। दूसरी ओर, यदि हम निरपेक्ष मूल्य हानि का उपयोग करते हैं, तो मात्रात्मक प्रतिगमन बेहतर होगा।

पीटर फोल्म का जवाब क्या है:

यदि आप माध्य में रुचि रखते हैं, तो ओएलएस का उपयोग करें, यदि माध्यिका में, मात्रात्मक का उपयोग करें।

— हतौ दू
स्रोत

मुझे लगता है कि आपका उदाहरण भ्रामक हो सकता है क्योंकि यह इन-सैंपल फिट (जो कि पहले से ही हमारे नमूने को पूरी तरह से जानता है) से कम रुचि रखता है, बजाय नए अवलोकनों (जब लक्ष्य भविष्यवाणी है) या पैरामीटर वेक्टर के आकलन के नुकसान के लिए अपेक्षित नुकसान के बजाय ( जब लक्ष्य स्पष्टीकरण हो)। पीटर फ़्लॉम के उत्तर और अधिक जानकारी के लिए मेरे उत्तर के तहत टिप्पणी देख सकते हैं।

— रिचर्ड हार्डी

3

$Y$ $\frac{2}{\pi}$

यदि आप माध्य का अनुमान लगाना चाहते हैं, तो आप उसे मात्रात्मक प्रतिगमन से प्राप्त नहीं कर सकते।

यदि आप न्यूनतम अनुमानों (और मात्रात्मक प्रतिगमन की तुलना में अधिक मान्यताओं) के साथ माध्य और मात्राओं का अनुमान लगाना चाहते हैं, लेकिन अधिक दक्षता है, तो सेमीपरामेट्रिक ऑर्डिनल प्रतिगमन का उपयोग करें। इससे आपको अधिक संभावनाएं भी मिलती हैं। एक विस्तृत केस स्टडी मेरे आरएमएस कोर्स नोट्स में है जहां यह एक डेटासेट पर दिखाया गया है कि औसत का मतलब है कि कई मापदंडों (मात्राओं और माध्य) पर पूर्ण अनुमान त्रुटि प्राप्त होती है। लेकिन केवल माध्य का अनुमान लगाने के लिए, ओएलएस सबसे अच्छा है और केवल मात्राओं का आकलन करने के लिए, मात्रात्मक प्रतिगमन सर्वोत्तम था।

$Y$

— फ्रैंक हैरेल
स्रोत