"कम से कम वर्ग" और "रैखिक प्रतिगमन", क्या वे समानार्थी हैं?

Question

कम से कम वर्गों और रैखिक प्रतिगमन में क्या अंतर है? क्या यह एक ही बात है?

Comments

मैं कहूंगा कि रैखिक प्रतिगमन की व्यापक श्रेणी के भीतर साधारण न्यूनतम वर्ग एक अनुमान विधि है । यह संभव है कि कुछ लेखक "कम से कम वर्ग" और "रैखिक प्रतिगमन" का उपयोग कर रहे हैं जैसे कि वे विनिमेय थे।

— मैथ्यू गन

यदि आप साधारण न्यूनतम वर्ग कर रहे हैं , तो मैं उस शब्द का उपयोग करूंगा। यह कम अस्पष्ट है।

— मैथ्यू गन

यह भी देखें कि एक प्रतिगमन मॉडल क्या है ।

— रिचर्ड हार्डी

Answer 1

रैखिक प्रतिगमन स्वतंत्र और आश्रित चर के बीच एक रैखिक संबंध मानता है। यह आपको नहीं बताता कि मॉडल कैसे फिट किया जाता है। कम से कम चौकोर फिटिंग तो संभावनाओं में से एक है। एक लीनियर मॉडल के प्रशिक्षण के लिए अन्य तरीके टिप्पणी में हैं।

गैर-रैखिक कम वर्ग आम है ( https://en.wikipedia.org/wiki/Non-linear_least_sareares )। उदाहरण के लिए, लोकप्रिय Levenberg-Marquardt एल्गोरिथ्म कुछ इस तरह हल करता है:

$$\hat\beta=\mathop{\textrm{argmin}}_\beta S(\beta)\equiv \mathop{\textrm{argmin}}_\beta\sum_{i=1}^{m}\left[ y_i-f(x_i,\beta) \right]^2$$

यह एक न्यूनतम वर्ग अनुकूलन है, लेकिन मॉडल रैखिक नहीं है।

वे एक ही चीज नहीं हैं ।

Answer 2

@ स्टूडेंट टी के सही उत्तर के अलावा, मैं इस बात पर जोर देना चाहता हूं कि अनुकूलन समस्या के लिए कम से कम वर्ग एक संभावित नुकसान कार्य है, जबकि रैखिक प्रतिगमन एक अनुकूलन समस्या है।

एक निश्चित डेटासेट को देखते हुए, रैखिक प्रतिगमन का उपयोग सबसे अच्छा संभव रैखिक फ़ंक्शन को खोजने के लिए किया जाता है, जो चर के बीच संबंध को समझा रहा है।

इस मामले में "सर्वश्रेष्ठ" संभव नुकसान फ़ंक्शन द्वारा निर्धारित किया जाता है, जो डेटासेट में वास्तविक मानों के साथ एक रैखिक फ़ंक्शन के अनुमानित मूल्यों की तुलना करता है। कम से कम एक संभावित नुकसान फ़ंक्शन है।

कम से कम वर्गों का विकिपीडिया लेख दाईं ओर के चित्रों को भी दिखाता है, जो रैखिक रजिस्टरों की तुलना में अन्य समस्याओं के लिए कम से कम वर्गों का उपयोग करते हैं जैसे:

• शांकव फिटिंग
• फिटिंग द्विघात समारोह

विकिपीडिया लेख के निम्नलिखित जीआईएफ में कई अलग-अलग बहुपदीय कार्यों को दिखाया गया है जो कम से कम चौकों का उपयोग करके एक डेटासेट में लगाया गया है। उनमें से केवल एक रैखिक (1 का बहुपद) है। यह जर्मन विकिपीडिया लेख से विषय पर लिया गया है।

Comments

हम तर्क दे सकते हैं कि गैर-रैखिक उदाहरण एनीमेशन में वास्तव में अभी भी मापदंडों में रैखिक हैं।

— फायरबग

सच है, अभी तक लक्ष्य और इनपुट चर के बीच मॉडल संबंध गैर रेखीय है। क्या आप अभी तक फिटिंग को "रैखिक प्रतिगमन" कहेंगे? मैं नहीं।

— निकोलस रिबल

हमें "रैखिक कम से कम वर्गों" और "रैखिक प्रतिगमन" के बीच अंतर करना चाहिए, क्योंकि दो में विशेषण "रैखिक" अलग-अलग चीजों का उल्लेख कर रहे हैं। पूर्व एक फिट को संदर्भित करता है जो मापदंडों में रैखिक है, और उत्तरार्द्ध एक मॉडल के लिए फिटिंग को संदर्भित करता है जो स्वतंत्र चर (ओं) का एक रैखिक कार्य है।

— JM एक सांख्यिकीविद्

@ जेएम कई स्रोत बताते हैं कि "रैखिक" "रैखिक" प्रतिगमन में "रेखीय" का मतलब है "मापदंडों में रैखिक" बल्कि "IVs में रैखिक"। रैखिक प्रतिगमन पर WIkipedia लेख एक उदाहरण है। यहाँ एक और और एक और । कई सांख्यिकी ग्रंथ भी ऐसा ही करते हैं; मेरा तर्क है कि यह एक सम्मेलन है।

— Glen_b -Reinstate मोनिका

@ गेल, मेरे द्वारा पढ़े गए सामान की तुलना में बाद में विकास (मैं इस पर एक पुराना हाथ हूं); उन्होंने मॉडल फिटिंग के लिए "रैखिक प्रतिगमन" को सीमित किया । $y=mx+b$

— JM