क्या लॉजिस्टिक रिग्रेशन एक गैर पैरामीट्रिक परीक्षण है?

Question

मुझे हाल ही में ईमेल के माध्यम से निम्नलिखित प्रश्न मिला है। मैं नीचे एक उत्तर पोस्ट करूंगा, लेकिन मुझे यह सुनने में दिलचस्पी थी कि दूसरों ने क्या सोचा है।

क्या आप लॉजिस्टिक रिग्रेशन को गैर पैरामीट्रिक परीक्षण कहेंगे? मेरी समझ यह है कि केवल एक परीक्षण को गैर-पैरामीट्रिक लेबल करना क्योंकि इसका डेटा सामान्य रूप से वितरित नहीं किया गया है, अपर्याप्त है। इसकी अधिक मान्यताओं की कमी के साथ करना है। लॉजिस्टिक रिग्रेशन की धारणाएं हैं।

Comments

(+1) रिकॉर्ड के लिए - और प्रश्न में मुखरता के प्रतिरूप के रूप में - मुझे कोई भी विश्वसनीय संदर्भ नहीं पता है जो गैर-पैरामीट्रिक विधियों को "अभाव की धारणाओं" के रूप में परिभाषित करता है। सभी सांख्यिकीय प्रक्रियाएँ धारणाएँ बनाती हैं। अधिकांश गैर-पैरामीट्रिक प्रक्रियाएं वास्तव में अंतर्निहित संभाव्यता वितरण के बारे में प्रतिबंधात्मक मात्रात्मक धारणाएं बनाती हैं, लेकिन उन मान्यताओं को मामलों के संभावित राज्यों तक सीमित नहीं किया जाता है जिनमें एक परिमित आयामी वास्तविक संरचना की संरचना होती है।

— whuber

यदि हम लीनियर लॉजिस्टिक रिग्रेशन के बारे में बात कर रहे हैं (जो आपके द्वारा लिखे गए उत्तर के आधार पर निहित है), तो निश्चित रूप से यह एक पैरामीट्रिक मॉडल है, लेकिन यह ध्यान देने योग्य है कि यदि आप गैर-पैरामीट्रिक चिकनी फ़ंक्शन का उपयोग करके कोवरिएट प्रभाव को फिट करते हैं, तो उदाहरण के लिए फिर वहाँ के एक समारोह के रूप में अनुमानित संभावना पर कोई पैरामीट्रिक की कमी कर रहे हैंएक्स। यह केवल लॉजिस्टिक लिंक के बारे में सच नहीं है; किसी भी उल्टे लिंक फ़ंक्शन के लिए एक ही तर्क लागू होता है। $$\log \left( \frac{ P(Y_i = 1 | X_i = x) }{P(Y_i = 0 | X_i = x) } \right) = f(x)$$ $x$

— मैक्रो

मैं यहां एक संबंधित प्रश्न पूछता हूं । मैं इस अर्थ को प्राप्त करना शुरू कर रहा हूं कि जीएलएम (जैसे एक लॉजिस्टिक मॉडल) के कुछ मामले एक गैर-पैरामीट्रिक परीक्षण प्रदान करते हैं। मैं Wasserman की पुस्तक में देखूंगा, हालांकि (जब तक कि मैं गलत नहीं कर रहा हूं) कुछ सिद्धांतों और उनके काम के निष्कर्षों के बारे में कुछ असहमति है।

— AdamO

Answer 1

लैरी वासरमैन ने एक पैरामीट्रिक मॉडल को वितरण के एक सेट के रूप में परिभाषित किया है "जो कि मापदंडों की एक सीमित संख्या द्वारा पैरामीटर किया जा सकता है।" (p.87) इसके विपरीत एक गैर-पैरामीट्रिक मॉडल उन वितरणों का एक समूह है, जो परिमाणों की एक सीमित संख्या से अधिक नहीं हो सकते हैं।

इस प्रकार, उस परिभाषा के अनुसार मानक लॉजिस्टिक प्रतिगमन एक पैरामीट्रिक मॉडल है।लॉजिस्टिक रिग्रेशन मॉडल पैरामीट्रिक है क्योंकि इसमें मापदंडों का सीमित सेट होता है। विशेष रूप से, पैरामीटर प्रतिगमन गुणांक हैं। ये आमतौर पर प्रत्येक पूर्वसूचक के लिए एक से मेल खाते हैं और एक स्थिर। लॉजिस्टिक रिग्रेशन सामान्यीकृत रैखिक मॉडल का एक विशेष रूप है। विशेष रूप से इसमें द्विपदीय रूप से वितरित डेटा को मॉडल करने के लिए लॉगिट लिंक फ़ंक्शन का उपयोग करना शामिल है।

दिलचस्प बात यह है कि, एक गैरपार्मी लॉजिस्टिक रिग्रेशन (जैसे, हस्ती, 1983) करना संभव है। इसमें भविष्यवाणियों के प्रभाव को मॉडल करने के लिए गैर-पैरामीट्रिक चौरसाई के कुछ प्रकारों का उपयोग करना शामिल हो सकता है।

संदर्भ

• वासरमैन, एल। (2004)। सांख्यिकी के सभी: सांख्यिकीय निष्कर्ष में एक संक्षिप्त पाठ्यक्रम। स्प्रिंगर वर्लग।
• हस्ती, टी। (1983)। गैर पैरामीट्रिक लॉजिस्टिक रिग्रेशन। SLAC PUB-3160, जून। पीडीएफ

Comments

एक मॉडल वितरण का एक सेट है? वहां कुछ जरूरी सामान गायब है।

— rolando2

क्या एक प्रश्न पूछना और उसका स्वयं उत्तर देना सामान्य है?

@ अगर यह प्रोत्साहित किया जाता है। blog.stackoverflow.com/2011/07/…

— जेरोमी एंग्लीम

ठीक है माफ करना, मुझे नहीं पता था

कोई चिंता नहीं। मेरे लिए साइट का मुख्य बिंदु संसाधनों का निर्माण करना है जो कि भविष्य में उत्तर की तलाश में दूसरों को खोजते हैं। अपने स्वयं के उत्तरों को योगदान देने से उस सब में मदद मिलती है।

— जेरोमे एंग्लीम

Answer 2

मैं कहूंगा कि लॉजिस्टिक रिग्रेशन एक परीक्षण नहीं है; हालाँकि एक लॉजिस्टिक रिग्रेशन से कोई परीक्षण या कई परीक्षण नहीं हो सकते हैं।

आप काफी हद तक सही हैं कि कुछ नॉनपामेट्रिक को लेबल करना क्योंकि यह सामान्य नहीं है। मैं घातीय परिवार को स्पष्ट रूप से पैरामीट्रिक कहूंगा, इसलिए मैं आमतौर पर लॉजिस्टिक के रूप में लॉजिस्टिक रिग्रेशन (और पॉइसन रिग्रेशन और गामा रिग्रेशन और ...) का संबंध रखता हूं, हालांकि ऐसी परिस्थितियां हो सकती हैं जिनमें मैं एक तर्क को स्वीकार कर सकता हूं जो विशेष रूप से लॉजिस्टिक रिग्रेशन हो सकता है नॉनपैरेमेट्रिक माना जाता है (या कम से कम एक अस्पष्ट हाथ की लहराती भावना में, केवल अर्ध- "पैरामीट्रिक")।

दो इंद्रियों पर किसी भी भ्रम से सावधान रहें जिसमें एक प्रतिगमन को गैर-समरूप कहा जा सकता है।

$x$$y$$x$

$y$$x$

दोनों इंद्रियों का उपयोग किया जाता है, लेकिन जब यह प्रतिगमन की बात आती है, तो दूसरी तरह का वास्तव में अधिक बार उपयोग किया जाता है।

यह दोनों इंद्रियों में गैर-समरूप होना भी संभव है, लेकिन कठिन (पर्याप्त डेटा के साथ, मैं, उदाहरण के लिए, स्थानीय रूप से भारित रैखिक प्रतिगमन एक फिट बैठ सकता हूं)।

जीएलएम के मामले में, गैर-समसामयिक कई प्रतिगमन के दूसरे रूप में GAMs शामिल हैं; वह दूसरा रूप वह अर्थ है जिसमें हस्ती आम तौर पर काम कर रही है (और जिसके तहत वह उस बोली में काम कर रही है)।

Answer 3

एक सहायक अंतर जो ऊपर दिए गए उत्तरों में थोड़ा जोड़ सकता है: एंड्रयू एन मशीन सीखने पर स्टैनफोर्ड के सीएस -229 पाठ्यक्रम के लिए सामग्री सामग्री से लेक्चर 1 में एक गैर-पैरामीट्रिक मॉडल होने का मतलब के लिए एक अनुमान देता है ।

वहाँ एनजी कहते हैं (पीपी। 14-15):

स्थानीय रूप से भारित रैखिक प्रतिगमन पहला उदाहरण है जिसे हम गैर-पैरामीट्रिक एल्गोरिथ्म में देख रहे हैं। (अनवीटेड) लीनियर रिग्रेशन अल्गोरिद्म जिसे हमने पहले देखा था उसे पैरामीट्रिक लर्निंग अल्गोरिथम के रूप में जाना जाता है, क्योंकि इसमें एक निश्चित, परिमित संख्या में पैरामीटर ( $\theta_{i}$'), जो डेटा के लिए फिट हैं। एक बार हम फिट होंगे$\theta_{i}$भविष्य में भविष्यवाणियां करने के लिए हमें प्रशिक्षण डेटा को इधर-उधर रखने की आवश्यकता नहीं है। इसके विपरीत, स्थानीय रूप से भारित रैखिक प्रतिगमन का उपयोग करके भविष्यवाणियां करने के लिए, हमें पूरे प्रशिक्षण सेट को आसपास रखने की आवश्यकता है। शब्द "गैर पैरामीट्रिक" (मोटे तौर पर) इस तथ्य को संदर्भित करता है कि परिकल्पना का प्रतिनिधित्व करने के लिए हमें कितना सामान रखना होगा$h$ प्रशिक्षण सेट के आकार के साथ रैखिक बढ़ता है।

मुझे लगता है कि यह इसके बारे में सोचने का एक उपयोगी विपरीत तरीका है क्योंकि यह सीधे जटिलता की धारणा को संक्रमित करता है। गैर-पैरामीट्रिक मॉडल स्वाभाविक रूप से कम जटिल नहीं हैं, क्योंकि उन्हें प्रशिक्षण डेटा के आसपास अधिक रखने की आवश्यकता हो सकती है। इसका सीधा सा मतलब है कि आप प्रशिक्षण डेटा के उपयोग को कम करके इसे कम परिमाण में गणना करके कम नहीं कर सकते हैं। दक्षता या निष्पक्षता या अन्य गुणों के एक मेजबान के लिए, आप पैरामीटर बनाना चाह सकते हैं। लेकिन अगर आप पैरामीटरेटाइजिंग को कम कर सकते हैं और बहुत सारा डेटा अपने पास रख सकते हैं तो प्रदर्शन लाभ हो सकता है।

Answer 4

मुझे लगता है कि लॉजिस्टिक रिग्रेशन एक पैरामीट्रिक तकनीक है।

यह उपयोगी हो सकता है, वोल्फोवित्ज़ (1942) से [एडिटिव पार्टीशन फंक्शन्स और एक क्लास ऑफ़ स्टैटिस्टिकल हाइपोथेसिस द एनल्स ऑफ मैथमेटिकल स्टैटिस्टिक्स, 1942, 13, 247-279]:

"वितरण कार्य [नोट: बहुवचन !!!] विभिन्न स्टोकेस्टिक चर जो अपनी समस्याओं में प्रवेश करते हैं, उन्हें ज्ञात कार्यात्मक रूप में माना जाता है, और अनुमानों और परीक्षण परिकल्पनाओं के सिद्धांत के बारे में अनुमानों और परीक्षण की परिकल्पना के सिद्धांत हैं , एक या अधिक मापदंडों, संख्या में परिमित, जिनमें से ज्ञान पूरी तरह से शामिल विभिन्न वितरण कार्यों को निर्धारित करेगा। हम इस स्थिति को संदर्भीय मामले के रूप में संक्षिप्तता के लिए संदर्भित करेंगे, और विपरीत स्थिति को निरूपित करेंगे, जहां वितरण के कार्यात्मक रूप अज्ञात हैं ', गैर-पैरामीट्रिक मामले के रूप में।

इसके अलावा, इस पर बहुत चर्चा होने के बाद, मैंने नॉथर (1984) [नॉनपामेट्रिक्स: द अर्ली इयर्स-इम्प्रेशन्स एंड रिकॉलिजन्स द अमेरिकन स्टेटिस्टिशियन, 1984, 38, 173-178] द्वारा यह मनोरंजक पाया।

"अप्रकाशक शब्द का सैद्धांतिक सांख्यिकीविदों के लिए कुछ ऐतिहासिक महत्व और अर्थ हो सकता है, लेकिन यह केवल लागू सांख्यिकीविदों को भ्रमित करने का काम करता है।"

Answer 5

हस्ति और टिब्शिरानी परिभाषित करते हैं कि रैखिक प्रतिगमन एक पैरामीट्रिक दृष्टिकोण है क्योंकि यह एफ (एक्स) के रैखिक कार्यात्मक रूप को मानता है। गैर-पैरामीट्रिक तरीके स्पष्ट रूप से एफ (एक्स) के लिए फॉर्म नहीं मानते हैं। इसका मतलब यह है कि एक गैर-पैरामीट्रिक विधि मॉडल से गणना की गई एफ के अनुमान के आधार पर मॉडल फिट होगी। लॉजिस्टिक रिग्रेशन उस p (x) = Pr (Y = 1 | X = x) को स्थापित करता है, जहां संभावना की गणना लॉजिस्टिक फ़ंक्शन द्वारा की जाती है, लेकिन लॉजिस्टिक सीमा, जो ऐसी कक्षाओं को अलग करती है, ग्रहण नहीं की जाती है, जो पुष्टि करती है कि LR गैर-पैरामीट्रिक है