फीचर चयन के लिए लैस्सो के अस्थिर होने का क्या कारण है?

Question

कंप्रेस्ड सेंसिंग में, एक प्रमेय गारंटी है कि में एक अद्वितीय विरल समाधान है c (अधिक विवरण के लिए परिशिष्ट देखें)।

$$\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc$$ $c$

क्या लैस्सो के लिए एक समान प्रमेय है? यदि ऐसा कोई प्रमेय है, तो न केवल यह लसो की स्थिरता की गारंटी देगा, बल्कि यह लसो को और अधिक सार्थक व्याख्या प्रदान करेगा:

lasso विरल प्रतिगमन गुणांक वेक्टर $c$ कर सकता है जिसका उपयोग y = Xc द्वारा प्रतिक्रिया y उत्पन्न करने के लिए किया जाता है ।$y$$y = Xc$

इस सवाल के दो कारण हैं:

1. मुझे लगता है कि 'लस्सो एक विरल समाधान का पक्षधर है' फीचर चयन के लिए लसो का उपयोग करने का जवाब नहीं है क्योंकि हम यह भी नहीं बता सकते हैं कि हमारे द्वारा चुनी गई सुविधाओं का क्या लाभ है।

2. मैंने सीखा कि लैस्सो फीचर चयन के लिए अस्थिर होने के लिए कुख्यात है। व्यवहार में, हमें इसकी स्थिरता का मूल्यांकन करने के लिए बूटस्ट्रैप नमूने चलाने होंगे। इस अस्थिरता का सबसे महत्वपूर्ण कारण क्या है?

---

अनुबंध:

दिए गए $X_{N \times M} = (x_1, \cdots, x_M)$ । $c$ एक $\Omega$ -sparse वेक्टर ( $\Omega \leqslant M$ ) है। प्रक्रिया $y = Xc$ प्रतिक्रिया y उत्पन्न करता है $y$। यदि $X$ पास आदेश \ Omega का NSP (रिक्त स्थान संपत्ति) है $\Omega$और X के सहसंयोजक मैट्रिक्स का $X$शून्य के करीब कोई ईजेनवल्यू नहीं है, तो \ text {argmin} \ Vert c \ Vert_1 \\ \ text {विषय के लिए एक अनूठा समाधान होगा } y = Xc

$$\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc$$ जो वास्तव में $c$ है जो y देता है $y$।

यह प्रमेय जो बताता है वह यह भी है यदि ने ऑर्डर का NSP नहीं किया है , तो यह केवल को हल करने के लिए निराशाजनक है ।Ω argmin ग : y = एक्स सी ‖ ग ‖ $X$$\Omega$$\text{argmin}_{c: y = Xc} \Vert c \Vert_1$

---

संपादित करें:

इन महान उत्तरों को प्राप्त करने के बाद, मुझे एहसास हुआ कि जब मैं यह सवाल पूछ रहा था तो मैं उलझन में था।

यह सवाल भ्रामक क्यों है:

मैंने एक शोध पत्र पढ़ा , जिसमें हमें यह तय करना है कि डिज़ाइन मैट्रिक्स में कितनी विशेषताएँ (कॉलम) हैं (प्राथमिक विशेषताओं को प्राथमिक सुविधाओं से बनाया गया है)। चूँकि यह एक विशिष्ट समस्या है, इसलिए का अच्छी तरह से निर्माण होने की उम्मीद है ताकि लसो का घोल असली विरल घोल का एक अच्छा सन्निकटन बन सके। एन < पी $X_{N \times M}$$n < p$$D$

तर्क उस प्रमेय से बनाया गया है जिसका मैंने परिशिष्ट में उल्लेख किया है: यदि हम एक -sparse सॉल्यूशन खोजने का लक्ष्य रखते हैं , तो का ऑर्डर का NSP बेहतर है ।सी एक्स $\Omega$$c$$X$$\Omega$

सामान्य मैट्रिक्स के लिए, यदि का उल्लंघन होता है, तोएन > सी Ω एलएन $N \times M$$N > C \Omega \ln M$

और से की कोई स्थिर और मजबूत वसूली संभव नहीं हैडी $c$$D$$P$

एक्स पी $D$ , मेल खाती है , से मेल खाती है$X$$P$$y$

... जैसा कि संबंध से अपेक्षित है , डिस्क्रिप्टर का चयन अधिक अस्थिर हो जाता है, अर्थात, विभिन्न प्रशिक्षण सेटों के लिए, चयनित डिस्क्रिप्टर अक्सर अलग होता है ...$N = C \Omega \ln M$

दूसरा उद्धरण वह हिस्सा है जो मुझे भ्रमित करता है। यह मुझे तब लगता है जब असमानता का उल्लंघन किया जाता है यह केवल समाधान नहीं है शायद गैर-अद्वितीय (उल्लेखित नहीं), लेकिन विवरणक भी अधिक अस्थिर हो जाएगा।

Comments

बस संदर्भ के लिए, आप अपने क्यू की शुरुआत में जो अनुकूलन समस्या लिखते हैं, उसे "आधार खोज" कहा जाता है। यदि आप समता को लगभग समानता (कुछ L2 त्रुटि तक) द्वारा प्रतिस्थापित करते हैं, तो इसे "आधार खोज निषेध" कहा जाता है। बेसिस पीछा denoising गणितीय रूप से लसो के बराबर है। y ≈ X $y=Xc$$y\approx Xc$

— अमीबा

स्लाइड्स का एक उपयोगी सेट (लेकिन एक आसान नहीं) यहां पाया गया: Pages.iu.edu/~dajmcdon/research/talks/lasso.pdf और कोई मुफ्त लंच प्रमेय users.ece.utexas.nu/~cmcaram/pubs/ XuCaramanisMannor.NFL.pdf

— जेवियर

आप जिस सिद्धांत का हवाला देते हैं, वह विशिष्टता के बारे में है। आपका प्रश्न भ्रामक है क्योंकि विशिष्टता जरूरी नहीं कि स्थिरता से संबंधित हो।

— अमीबा

हाँ मुझे विश्वास ओपी कुछ हद तक उलझन में है और प्रश्न स्पष्ट नहीं है, इसलिए अलग संभव जवाब ... विशिष्टता डेटा बिंदुओं का एक सेट के लिए है, स्थिरता पार सत्यापन, या बूटस्ट्रैप, या नए डेटा बिंदुओं के लिए लागू होता है

— जेवियर Bourret Sicotte

Answer 1

अपडेट करें

मेरे जवाब पर मैकडॉनल्ड्स की प्रतिक्रिया के लिए यह दूसरी पोस्ट देखें जहां जोखिम स्थिरता की धारणा स्थिरता से संबंधित है।

---

1) विशिष्टता बनाम स्थिरता

आपके प्रश्न का उत्तर देना मुश्किल है क्योंकि इसमें दो बहुत अलग विषयों का उल्लेख है: विशिष्टता और स्थिरता ।

• सहज रूप से, एक समाधान अद्वितीय है यदि एक निश्चित डेटा सेट दिया जाता है, एल्गोरिथ्म हमेशा एक ही परिणाम उत्पन्न करता है। मार्टिन के जवाब ने इस बात को काफी विस्तार से बताया।

• दूसरी ओर स्थिरता को सहज रूप से समझा जा सकता है, जिसके लिए प्रशिक्षण डेटा को थोड़ा संशोधित करने पर भविष्यवाणी ज्यादा नहीं बदलती है।

स्थिरता आपके प्रश्न पर लागू होती है क्योंकि क्रॉस वैलिडेशन के माध्यम से लैस्सो फीचर का चयन (अक्सर) किया जाता है, इसलिए डेटा के अलग-अलग सिलवटों पर लैस्सो एल्गोरिदम का प्रदर्शन किया जाता है और हर बार अलग-अलग परिणाम मिल सकते हैं।

स्थिरता और नो फ्री लंच प्रमेय

यदि हम यूनिफ़ॉर्म स्टेबिलिटी को परिभाषित करते हैं तो यहाँ से परिभाषा का उपयोग करें :

एक एल्गोरिथ्म वर्दी स्थिरता है नुकसान समारोह के संबंध में यदि निम्न रखती है:$\beta$$V$

$$\forall S \in Z^m \ \ \forall i \in \{ 1,...,m\}, \ \ \sup | > V(f_s,z) - V(f_{S^{|i},z}) |\ \ \leq \beta$$

एक फ़ंक्शन के रूप में माना जाता है , शब्द को रूप में लिखा जा सकता है । हम कहते हैं कि एल्गोरिथ्म स्थिर है जब रूप में घटता है ।बीटा बीटा मीटर बीटा मीटर $m$$\beta$$\beta_m$$\beta_m$$\frac{1}{m}$

फिर "नो फ्री लंच प्रमेय, जू और कैरामिस (2012)" में कहा गया है कि

यदि एक एल्गोरिथ्म विरल है , इस अर्थ में कि यह निरर्थक विशेषताओं की पहचान करता है, तो वह एल्गोरिथ्म स्थिर नहीं है (और एकसमान स्थिरता बाउंड शून्य पर नहीं जाती है)। [...] यदि एक एल्गोरिथ्म स्थिर है, तो कोई उम्मीद नहीं है कि यह विरल होगा। (पेज 3 और 4)$\beta$

उदाहरण के लिए, नियमित प्रतिगमन स्थिर है और निरर्थक विशेषताओं की पहचान नहीं करता है, जबकि नियमित प्रतिगमन (Lasso) अस्थिर है। एल $L_2$$L_1$

आपके प्रश्न का उत्तर देने का प्रयास

मुझे लगता है कि 'लसो एक विरल समाधान का पक्षधर है' फीचर चयन के लिए लसो का उपयोग करने का जवाब नहीं है

• मैं असहमत हूं, कारण लस्सो का उपयोग सुविधा चयन के लिए किया जाता है, क्योंकि यह एक विरल समाधान पैदा करता है और इसे आईआरएफ संपत्ति, यानी निरर्थक विशेषताओं को दर्शाता है।

सबसे महत्वपूर्ण कारण क्या है जो इस अस्थिरता का कारण बनता है

• नो फ्री लंच प्रमेय

आगे बढ़ते हुए

यह कहना नहीं है कि क्रॉस वैलिडेशन और लास्सो का संयोजन काम नहीं करता है ... वास्तव में यह प्रयोगात्मक रूप से (और बहुत समर्थन सिद्धांत के साथ) विभिन्न परिस्थितियों में बहुत अच्छी तरह से काम करने के लिए दिखाया गया है। यहाँ मुख्य खोजशब्द स्थिरता , जोखिम, असमान असमानता आदि हैं।

मैकडॉनल्ड्स और होमीग्रेसहोन (2013) द्वारा निम्नलिखित स्लाइड्स और पेपर में कुछ शर्तों का वर्णन किया गया है, जिसके तहत लास्सो फीचर चयन अच्छी तरह से काम करता है: स्लाइड और पेपर: "द लास्सो, दृढ़ता, और क्रॉस-वैलिडेशन, मैकडॉनल्ड्स और होमोसेक्सुलेशन (2013)" । तिब्शीरानी ने खुद भी स्पार्सिटी , लीनियर रिग्रेशन पर नोटों का एक बड़ा सेट पोस्ट किया

निरंतरता और लास्सो पर उनके प्रभाव के लिए विभिन्न स्थितियां अनुसंधान का एक सक्रिय विषय है और निश्चित रूप से एक तुच्छ प्रश्न नहीं है। मैं आपको कुछ शोध पत्रों की ओर संकेत कर सकता हूं जो प्रासंगिक हैं:

• जू द्वारा नो फ्री लंच प्रमेय पर वीडियो व्याख्यान
• HM Bøvelstad et all, जीन चयन के लिए फीचर चयन दृष्टिकोण की तुलना, (2007)
• लैस्सो, हठ, और क्रॉस-मान्यता, मैकडॉनल्ड्स और होम्रिजहॉस (2013)
• हुआंग और बाउक, सारांश और चर्चा: "स्थिरता चयन"
• लिम एंड यू, एस्टीमेशन स्टैबिलिटी विथ क्रॉस वैलिडेशन, (2015)
• पीटर Buhlmann द्वारा एक बात: उच्च आयामी डेटा के लिए स्थिरता चयन, (2008) और साथ में कागज
• वांग, नान एट ऑल, रैंडम लासो, (2011)
• स्टैकएक्सचेंज पोस्ट: बड़े , छोटे समस्या से निपटने के दौरान मॉडल की स्थिरता$p$$n$
• रॉबर्ट्स, नोवाकम क्रॉस-वैरिफिकेशन वैरिएबलिटी (2014) के खिलाफ लास्सो को स्थिर करते हुए, जो तर्क देते हैं कि "प्रतिशताइल-लासो, मॉडल-चयन अस्थिरता और मॉडल-चयन त्रुटि दोनों में बड़े कटौती का परिणाम लास्सो की तुलना में हो सकता है"
• तिब्शीरानी और वासरमैन द्वारा विरल , रैखिक प्रतिगमन पर नोटों का एक भयानक सेट

Comments

आपके व्यापक उत्तर के लिए धन्यवाद! आपके द्वारा प्रदान की जाने वाली स्लाइड्स का सेट उत्कृष्ट है!

— meTchaikovsky

मैं अभी भी स्थिरता की इस परिभाषा को संसाधित करने की कोशिश कर रहा हूं। मेरा अनुवाद यह है कि "यदि कोई क्रॉस-वेलिडेशन छोड़ता है तो त्रुटि / हानि-फ़ंक्शन के परिवर्तन को एक एल्गोरिथ्म स्थिर होता है जिसमें ऊपरी बाउंड जो घटते हुए " हो जाता है जब हम इसकी संख्या बढ़ाते हैं सिलवटों / परीक्षण-सेट्स "$\beta$$\frac{1}{m}$ , मुझे आशा है कि मुझे वह सही लगा। मुझे आश्चर्य है कि लसो को अच्छी तरह से काम करने के लिए यह एक वांछनीय संपत्ति क्यों है (या अधिक सटीक रूप से मुझे आश्चर्य है कि क्या यह एक आवश्यक संपत्ति है)।

— सेक्स्टस एम्पिरिकस

हां, मी को छोड़कर डेटा बिंदुओं की संख्या है। एक संभावित बाध्यता के लिए यहां पृष्ठ 7 देखें: math.arizona.edu/~hzhang/math574m/Read/LOOtheory.pdf - मुद्दा यह है कि डेटा सेट आकार बढ़ाने से प्रदान की गई कोई बाध्यता नहीं है, जिसका अर्थ है कि एल्गोरिथ्म कूद सकता है एक विशेष डेटा सेट के आधार पर परिकल्पना कार्यों को दूर करना। यही कारण है कि वैकल्पिक शर्तें प्रस्तावित हैं, जो अंतर्निहित वितरण और सहसंबंध संरचना (मुझे लगता है) से संबंधित हैं - लेकिन उन स्पष्ट करने में मदद की आवश्यकता होगी

— जेवियर बॉरेट सिसिली

एक अन्य महत्वपूर्ण धारणा का है स्थिरता के रूप में यहाँ उदाहरण के लिए समझाया, stat.ethz.ch/~nicolai/stability.pdf - कैसे स्थिरता और निरंतरता से जुड़े हुए हैं यह स्पष्ट नहीं है लेकिन सक्रिय अनुसंधान जैसे का विषय हो रहा है cbcl.mit.edu/publications /ps/mukherjee-AImemoOctNov.pdf

— जेवियर

अच्छा उत्तर! क्या आप भविष्य में मृत हो जाने वाले लिंक के मामले में अधिक विस्तृत विवरण के साथ कुछ लिंक भी अपडेट कर सकते हैं? (मैंने आपके लिए पहले से ही एक किया था।)

— रिचर्ड हार्डी

Answer 2

डैनियल जे। मैकडॉनल्ड्स द्वारा टिप्पणियाँ

इंडियाना विश्वविद्यालय ब्लूमिंगटन में सहायक प्रोफेसर, जेवियर बोरेट सिस्कोट की मूल प्रतिक्रिया में वर्णित दो पत्रों के लेखक ।

आपकी व्याख्या, आम तौर पर, काफी सही है। कुछ बातें जो मैं बताऊंगा:

1. सीवी और लासो के बारे में कागजात की श्रृंखला में हमारा लक्ष्य यह साबित करना था कि "लासो + क्रॉस वैलिडेशन (सीवी)" के साथ-साथ "लासो + इष्टतम " भी है$\lambda$ । विशेष रूप से, हम यह बताना चाहते थे कि भविष्यवाणियाँ भी (मॉडल-मुक्त) हैं। गुणांक के सही पुनर्प्राप्ति (सही गैर-विरल लोगों को खोजने) के बारे में बयान करने के लिए, किसी को एक विरल सत्य मानने की आवश्यकता है, जिसे हम नहीं करना चाहते थे।

2. एल्गोरिथ्म स्थिरता का अर्थ है जोखिम संगति (पहले Bousquet और Elisseeff द्वारा सिद्ध, मेरा मानना ​​है)। जोखिम संगति से मेरा मतलब है किशून्य पर जाता है जहाँ f या तो या किसी वर्ग के भीतर सबसे अच्छा भविष्यवक्ता है यदि वर्ग गलत है। यह केवल एक पर्याप्त स्थिति है। यह आपके द्वारा जुड़ी स्लाइड्स पर अनिवार्य रूप से उल्लेख किया गया है, "एक संभावित सबूत तकनीक जो काम नहीं करेगी, क्योंकि लासो स्थिर नहीं है"।ई [ य | X $||\hat{f}(X) - f(X)||$$E[Y|X]$

3. स्थिरता केवल पर्याप्त है लेकिन आवश्यक नहीं है। हम दिखाने में सक्षम थे, कि कुछ शर्तों के तहत, "लासो + सीवी" के रूप में अच्छी तरह से "लैस्सो + इष्टतम " की भविष्यवाणी की है । आपके द्वारा उद्धृत किया गया पेपर सबसे कमजोर संभव धारणाएं देता है (जो स्लाइड 16 पर हैं, जो ) की अनुमति देता है , लेकिन अधिक सामान्य लैगरैन्जियन संस्करण के बजाय लासो के विवश रूप का उपयोग करता है। एक अन्य पेपर ( http://www3.stat.sinica.edu.tw/statistica/J27N3/J27N34/J27N34.html ) लैग्रेंजियन संस्करण का उपयोग करता है। यह यह भी दर्शाता है कि बहुत मजबूत परिस्थितियों में, मॉडल का चयन भी काम करेगा। इन परिणामों पर सुधार करने के लिए अन्य लोगों द्वारा एक और हालिया पेपर ( https://arxiv.org/abs/1605.02214 ) का दावा है (मैंने इसे ध्यान से नहीं पढ़ा है)।पी > $\lambda$$p>n$

4. सामान्य तौर पर, क्योंकि लासो (या कोई चयन एल्गोरिदम) स्थिर नहीं है, किसी को यह दिखाने के लिए अधिक सावधानीपूर्वक विश्लेषण और / या मजबूत मान्यताओं की आवश्यकता है कि "एल्गोरिथ्म + सीवी" सही मॉडल का चयन करेगा। मुझे आवश्यक शर्तों के बारे में पता नहीं है, हालांकि यह आम तौर पर बेहद दिलचस्प होगा। यह दिखाना बहुत मुश्किल नहीं है कि निश्चित लैम्ब्डा के लिए, लैस्सो प्रेडिक्टर वेक्टर में स्थानीय रूप से लिप्सचित्ज़ है (मेरा मानना ​​है कि रयान टिब्शिरानी के एक या अधिक पेपर ऐसा करते हैं)। यदि कोई यह भी तर्क दे सकता है कि यह में सही है , तो यह बहुत दिलचस्प और प्रासंगिक होगा।X $Y$$X_i$

मुख्य टेकअवे है कि मैं आपकी प्रतिक्रिया को जोड़ना होगा: "स्थिरता" का अर्थ है "जोखिम स्थिरता" या "भविष्यवाणी सटीकता" यह भी "पैरामीटर आकलन स्थिरता" मतलब कर सकते हैं और अधिक मान्यताओं के तहत लेकिन नो फ्री लंच प्रमेय का अर्थ है "चयन"।। "सही स्थिर नहीं है"। लैस्सो स्थिर साथ भी स्थिर नहीं है। यह निश्चित रूप से अस्थिर है जब सीवी (किसी भी प्रकार का) के साथ संयुक्त है। हालांकि, स्थिरता की कमी के बावजूद, यह अभी भी जोखिम-संगत और चयन के साथ या बिना संगत है। सीवी। विशिष्टता यहां सारहीन है।$\rightarrow$

Answer 3

Rass प्रतिगमन के विपरीत लस्सो, (उदाहरण के लिए Hoerl और Kennard, 1970; Hastie et al, 2009 देखें) में हमेशा एक अनूठा समाधान नहीं होता है, हालांकि यह आमतौर पर होता है। यह मॉडल में मापदंडों की संख्या पर निर्भर करता है, चाहे चर निरंतर या असतत हों, और आपके डिज़ाइन मैट्रिक्स की रैंक। तीक्ष्णता (2013) में विशिष्टता के लिए स्थितियां देखी जा सकती हैं।

संदर्भ:

हस्ती, टी।, तिब्शीरानी, ​​आर।, और फ्रीडमैन, जे। (2009)। सांख्यिकीय सीखने के तत्व । आंकड़ों में स्प्रिंगर श्रृंखला। स्प्रिंगर, न्यूयॉर्क, 11 वीं प्रिंटिंग, 2 डी संस्करण।

होर्ल, एई, और केनार्ड, आरडब्ल्यू (1970)। रिज रिग्रेशन: गैर-ऑर्थोगोनल समस्याओं के लिए बायस्ड अनुमान। टेक्नोमेट्रिक्स , 12 (1), 55-67।

तिब्शीरानी, ​​आरजे (2013)। लैस्सो समस्या और विशिष्टता। सांख्यिकी के इलेक्ट्रॉनिक जर्नल , 7, 1456-1490।

Comments

@ धन्यवाद! क्या आप उन संदर्भों का एक संक्षिप्त सारांश जोड़ सकते हैं जो आप प्रदान करते हैं?

— meTchaikovsky

हसीते एट अल। (2009) ऐसी पुस्तक है जिसमें बहुत सारे विषयों को शामिल किया गया है, उनके बीच लास्सो और रिज प्रतिगमन है। यह अच्छी तरह से पढ़ने लायक है और इसे Hastie के होमपेज से डाउनलोड किया जा सकता है: web.stanford.edu/~hastie/ElemStatLearn/download.html Hoerl & Kennard (1970) एक क्लासिक रिज प्रतिगमन संदर्भ है और संभवत: यह सीधे आपके प्रश्न के लिए प्रासंगिक नहीं है, अन्य रिज रिग्रेशन के बारे में पढ़ने की तुलना में। टिबशिरानी (2013) में लसो का एक अनूठा समाधान होने की जानकारी है (और जब इसके पास अनंत मात्रा में समाधान है)।

— फिल

Answer 4

क्या गैर-विशिष्टता का कारण बनता है।

वैक्टर (जहाँ एक संकेत है जो यह दर्शाता है कि का परिवर्तन बढ़ेगा या ), जब भी वे आश्रित होते हैं:रों मैं ग मैं ‖ ग ‖ $s_ix_i$$s_i$$c_i$$\Vert c \Vert_1$

$$\sum \alpha_i s_i x_i = 0 \qquad \text{and} \qquad \sum \alpha_i =0$$

फिर अनंत संख्या के संयोजन हैं जो समाधान और मानक । एक्स सी ‖ ग ‖ $c_i + \gamma\alpha_i$$Xc$$\Vert c\Vert_1$

उदाहरण के लिए:

$$y = \begin{bmatrix} 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 2 & 1 & 0 \\ 1 & 1 & 1 \end{bmatrix} \cdot \begin{bmatrix} c_1 \\ c_2 \\ c_3 \end{bmatrix}= Xc$$

समाधान के लिए है:$\Vert c \Vert_1 = 1$

$$\begin{bmatrix} c_1 \\ c_2 \\ c_3 \end{bmatrix}= \begin{bmatrix} 0 \\ 1 \\ 0 \end{bmatrix} + \gamma \begin{bmatrix} 1 \\ -2 \\ 1 \end{bmatrix}$$

साथ$0\leq \gamma \leq \frac{1}{2}$

हम का उपयोग करके वेक्टर को बदलने का काम कर सकते हैं$x_2$$x_2 = 0.5 x_1 + 0.5 x_3$

---

इस स्थिति के बिना स्थिति

टिब्शीरानी (फिल के जवाब से) के लेख में, तीन अलग-अलग स्थितियों में लसो के लिए एक अद्वितीय समाधान का वर्णन किया गया है।

1. रैखिक रूप से स्वतंत्र जब शून्य स्थान शून्य या समकक्ष होता है जब की रैंक कॉलम (M) की संख्या के बराबर होती है। उस स्थिति में आपके पास ऊपर की तरह रैखिक संयोजन नहीं हैं।$X$$X$

2. जब स्तंभ सामान्य स्थिति में होते हैं, तो स्वतंत्र रूप से स्वतंत्र ।$Xs$

   यही है, कोई कॉलम आयामी विमान में बिंदुओं का प्रतिनिधित्व नहीं करता है। एक k-2 आयामी विमान को किसी भी अंक द्वारा साथ किया जा सकता है । एक साथ वें बिंदु यह एक ही विमान में आप की स्थिति के लिए होता है साथ$k$$k-2$$k-1$$\sum \alpha_i s_ix_i$$\sum \alpha_i = 1$$k$$s_jx_j$$\sum \alpha_i s_ix_i$$\sum \alpha_i = 0$

   ध्यान दें कि उदाहरण में कॉलम , और एक ही पंक्ति में हैं। (हालांकि यह थोड़ा अजीब है, क्योंकि संकेत नकारात्मक हो सकते हैं, उदाहरण के लिए मैट्रिक्स बस साथ ही कोई अनूठा समाधान नहीं)$x_1$$x_2$$x_3$$\left[ [2 \, 1] \, [1 \, 1] \, [-0 \, -1] \right]$

3. जब स्तंभ निरंतर वितरण से होता है तो यह संभावना (लगभग शून्य) संभावना है कि आपके पास कॉलम सामान्य स्थिति में नहीं होंगे।$X$$X$

   इसके विपरीत, यदि स्तंभ एक श्रेणीगत चर है, तो यह संभावना लगभग शून्य नहीं है। एक निरंतर चर के लिए कुछ संख्याओं के सेट के बराबर होने की संभावना (यानी अन्य वैक्टरों के affine अवधि के अनुरूप विमान) 'लगभग' शून्य है। लेकिन, असतत चर के लिए यह मामला नहीं है।$X$

Comments

+1 लेकिन मुझे लगता है कि हाल की चर्चाओं में अस्थिर होने से क्या मतलब है कि सहसंबद्ध सुविधाओं की उपस्थिति में क्रॉस सत्यापन के माध्यम से फ़ीचर चयन से संबंधित है

— जेवियर बोरेट सिस्कोट

@XavierBourretSicotte का मतलब यह है कि जब कोई अनूठा समाधान होता है तब भी चयन प्रक्रिया अस्थिर हो सकती है क्योंकि सहसंबद्ध विशेषताओं के कारण (अद्वितीय) परेशानियों को जोड़कर उस अद्वितीय समाधान को खोजा जा सकता है? यह थोड़ा भ्रमित करने वाला है क्योंकि सवाल एक तरफ स्थिरता के बारे में पूछता है और दूसरी तरफ विशिष्टता के बारे में पूछता है।

— सेक्सटस एम्पिरिकस

हां, मेरा मतलब है कि जरूरी नहीं कि संख्यात्मक अस्थिरता के कारण, बल्कि डेटा के सिलवटों (सीवी के दौरान) में निहित अंतरों के कारण, जो सिलवटों में विभिन्न मूल्यों के लिए अलग-अलग समाधानों की ओर ले जाते हैं । बूटस्ट्रैपिंग के दौरान और भी बुरा हो सकता है$\lambda$

— जेवियर बोरेट सिस्कोट

@XavierBourretSicotte मेरे पास वर्तमान में कोई स्पष्ट सहज चित्र नहीं है कि यह (विभिन्न और प्रशिक्षण सेटों के लिए अलग-अलग समाधान ) अस्थिर क्यों माना जाता है। मुझे लगता है कि आप इसे उत्तर के रूप में पोस्ट कर सकते हैं और इसे समझा सकते हैं। $\lambda$

— सेक्सस एम्पिरिकस

@Martijn वेटरिंग्स धन्यवाद! मेरे पास अभी भी तीन प्रश्न हैं: 1. मैं संपन्न निर्भरता का पता कैसे लगाऊं? क्या मुझे यह पता लगाना चाहिए कि क्या स्वतंत्र हैं ( math.stackexchange.com/q/82189 )? 2. मुझे अभ्यास में कैसे निर्धारित करना चाहिए ? 3. की 'सामान्य स्थिति' का क्या अर्थ है ? है मैं$\{v_1 - v_0, v_2 - v_0, \cdots, v_k - v_0\}$$s_i$$X$

— meTchaikovsky