यदि p> n, तो lasso अधिकांश n चरों पर चुनता है

लोचदार जाल के लिए प्रेरणा में से एक LASSO की निम्नलिखित सीमा थी:

में $p > n$ मामला है, ज्यादा से ज्यादा लैसो चयन n चर यह पहले संतृप्त, उत्तल अनुकूलन समस्या की प्रकृति की वजह से। यह एक चर चयन विधि के लिए एक सीमित सुविधा है। इसके अलावा, जब तक गुणांकों के L1- मान पर बँधा एक निश्चित मान से छोटा न हो, तब तक लासो को अच्छी तरह से परिभाषित नहीं किया जाता है।

( http://onlinelibrary.wiley.com/doi/10.1111/j.1467-9868.2005.00503.x.in/ )

मैं समझता हूं कि LASSO एक द्विघात प्रोग्रामिंग समस्या है लेकिन इसे LARS या तत्व-वार ग्रेडिएंट डीसेंट के माध्यम से भी हल किया जा सकता है। लेकिन मुझे यह समझ में नहीं आता है कि इन एल्गोरिदम में मैं एक समस्या का सामना करता हूं यदि $p > n$ जहां $p$ भविष्यवाणियों की संख्या है और $n$ नमूना आकार है। और यह समस्या लोचदार नेट का उपयोग करके क्यों हल की गई है जहां मैं समस्या को $p+n$ चर में बढ़ाता हूं जो स्पष्ट रूप से से अधिक है $p$ ।

— user1137731
स्रोत

यदि लसो प्रतिबंधित करने के लिए p <= n रखने का उपयोग करता है तो यह एक गुण के बजाय एक दोष क्यों है। ओवरफिटिंग एक गंभीर समस्या है जो पी = एन के बारे में आती है। पी = एन वाला मॉडल एक संतृप्त मॉडल है और अक्सर वह मॉडल ओवरफिट होता है क्योंकि यह मनाया गया डेटा पूरी तरह से फिट होगा लेकिन जरूरी नहीं कि भविष्य के मामलों को अच्छी तरह से समझा जाए।

— बजे माइकल आर। चेरिक सिप

n

$n$

n

$n$

ℓ_{2}

$\ell_2$

उत्तर के लिए धन्यवाद, और मैं कैसे ढाल के लिए देखूंगा कि अधिकांश n चरों पर चयनित किया जा सकता है: cs.cmu.edu/afs/cs/project/link-3/lafferty/www/ml/tat2/talks/ पर प्रस्तुति ... कागज (भाग 4) पर datamining.dongguk.ac.kr/papers/GLASSO_JRSSB_V1.final.pdf

— user1137731

n

$n$

p

$p$

p

$p$

p > n

$p>n$

जवाबों:

$\beta_j$ $|X_j^t(y-X\beta)| = \lambda$ $\lambda$

$X$ $n$ $p>n$

$L_2$

— सहारन रॉसट
स्रोत

KKT के लिए क्या खड़ा है? इसके अलावा, क्या यह संभव है कि मानक Lasso के बारे में बात करते समय L1 की हानि हो सकती है?

— मिउरा

हाय सहारा और साइट पर आपका स्वागत है। आप सूत्र बनाने के लिए LaTeX का उपयोग कर सकते हैं (मैंने आपके उत्तर में ऐसा किया था) और आपको अपने पोस्ट पर हस्ताक्षर करने की आवश्यकता नहीं है, क्योंकि हस्ताक्षर स्वचालित रूप से जोड़े जाते हैं।

— पीटर Flom - को पुनः स्थापित मोनिका

@miura: KKT करुश-कुह्न-टकर के लिए खड़ा है। KKT स्थितियाँ कुछ समीकरण हैं जिनका समाधान (पर्याप्त रूप से नियमित) अनुकूलन समस्याओं को पूरा करना होगा ( विकिपीडिया लेख )।

— मोग्रोन

मैं सिर्फ देखता हूं कि रयान टिबशिरानी के पास एक बहुत ही प्रासंगिक वर्किंग पेपर है 'द लास्सो

— user1137764

$n < p$ $X$ $n$ $p - n$ $z$ $\beta$ $p - n$ $p$ $\beta+z$ $n$ $\beta_j$

‖ y - X (β + z) ‖_{2}^{2} + λ ‖ β + z ‖_{1} = ‖ y - X β ‖_{2}^{2} + λ ‖ β + z ‖_{1} < ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

घट गया है।

— user2969758
स्रोत

(+1) यहाँ एक अंतर है: OPs पोस्ट पर मेरी टिप्पणी देखें।

— user795305