गौसियन मॉडल में कम से कम वर्गों और MLE के बीच समानता

मैं मशीन लर्निंग के लिए नया हूं, और इसे अपने दम पर सीखने की कोशिश कर रहा हूं। हाल ही में मैं कुछ व्याख्यान नोट्स के माध्यम से पढ़ रहा था और एक मूल प्रश्न था।

स्लाइड 13 का कहना है कि "लिस्ट स्क्वायर एस्टिमेट एक गाऊसी मॉडल के तहत अधिकतम संभावना अनुमान के समान है"। ऐसा लगता है कि यह कुछ सरल है, लेकिन मैं यह देखने में असमर्थ हूं। क्या कोई समझा सकता है कि यहाँ क्या चल रहा है? मुझे मठ देखने में दिलचस्पी है।

मैं बाद में रिज और लासो प्रतिगमन के संभावित दृष्टिकोण को भी देखने की कोशिश करूंगा, इसलिए यदि कोई सुझाव है जो मेरी मदद करेगा, तो यह भी बहुत सराहना की जाएगी।

regression bayesian least-squares

— एंडी
स्रोत

पी के तल पर उद्देश्य समारोह। 13 , p के तल पर वस्तुनिष्ठ फ़ंक्शन का केवल एक स्थिर बहु ( ) है। 10. MLE पूर्व को कम करता है जबकि कम से कम वर्ग बाद वाले, QED को कम करता है।

n

$n$

— व्हिबर

@whuber: आपके उत्तर के लिए धन्यवाद। अच्छी तरह से मैं जानना चाहता था कि यह कैसे होता है कि एमएलई कम से कम कर रहा है।

— एंडी

क्या आपका मतलब यांत्रिकी या वैचारिक रूप से है?

— whuber

@ शुभकर्ता: दोनों! अगर मैं उस मैथ को देख सका, तो वह भी मदद करेगा।

— एंडी

लिंक टूट गया है; पूर्ण संदर्भ की कमी और उद्धरण के लिए अधिक संदर्भ के लिए केवल संदर्भ को हटाने या इसके लिए एक वैकल्पिक स्रोत का पता लगाना मुश्किल हो जाता है। क्या इस लिंक की स्लाइड 13 पर्याप्त है? --- cs.cmu.edu/~epxing/Class/10701-10s/recitation/recitation3.pdf

— Glen_b -Reinstate Monica

मॉडल में

$Y = X \beta + \epsilon$

जहां , की loglikelihood विषयों के नमूने के लिए (एक योजक स्थिर तक) है $\epsilon \sim N(0,\sigma^{2})$ $Y|X$ $n$

\frac{- n}{2} \log (σ^{2}) - \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\frac{-n}{2} \log(\sigma^{2}) - \frac{1}{2 \sigma^{2}} \sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

केवल फंक्शन के रूप में देखा गया , ठीक वही है जो कम से कम होता है $\beta$

\sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

क्या यह समतुल्यता को स्पष्ट करता है?

— मैक्रो
स्रोत

यह ठीक है स्लाइड में है क्या ओपी में निर्दिष्ट

— whuber

हां, मैं इसे देखता हूं, लेकिन वे वास्तव में पेज 13 पर गौसियन लॉग-लिपि नहीं लिखते हैं, जो ऐसा करने के बाद, यह स्पष्ट करता है कि इसका argmax OLS मानदंड के समान है, इसलिए मैंने सोचा कि यह एक सार्थक अतिरिक्त था।

— मैक्रो

अच्छा बिंदु: स्लाइड विवरण के साथ थोड़ा स्केच है।

— whuber

β

$\beta$

L_{2}

$L_{2}$

योगात्मक स्थिरांक हैn/2 log(2 *pi)

— स्मॉलचेयर