"लक्षित अधिकतम संभावना उम्मीद" क्या है?

मैं मार्क वैन डेर लान के कुछ पत्रों को समझने की कोशिश कर रहा हूं। वह बर्कले में एक सैद्धांतिक सांख्यिकीविद् है जो मशीन सीखने के साथ समस्याओं पर काम करता है। मेरे लिए एक समस्या (गहरी गणित के अलावा) यह है कि वह अक्सर पूरी तरह से अलग शब्दावली का उपयोग करके परिचित मशीन सीखने के दृष्टिकोण का वर्णन करता है। उनकी मुख्य अवधारणाओं में से एक "लक्षित अधिकतम संभावना प्रदर्शन" है।

TMLE का उपयोग गैर-नियंत्रित प्रयोग से सेंसर किए गए अवलोकन डेटा का इस तरह से विश्लेषण करने के लिए किया जाता है, जिससे भ्रमित कारकों की उपस्थिति में भी प्रभाव का अनुमान लगाया जा सके। मुझे दृढ़ता से संदेह है कि एक ही अवधारणा के कई अन्य क्षेत्रों में अन्य नामों के तहत मौजूद हैं, लेकिन मैं अभी तक इसे अच्छी तरह से समझ नहीं पा रहा हूं कि यह सीधे किसी भी चीज से मेल खाता है।

"कम्प्यूटेशनल डेटा एनालिसिस" के अंतर को पाटने का प्रयास यहाँ है:

डेटा विज्ञान के युग में प्रवेश: लक्षित शिक्षण और सांख्यिकी और कम्प्यूटेशनल डेटा विश्लेषण का एकीकरण

और सांख्यिकीविदों के लिए एक परिचय यहाँ है:

लक्षित अधिकतम संभावना के आधार पर अनुमान: भाग I

दूसरे से:

इस लेख में, हम कई समय बिंदु हस्तक्षेपों के कारण प्रभावों के लिए एक विशेष रूप से लक्षित अधिकतम संभावना अनुमानक विकसित करते हैं। इसमें जी-गणना सूत्र के अज्ञात कारकों का प्रारंभिक अनुमान प्राप्त करने के लिए हानि-आधारित सुपर-लर्निंग का उपयोग शामिल है, और बाद में, प्रत्येक कारक के लिए लक्ष्य-पैरामीटर विशिष्ट इष्टतम उतार-चढ़ाव फ़ंक्शन (कम से कम अनुकूल पैरामीट्रिक सबमॉडल) को लागू करना। अधिकतम संभावना अनुमान के साथ उतार-चढ़ाव पैरामीटर (एस) का आकलन करना, और अभिसरण तक प्रारंभिक कारक के इस अद्यतन चरण को पुनरावृत्त करना। यह पुनरावृत्ति लक्षित अधिकतम संभावना अद्यतन करने के कदम को कारण प्रभाव के परिणामी अनुमानक को इस अर्थ में दोगुना मजबूत बनाता है कि यह सुसंगत है यदि या तो प्रारंभिक अनुमानक सुसंगत है, या इष्टतम उतार-चढ़ाव समारोह का अनुमानक सुसंगत है। इष्टतम उतार-चढ़ाव फ़ंक्शन को सही ढंग से निर्दिष्ट किया जाता है यदि कारण ग्राफ में नोड्स के सशर्त वितरण एक हस्तक्षेप पर सही ढंग से निर्दिष्ट होते हैं।

उनकी शब्दावली में, "सुपर लर्निंग" को एक सैद्धांतिक रूप से ध्वनि गैर-नकारात्मक भार योजना के साथ सीखना है। लेकिन "प्रत्येक लक्ष्य कारक के लिए एक लक्ष्य-पैरामीटर विशिष्ट इष्टतम उतार-चढ़ाव समारोह (कम से कम अनुकूल पैरामीट्रिक सबमॉडल) को लागू करने" से उसका क्या मतलब है।

या इसे तीन अलग-अलग प्रश्नों में तोड़कर, टीएमएलई मशीन लर्निंग में एक समानांतर है, "कम से कम अनुकूल पैरामीट्रिक सबमॉडल" क्या है, और अन्य क्षेत्रों में "उतार-चढ़ाव समारोह" क्या है?

— नाथन कुर्ज़
स्रोत

शब्दावली के अपरिचित होने का एक कारण यह हो सकता है कि TMLE का लक्ष्य औसत उपचार प्रभाव का अनुमान लगाना है - कारण अनुमान, भविष्यवाणी नहीं। जब मैंने टीएमएलई पर कागजात में "सुपर लर्नर" पढ़ा, तो मुझे लगा कि लेखकों ने सुपरबर्नर पैकेज से आर में पहनावा मॉडल बनाने के लिए शब्द उधार लिया है।

— रॉबर्ट एफएफ़

मैं मानता हूं कि वैन डेर लान में पहले से मौजूद विचारों (जैसे सुपर-लर्नर) के लिए नए नामों का आविष्कार करने की प्रवृत्ति है, लेकिन टीएमएलई उनमें से एक नहीं है जहां तक मैं जानता हूं। यह वास्तव में एक बहुत ही चालाक विचार है, और मैंने मशीन लर्निंग समुदाय से कुछ भी नहीं देखा है जो समान दिखता है (हालांकि मैं शायद अज्ञानी हो सकता हूं)। यह विचार सेमीप्रैमेट्रिक-कुशल आकलन समीकरणों के सिद्धांत से आते हैं, जो कुछ ऐसा है जो मुझे लगता है कि सांख्यिकीविदों को एमएल लोगों की तुलना में बहुत अधिक लगता है।

अनिवार्य रूप से यह विचार है। मान लीजिए कि एक सच्चा डेटा जेनरेट करने वाला तंत्र है, और ब्याज एक विशेष कार्यात्मक । इस तरह के एक कार्यात्मक के साथ जुड़े अक्सर एक आकलन समीकरण है $P_0$ $\Psi(P_0)$

\sum_{i} φ (Y_{i} ∣ θ) = 0,

$\sum_i \varphi(Y_i \mid \theta) = 0,$

जहां द्वारा किसी तरह से निर्धारित किया जाता है , और जिसमें को पहचानने के लिए पर्याप्त जानकारी होती है । होगा कि । इस समीकरण को में हल करना , उदाहरण के लिए, सभी अनुमानों की तुलना में बहुत आसान हो सकता है । यह आकलन समीकरण इस अर्थ में कुशल है कि का कोई भी कुशल अनुमानक इस समीकरण के समतुल्य समान है जो इस समीकरण को हल करता है। (नोट: मैं "कुशल" शब्द के साथ थोड़ा ढीला हो रहा हूं, क्योंकि मैं केवल अनुमानी वर्णन कर रहा हूं।) इस तरह के अनुमान समीकरणों के पीछे का सिद्धांत काफी सुरुचिपूर्ण है, $\theta = \theta(P)$ $P$ $\Psi$ $\varphi$ $E_{P} \varphi(Y \mid \theta) = 0$ $\theta$ $P_0$ $\Psi(P_0)$ यह पुस्तक विहित संदर्भ है। यह वह जगह है जहाँ किसी को "कम से कम अनुकूल सबमॉडल" की मानक परिभाषा मिल सकती है; ये वान डर लाॅन की खोज की शर्तें नहीं हैं।

हालांकि, मशीन सीखने की तकनीकों का उपयोग करके का आकलन , सामान्य तौर पर, इस आकलन समीकरण को संतुष्ट नहीं करेगा। अनुमान , कहना, का घनत्व एक आंतरिक रूप से कठिन समस्या है, शायद अनुमान लगाने की तुलना में तुलना में बहुत कठिन है , लेकिन मशीन सीखने की तकनीक आम तौर पर आगे बढ़ेगी और को कुछ साथ अनुमान और फिर प्लग-इन अनुमान का उपयोग । वैन डेर लान इस अनुमानक की आलोचना करेंगे क्योंकि उन्हें लक्षित नहीं किया जा सकता है और इसलिए यह अक्षम हो सकता है - शायद, यह भी नहीं हो सकता है $P_0$ $P_0$ $\Psi(P_0)$ $P_0$ $\hat P$ $\Psi(\hat P)$ $\sqrt n$ सभी पर असंगत! फिर भी, वैन डेर लान मशीन सीखने की शक्ति को पहचानता है, और जानता है कि जिन प्रभावों में वह रुचि रखते हैं उनका अनुमान लगाने के लिए अंततः कुछ घनत्व अनुमान की आवश्यकता होगी। लेकिन वह अनुमान लगाने के बारे में परवाह नहीं करता है; घनत्व का अनुमान केवल पर प्राप्त करने के उद्देश्य से किया जाता है । $P_0$ $\Psi$

TMLE का विचार प्रारंभिक घनत्व अनुमान से शुरू करना है और फिर इस तरह एक नए मॉडल पर विचार करना है: $\hat p$

{\hat{p}}_{1, ϵ} = \frac{\hat{p} \exp (ϵ φ (Y ∣ θ))}{\int \hat{p} \exp (ϵ φ (y ∣ θ)) d y}

$\hat p_{1, \epsilon} = \frac{\hat p \exp(\epsilon \ \varphi(Y \mid \theta))}{\int \hat p \exp(\epsilon \ \varphi(y \mid \theta)) \ dy}$

जहाँ को उतार-चढ़ाव पैरामीटर कहा जाता है। अब हम पर अधिकतम संभावना रखते हैं । यदि ऐसा होता है कि MLE है, तो कोई व्यक्ति आसानी से व्युत्पन्न लेने के द्वारा सत्यापित कर सकता है कि कुशल आकलन समीकरण को हल करता है, और इसलिए आकलन करने के लिए कुशल है ! दूसरी ओर, यदि MLE में , हमारे पास एक नया घनत्व अनुमानक जो डेटा को से बेहतर रूप से फिट करता है (आखिरकार, हमने MLE किया, इसलिए इसकी संभावना अधिक है)। फिर, हम इस प्रक्रिया को दोहराते हैं और देखते हैं $\epsilon$ $\epsilon$ $\epsilon = 0$ $\hat p$ $\Psi$ $\epsilon \ne 0$ $\hat p_1$ $\hat p$

{\hat{p}}_{2, ϵ} \propto {\hat{p}}_{1, \hat{ϵ}} \exp (ϵ φ (Y ∣ θ) .

$\hat p_{2, \epsilon} \propto \hat p_{1, \hat \epsilon} \exp(\epsilon \ \varphi(Y \mid \theta).$

और इसी तरह जब तक हमें कुछ मिलता है, सीमा में, जो कुशल आकलन समीकरण को संतुष्ट करता है।

— पुरुष
स्रोत

"मैं मानता हूं कि वैन डेर लान में पहले से मौजूद विचारों के लिए नए नामों का आविष्कार करने की प्रवृत्ति है" - हां, TMLE के लिए यह परिचय देखें: biostats.bepress.com/ucbbiostat/paper252 , जहां वैन डेर लान का उपयोग यादृच्छिक रूप से "मोटे तौर पर" करने के लिए किया जाता है। सकारात्मकता का मतलब है कि सकारात्मकता और "प्रयोगात्मक उपचार असाइनमेंट (ईटीए) धारणा"। :-) यह हमारे क्षेत्र में बहुत असामान्य नहीं है। डेटा वैज्ञानिक याद रखने वाले, सटीक और ए / बी परीक्षण जैसे शब्दों का उपयोग करते हैं जो मैंने कॉलेज में संवेदनशीलता, सकारात्मक भविष्य कहनेवाला मूल्य और परिकल्पना परीक्षण के रूप में सीखा।

— राबर्टएफ

@ रोबर्टएफ कार हेइत्जन और रुबिन के कारण है, और मार्च का एक सामान्यीकरण है। रुबिन ने MAR का आविष्कार किया और संभावित परिणामों की रूपरेखा को भी लोकप्रिय बनाया, इसलिए CAR को एक कैच के रूप में उपयोग करते-करते सभी ने अज्ञानता / विनिमेयता के लिए धारणाओं को उचित मान लिया।

— लड़का