एक बायसी की तरह सोचें, एक अतिवादी की तरह जांच करें: इसका क्या मतलब है?

Question

मैं एक डेटा विज्ञान पाठ्यक्रम पर कुछ व्याख्यान स्लाइड्स को देख रहा हूं जो यहां पाया जा सकता है:

https://github.com/cs109/2015/blob/master/Lectures/01-Introduction.pdf

मैं, दुर्भाग्य से, इस व्याख्यान के लिए और स्लाइड पर एक बिंदु पर वीडियो नहीं देख सकता, प्रस्तुतकर्ता के पास निम्न पाठ है:

कुछ प्रमुख सिद्धांत

बायेसियन की तरह सोचें, एक फ्रीक्वेंटिस्ट की तरह जांचें (सुलह)

क्या किसी को पता है कि वास्तव में क्या मतलब है? मुझे लगता है कि इन दोनों विद्यालयों के बारे में एक अच्छी अंतर्दृष्टि है, जहां से इसे एकत्र किया जाना है।

Comments

सोचें कि यह मॉडल की जाँच के साथ हो सकता है: देखें कि क्यों एक बेयसियन को अवशिष्टों को देखने की अनुमति नहीं है? ।

— Scortchi - को पुनः स्थापित मोनिका

@Scortchi जो मैं इकट्ठा करता हूं, उसका प्रशिक्षण, सत्यापन और परीक्षण डेटासेट को एक तरह से अलग करने से नहीं होता है या शायद एक बायेसियन को मॉडल के प्रशिक्षण चरण के दौरान (एमएल एमएल शब्द का उपयोग करने के लिए भी याजकों को समायोजित करने की अनुमति नहीं है। यहाँ)। हालाँकि, मैं अभी भी उलझन में हूँ कि इसका क्या मतलब है जैसे कि एक बार-बार जाँचने वाला ...

— लुका

एक "उचित" बायेसियन अपने पुजारियों को कभी नहीं समायोजित करता है, लेकिन केवल बेयस प्रमेय का उपयोग करके नई जानकारी के अनुसार उन्हें अपडेट करता है। लेकिन मैं केवल यह अनुमान लगा रहा हूं कि इस "प्रमुख सिद्धांत" के बारे में क्या हो सकता है।

— Scortchi - को पुनः स्थापित मोनिका

मैं लिंक लोड नहीं कर पा रहा था। मेरा अनुमान है कि उनका मतलब यह है कि भले ही आप बायेसियन विधियों का उपयोग करते हैं, आपको फ़्रीक्वेंटिस्ट ऑपरेटिंग विशेषताओं के बारे में ध्यान देना चाहिए: यदि आप 95% विश्वसनीय अंतराल पैदा कर रहे हैं जो बहुत तंग हैं, लेकिन व्यवहार में समय के 20% ब्याज के वास्तविक पैरामीटर को कवर करते हैं, क्या आपको चिंतित होना चाहिए? अत्यधिक कठोर बायेसियन "नहीं" कह सकते हैं (लेकिन इस तरह की कठोरता के बहुत कम बायेसियन वास्तव में मौजूद हैं)।

— एबी एबी

आगे की स्लाइड्स में देखें, वे एम्पिरिकल बेयर्स का समर्थन कर रहे हैं। यह स्लाइड

— क्लिफ एबी

Answer 1

संभाव्यता की व्याख्या में अंतर के कारण बायेसियन और आंकड़ों के लगातार स्कूलों के बीच मुख्य अंतर उत्पन्न होता है। बायेसियन संभावना व्यक्तिगत विश्वास के बारे में एक बयान है कि एक घटना (या हुई) होगी। एक निरंतर संभावना एक समान घटनाओं के अनुपात के बारे में एक बयान है जो सीमा में होते हैं क्योंकि उन घटनाओं की संख्या बढ़ जाती है।

मेरे लिए, "एक बायेसियन की तरह सोचने" का अर्थ है कि आपकी व्यक्तिगत मान्यता को अद्यतन करने के लिए, क्योंकि नई जानकारी उत्पन्न होती है और "चेक [या चिंता] एक अतिवादी की तरह" का अर्थ है उन प्रक्रियाओं के उपयोग के दौरान एकत्र की गई सांख्यिकीय प्रक्रियाओं के प्रदर्शन से चिंतित होना। जैसे कि विश्वसनीय अंतराल का कवरेज क्या है, टाइप I / II त्रुटि दर क्या है, आदि।

Comments

आपके उत्तर के लिए धन्यवाद। मेरी तरह आम आदमी के लिए भी संक्षिप्त और प्रभावी!

— लुका

पुजारियों के प्रभाव की जांच करके या गैर-सूचनात्मक का उपयोग करके बायेसियन की तरह जांच या चिंता करना संभव नहीं है? क्या यह केवल अनुक्रमिक विश्लेषणों पर लागू होता है? ऐसे बहुत से काम हैं जहाँ बायेसियन और फ़्रीक्वेंटिस्ट आँकड़े अनुक्रमिक विश्लेषणों के साथ प्रतिच्छेद करते हैं, "विश्वास अद्यतन करना" आवश्यक नहीं है, और क्रमिक सेटिंग में seqeuential आँकड़ों को कठोर बनाया जा सकता है।

— एडमो

हाँ यह एक बायेसियन की तरह चिंता करना संभव है, उदाहरण के लिए अपने पूर्व के प्रभाव की जांच करना। नहीं, मेरा उत्तर केवल अनुक्रमिक विश्लेषणों पर लागू नहीं है, अर्थात नई जानकारी एक ही बार में उत्पन्न हो सकती है।

— जर्दनमी

Answer 2

बायसियन आँकड़े विश्वासों को संक्षेप में प्रस्तुत करते हैं जबकि अक्सर सांख्यिकी आँकड़े प्रमाण प्रस्तुत करते हैं। विश्वासियों को विश्वास की एक डिग्री के रूप में संभावना दिखाई देती है। यह समावेशी और सामान्य प्रकार का तर्क परिकल्पना तैयार करने के लिए उपयोगी है। उदाहरण के लिए, बायेसियन मनमाने ढंग से इस धारणा को कुछ संभावना प्रदान कर सकते हैं कि चंद्रमा हरी चीज से बना है, चाहे इस बात की परवाह किए बिना कि अंतरिक्ष यात्री वास्तव में यात्रा करने में सक्षम हैं या नहीं। यह परिकल्पना शायद इस विचार से समर्थित है कि, दूर से, चंद्रमा दिखता हैहरी पनीर की तरह। फ़्रीक्वोलॉजर्स एक परिकल्पना की विलक्षण रूप से गर्भधारण नहीं कर सकते हैं, जो एक स्ट्रोमैन से अधिक है, और न ही वे कह सकते हैं कि सबूत एक परिकल्पना को दूसरे पर निर्भर करते हैं। यहां तक ​​कि अधिकतम संभावना केवल एक आंकड़ा उत्पन्न करती है, जो "जो देखा गया था, उसके अनुरूप है"। औपचारिक रूप से, बायेसियन आंकड़े हमें बॉक्स के बाहर सोचने और डेटा से रक्षात्मक विचारों का प्रस्ताव करने की अनुमति देते हैं। लेकिन यह कड़ाई से प्रकृति में उत्पन्न होने वाली परिकल्पना है।

परिकल्पना की पुष्टि करने के लिए फ़्रीक्वेंटिस्ट आँकड़े सबसे अच्छे रूप में लागू होते हैं। जब एक प्रयोग अच्छी तरह से किया जाता है, तो लगातार आंकड़े पुजारियों को बचाकर निष्कर्षों के लिए एक "स्वतंत्र पर्यवेक्षक" या "अनुभवजन्य" संदर्भ प्रदान करते हैं। यह विज्ञान के कार्ल पॉपर दर्शन के अनुरूप है। साक्ष्य की बात एक निश्चित विचार का प्रचार नहीं करना है। बहुत सारे सबूत गलत परिकल्पना के अनुरूप हैं। साक्ष्य केवल विश्वासों को गलत साबित कर सकते हैं।

आमतौर पर पुजारियों का प्रभाव सांख्यिकीय तर्क में पूर्वाग्रह के रूप में माना जाता है। जैसा कि आप जानते हैं, हम किसी भी कारण से बड़ी संख्या में चीजें कर सकते हैं। मनोवैज्ञानिक रूप से, बहुत से लोग मानते हैं कि हमारे पर्यवेक्षक पूर्वाग्रह हमारे मस्तिष्क में पुजारियों का परिणाम है जो हमें वास्तव में भारित करते हैं जो हम देखते हैं। "आशा बादलों का अवलोकन" के रूप में रेवरेंड माँ ने दून में कहा। पॉपर ने इस विचार को कठोर बना दिया।

हमारे समय के कुछ महानतम वैज्ञानिक प्रयोगों में इसका बड़ा ऐतिहासिक महत्व था। उदाहरण के लिए, जॉन स्नो ने कोलेरा महामारी के लिए सावधानीपूर्वक साक्ष्य एकत्र किए और आश्चर्यजनक रूप से निष्कर्ष निकाला कि हैजा नैतिक नैतिकता के कारण नहीं है , और बताया कि सबूत सीवेज संदूषण के साथ अत्यधिक सुसंगत थे: ध्यान दें कि वह निष्कर्ष नहीं निकालता है।यह, स्नो के निष्कर्षों से बैक्टीरिया की खोज का अनुमान लगाया गया था, और कोई यांत्रिकी या etiologic समझ नहीं थी। उत्पत्ति की प्रजातियों में एक समान प्रवचन पाया जाता है। हम वास्तव में नहीं जानते थे कि क्या चंद्रमा हरी चीज से बना था जब तक कि अंतरिक्ष यात्री वास्तव में सतह पर नहीं उतरे थे और नमूने एकत्र किए थे। उस बिंदु पर, बेइज़ियन डाकियों ने किसी भी अन्य संभावना को बहुत कम संभावनाएं सौंपी हैं, और सबसे अच्छे रूप से आवृत्तिविदों कह सकते हैं कि नमूने चंद्रमा की धूल को छोड़कर किसी भी चीज के साथ अत्यधिक असंगत हैं।

सारांश में, बायेसियन आँकड़े परिकल्पना उत्पन्न करने के लिए उत्तरदायी हैं और अक्सर आँकड़े हाइपोथीसिस की पुष्टि के लिए उत्तरदायी हैं। यह सुनिश्चित करना कि इन प्रयासों में डेटा को स्वतंत्र रूप से एकत्र किया जाता है, आधुनिक सांख्यिकीविदों के सामने सबसे बड़ी चुनौतियों में से एक है।

Comments

जवाब के लिए धन्यवाद। आपका क्या मतलब था कि जब आप कहते हैं Plenty of evidence is consistent with incorrect hypotheses।

— लुका

@ लूका एक आम सांख्यिकीय उदाहरण के बारे में बात कर सकते हैं। उदाहरण के लिए, मैं कह सकता हूं, "धूम्रपान किशोरों को बेहतर फेफड़े का काम देता है"। मैं इसे यह कहकर युक्तिसंगत बनाने के लिए जा सकता था कि धूम्रपान एक उत्तेजक है जो बेहतर शारीरिक गतिविधि, स्वस्थ भूख को प्रोत्साहित करता है, और स्वस्थ समाजीकरण को प्रोत्साहित करता है। यदि मैंने डेटा एकत्र किया, तो वे वास्तव में यह दिखाएंगे कि धूम्रपान करने वाले किशोरों में फेफड़े बेहतर कार्य करते हैं। साहचर्य निष्कर्ष सही है, लेकिन कारण एक झूठा है। यह संबंध उम्र के हिसाब से उलझा हुआ है, क्योंकि बड़े बच्चों में धूम्रपान की संभावना अधिक होती है।

— एडमो

धन्यवाद! मैंने इस बहुत ही लिखित उत्तर से बहुत कुछ सीखा है।

— लुका

Answer 3

प्रति Cliff ABओपी की टिप्पणी का, यह लग रहा है जैसे वे एक अनुभवजन्य बायेसियन दर्शन ओर बढ़ रहे हैं। विचार के तीन मुख्य बायेसियन स्कूल हैं, और एम्पिरिकल बेयस डेटा से पुजारियों का अनुमान लगाते हैं, अक्सर अक्सरवादी तरीकों के साथ। यह बिल्कुल उद्धरण के अनुरूप नहीं है (जो कि आगे की ओर बेयस का अर्थ है, लगातार-जैसी चिंताओं के बाद), लेकिन हमें Cliff ABउत्कृष्ट टिप्पणी को नजरअंदाज नहीं करना चाहिए ।

इसके अलावा, वहाँ था, और अभी भी हो सकता है, बायेसियन के एक स्कूल ने सोचा कि आपको बायेसियन प्रक्रिया के बाद कुछ भी जांचना नहीं है। अधिक आधुनिक विचार पश्चगामी भविष्यवाणिय चेक का उपयोग करेगा, और शायद उस तरह के दोहरे-चेक-आपके-उत्तर दृष्टिकोण का क्या उद्धरण है।

इसके अलावा, डेटा से इनफ्लाइट के बजाय अक्सर फिलासफी का संबंध प्रक्रियाओं से होता है। तो शायद यह भी बोली के अर्थ का एक सुराग है।

Comments

मुझे लगता है कि आपने मेरी पहली टिप्पणी का उल्लेख किया है, और मेरी दूसरी टिप्पणी यह ​​थी कि घनिष्ठ निरीक्षण के बाद, आप सही हैं कि वे विशेष रूप से Empirical Bayes का उल्लेख कर रहे हैं। मैं वास्तव में निराश था कि उद्धरण सोचा के दोनों स्कूलों के फायदे पर विचार करने के लिए एक अधिक सामान्य कॉल के बजाय केवल अनुभवजन्य बेयर्स का एक समर्थन था। ओह अच्छा।

— क्लिफ एबी

Answer 4

इस डेटा विज्ञान वर्ग के संदर्भ में, "एक निरंतरवादी की तरह जांच करें" की मेरी व्याख्या यह है कि आप अपने पूर्वानुमान कार्य या निर्णय समारोह के प्रदर्शन का मूल्यांकन आयोजित किए गए सत्यापन डेटा पर करते हैं। "एक बायेसियन की तरह सोचने की सलाह" इस राय को व्यक्त करता है कि बायेसियन दृष्टिकोण से प्राप्त एक भविष्यवाणी समारोह आम तौर पर अच्छे परिणाम देगा।

Comments

(डेविल्स एडवोकेट की भूमिका निभाते हुए :) बायेसियन दृष्टिकोण को "अच्छे परिणाम" क्यों देने चाहिए और बार-बार नहीं?

— टिम

दृष्टिकोण के बारे में बायेसियन विधियां निर्धारित हैं। फ़्रीक्वेंटिस्ट आंकड़ों को निर्णय सिद्धांत के हिस्से के रूप में देखा जा सकता है, और यह किसी भी निर्णय फ़ंक्शन (चाहे बेयसियन या कुछ लगातार सिद्धांत पर आधारित है) का मूल्यांकन करने के लिए एक रूपरेखा देता है। कुछ तरीकों, जैसे कि अधिकतम संभावना वाले तरीकों का उपयोग अक्सर एक अतिवादी संदर्भ में किया जाता है, क्योंकि उनके पास लगातार अच्छे गुण होते हैं (जैसे कि asymptotically वे उन्हें सही काम करते हैं, और वे अधिकांश अन्य तरीकों की तुलना में तेजी से प्राप्त होते हैं)। बायेसियन पद्धति का उपयोग निश्चित रूप से एक निरंतरवादी द्वारा किया जा सकता है, लेकिन उनके पास इसका उपयोग करने के लिए अलग-अलग कारण होंगे।

— 22

निर्णय सिद्धांत के साथ बायेसियन विधियों में भी बहुत सारे हैं। मुझे यह भी नहीं लगता कि बायेसियन विधियों का उपयोग अक्सर संदर्भ में किया जा सकता है (आप लगातार संदर्भ में पुजारियों का उपयोग करने की कल्पना कैसे करेंगे?) - यह बल्कि आसपास का अन्य तरीका है: कई लगातार तरीकों में बायेसियन व्याख्याएं हैं। मुझे नहीं लगता कि इस पर चर्चा करने का कोई मतलब है, मैं यह कह रहा हूं कि आपके बयान थोड़ी सी चीजों की निगरानी करते हैं।

— टिम

एक बायसीयन दृष्टिकोण के बारे में बहुत अच्छे लगातार गुण साबित कर सकता है, इसलिए उस अर्थ में, बायेसियन करना बहुत सुरक्षित है, जब तक आपके पास पर्याप्त डेटा है।

— डेविड आरएस

मान लीजिए कि मैं एक सिक्के के फ्लिप में सिर की संभावना का अनुमान लगाना चाहता हूं। एक बायेसियन के रूप में, मैं संभावना पी पर एक पूर्व के साथ शुरू करूँगा, मैं कुछ डेटा का निरीक्षण करूंगा, और फिर मुझे पी पर एक पोस्टीरियर मिलेगा। हमें p के एक बिंदु अनुमान के साथ आने की आवश्यकता है, और मैं अपने बिंदु अनुमान के रूप में अपने पीछे के वितरण के माध्यम का उपयोग करने का चयन करता हूं। सभी ने बताया, यह डेटा से बिंदु अनुमान तक जाने की एक विधि का वर्णन करता है। इस पद्धति का मूल्यांकन लगातार तरीके से किया जा सकता है: जैसे कि यह पक्षपातपूर्ण है? संगत? asymptotically कुशल? तथ्य यह है कि एक पूर्व शामिल किया गया था, प्रति, नहीं होना चाहिए, लगातार चिंतावादी।

— डेविड आरयू

Answer 5

ऐसा लगता है कि "एक बायेसियन की तरह सोचें, एक अतिवादी की तरह जांचें" सांख्यिकीय डिजाइन और विश्लेषण में किसी के दृष्टिकोण को संदर्भित करता है। जैसा कि मैं इसे समझता हूं, बायेसियन सोच में पूर्व स्थितियों (प्रयोगात्मक या सांख्यिकीय रूप से) के बारे में कुछ विश्वास शामिल हैं, उदाहरण के लिए कहते हैं कि 4-ग्रेडर्स के लिए औसत रीडिंग स्कोर 80 शब्द प्रति मिनट है, और यह कि कुछ हस्तक्षेप प्रति मिनट 90 शब्दों तक बढ़ सकता है। । ये पूर्व अध्ययनों और परिकल्पनाओं पर आधारित विश्वास हैं। बार-बार सोच आत्मविश्वास (या हस्तक्षेप के) निष्कर्षों को आत्मविश्वास अंतराल या अन्य आंकड़ों को प्राप्त करने के लिए निकाल देती है जो कि फिर से होने वाले इन परिणामों की सैद्धांतिक और व्यावहारिक आवृत्ति या संभावना पर आधारित होते हैं (यानी, "अक्सर" कैसे।)। उदाहरण के लिए, हस्तक्षेप के बाद का पठन स्कोर प्रति मिनट 85 से 97 शब्दों के 95% आत्मविश्वास के अंतराल के साथ 91 शब्द प्रति मिनट हो सकता है और इससे संबद्ध पी-मूल्य (संभावना मूल्य) पूर्व-हस्तक्षेप स्कोर से अलग हो सकता है। तो 95% समय, नया पढ़ने का स्कोर हस्तक्षेप के बाद प्रति मिनट 85 और 97 शब्दों के बीच होगा। इसलिए "एक बायेसियन की तरह सोचें" --- अर्थात, सिद्धांत करें, परिकल्पना करें, पिछले प्रमाणों को देखें, और "एक आवेशवादी की तरह जांच करें" --- अर्थात, ये प्रयोगात्मक परिणाम कितनी बार आएंगे और उनके कारण होने की कितनी संभावना है हस्तक्षेप के बजाय मौका। हस्तक्षेप के बाद नया पठन स्कोर 85 से 97 शब्द प्रति मिनट के बीच होगा। इसलिए "एक बायेसियन की तरह सोचें" --- यानी, सिद्धांत करें, परिकल्पना करें, पिछले प्रमाणों को देखें, और "एक आवेशवादी की तरह जांच करें" --- अर्थात, ये प्रयोगात्मक परिणाम कितनी बार आएंगे और उनके कारण होने की कितनी संभावना है हस्तक्षेप के बजाय मौका। हस्तक्षेप के बाद नया पठन स्कोर 85 से 97 शब्द प्रति मिनट के बीच होगा। इसलिए "एक बायेसियन की तरह सोचें" --- यानी, सिद्धांत करें, परिकल्पना करें, पिछले प्रमाणों को देखें, और "एक आवेशवादी की तरह जांच करें" --- अर्थात, ये प्रयोगात्मक परिणाम कितनी बार आएंगे और उनके कारण होने की कितनी संभावना है हस्तक्षेप के बजाय मौका।

Comments

आपका अंतिम वाक्य - "एक फ़िसिस्ट की तरह" भाग - का वास्तव में फ़्रीस्टिस्ट सेटिंग से कोई लेना-देना नहीं है: बायेसियन अनुमान आपको यह भी बताएगा कि "हम कितनी बार" कुछ होने की उम्मीद करते हैं, या "कितनी संभावना है" ...

— टिम