जानकारी उधार लेने का क्या मतलब है?

Question

मैं अक्सर उन लोगों के बारे में बात करता हूं जो उधार लेने या बेयसियन पदानुक्रमित मॉडल में जानकारी साझा करने के बारे में बात करते हैं। मैं इस बारे में सीधा जवाब नहीं दे सकता कि इसका वास्तव में क्या मतलब है और अगर यह बायेसियन पदानुक्रमित मॉडल के लिए अद्वितीय है। मैं इस विचार को प्राप्त करना चाहता हूं: आपके पदानुक्रम में कुछ स्तर एक सामान्य पैरामीटर साझा करते हैं। मुझे नहीं पता कि यह "जानकारी उधार" के लिए कैसे अनुवाद करता है।

1. क्या "सूचना उधार" / "सूचना साझा करना" एक चर्चा शब्द है जिसे लोग फेंकना पसंद करते हैं?

2. क्या बंद फॉर्म पोस्टेरी के साथ एक उदाहरण है जो इस साझाकरण घटना को दिखाता है?

3. क्या यह बायेसियन विश्लेषण के लिए अद्वितीय है? आम तौर पर, जब मैं "सूचना उधार" के उदाहरण देखता हूं तो वे सिर्फ मिश्रित मॉडल होते हैं। हो सकता है कि मैंने इस मॉडल को पुराने तरीके से सीखा हो, लेकिन मुझे कोई साझा नहीं दिखता।

मुझे तरीकों के बारे में एक दार्शनिक बहस शुरू करने में कोई दिलचस्पी नहीं है। मैं इस शब्द के उपयोग को लेकर उत्सुक हूं।

Comments

अपने प्रश्न 2 के लिए, आप इस लिंक को प्रकाशित कर सकते हैं: tjmahr.com/plotting-partial-pooling-in-mixed-effects-models ।

— इसाबेला घीमे

मुझे यहां के उत्तरों में सूचना सिद्धांत का कुछ उल्लेख देखना अच्छा लगेगा।

— छायाकार

Answer 1

यह एक शब्द है जो विशेष रूप से अनुभवजन्य बेयस (ईबी) से है, वास्तव में यह जिस अवधारणा को संदर्भित करता है वह वास्तविक बेयसियन अनुमान में मौजूद नहीं है। मूल शब्द "उधार लेने की ताकत" था, जिसे 1960 के दशक में जॉन टुके ने गढ़ा था और 1970 और 1980 के दशक में स्टीन के विरोधाभास और पैरामीट्रिक ईबी पर सांख्यिकीय लेखों की एक श्रृंखला में ब्रैडली एफ्रोन और कार्ल मॉरिस द्वारा आगे लोकप्रिय बनाया गया था। बहुत से लोग अब एक ही अवधारणा के पर्यायवाची के रूप में "सूचना उधार" या "सूचना साझाकरण" का उपयोग करते हैं। मिश्रित मॉडल के संदर्भ में आप इसे सुन सकते हैं इसका कारण यह है कि मिश्रित मॉडल के लिए सबसे आम विश्लेषणों में एक ईबी व्याख्या है।

EB के कई अनुप्रयोग हैं और कई सांख्यिकीय मॉडल पर लागू होते हैं, लेकिन संदर्भ हमेशा यह होता है कि आपके पास बड़ी संख्या में (संभवतः स्वतंत्र) मामले हैं और आप प्रत्येक मामले में एक विशेष पैरामीटर (जैसे माध्य या विचरण) का अनुमान लगाने की कोशिश कर रहे हैं। बायेसियन इंट्रेंस में, आप प्रत्येक केस के लिए देखे गए डेटा और उस पैरामीटर के लिए पूर्व वितरण के आधार पर पैरामीटर के बारे में पीछे के निष्कर्ष बनाते हैं। ईबी इंजेक्शन में पैरामीटर के लिए पूर्व वितरण का अनुमान डेटा मामलों के पूरे संग्रह से लगाया जाता है, जिसके बाद बायेसियन इंजेक्शन के रूप में निष्कर्ष निकलता है। इसलिए, जब आप विशेष मामले के लिए पैरामीटर का अनुमान लगाते हैं, तो आप उस मामले के लिए दोनों डेटा का उपयोग कर रहे हैं और अनुमानित पूर्व वितरण भी, और बाद वाला "सूचना" या "ताकत" का प्रतिनिधित्व करता है।

अब आप देख सकते हैं कि ईबी के पास "उधार" क्यों है लेकिन सही बेस नहीं है। सच बेयस में, पहले से मौजूद वितरण पहले से मौजूद है और इसलिए भीख माँगने या उधार लेने की आवश्यकता नहीं है। ईबी में, पूर्व वितरण मनाया डेटा से ही बनाया गया है। जब हम किसी विशेष मामले के बारे में अनुमान लगाते हैं, तो हम उस मामले से सभी अवलोकन की गई जानकारी का उपयोग करते हैं और अन्य मामलों में से प्रत्येक से थोड़ी जानकारी लेते हैं। हम कहते हैं कि यह केवल "उधार" है, क्योंकि जब हम अगले मामले के बारे में निष्कर्ष निकालने के लिए आगे बढ़ते हैं तो जानकारी वापस दी जाती है।

ईबी और "सूचना उधार" के विचार का उपयोग सांख्यिकीय जीनोमिक्स में भारी रूप से किया जाता है, जब प्रत्येक "केस" आमतौर पर एक जीन या जीनोमिक विशेषता होती है (Smyth, 2004; Phipson et al, 2016)।

संदर्भ

एफ्रॉन, ब्रैडली और कार्ल मॉरिस। आंकड़ों में स्टीन का विरोधाभास। वैज्ञानिक अमेरिकी 236, नहीं। 5 (1977): 119-127। http://statweb.stanford.edu/~ckirby/brad/other/Article1977.pdf

स्माइथ, जीके (2004)। रैखिक मॉडल और अनुभवजन्य बेअसर तरीके माइक्रोएरे प्रयोगों में अंतर अभिव्यक्ति का आकलन करने के लिए। जेनेटिक्स और आणविक जीवविज्ञान खंड 3, अंक 1, अनुच्छेद 3 में सांख्यिकीय अनुप्रयोग । http://www.statsci.org/smyth/pubs/ebayes.pdf

Phipson, B, Lee, S, Majewski, IJ, Alexander, WS और Smyth, GK (2016)। मजबूत हाइपरपैरेट अनुमान हाइपरेवरेबल जीन के खिलाफ सुरक्षा करता है और अंतर अभिव्यक्ति का पता लगाने के लिए शक्ति में सुधार करता है। वार्षिक सांख्यिकी 10, 946-963 के इतिहास । http://dx.doi.org/10.1214/16-AOAS920

Comments

मुझे नहीं लगता कि यह व्याख्या सही है। उदाहरण के लिए, मिश्रित प्रभाव वाले मॉडल जानकारी उधार लेते हैं, फिर भी एक पारंपरिक बायेसियन संदर्भ में विश्लेषण किया जा सकता है

— क्लिफ एबी

@ क्लिफब यदि आप मिश्रित मॉडल विश्लेषणों में खुदाई करते हैं, तो आप पाएंगे कि विश्लेषण वास्तव में हमेशा वास्तविक बे की बजाय अनुभवजन्य बेयस है। ज्यादातर लेखकों का कहना है कि वे बेस कर रहे हैं जब यह वास्तव में ईबी है क्योंकि अधिकांश लेखक भेद नहीं करते हैं। अगर आपको लगता है कि आप एक सच्चे बेस मिश्रित मॉडल विश्लेषण का उदाहरण दे सकते हैं, तो मैं आपको ऐसा करने के लिए आमंत्रित करता हूं।

— गॉर्डन स्मिथ

@CliffAB अल्पसंख्यकों के मामलों में जब मिश्रित मॉडल के लिए एक सच्चे बेयस विश्लेषण का उपयोग किया जाता है (उदाहरण के लिए, MCMC या Winbugs द्वारा) तब "उधार जानकारी" शब्द का उपयोग IMO से बाहर होगा। यह निश्चित रूप से "उधार" से टके और एफ्रॉन के साथ असहमत होगा।

— गॉर्डन स्माइथ

@ क्लिफब मैं मानता हूं कि ब्राम्स बायेसियन पैकेज है, यही कारण है कि शब्द "उधार जानकारी" ब्रम्स प्रलेखन में प्रकट नहीं होता है।

— गॉर्डन स्मिथ

सरल बायेसियन मॉडल "उधार जानकारी" नहीं देते हैं, लेकिन बहुस्तरीय मॉडल करते हैं, हालांकि मुझे लगता है कि उस क्षेत्र में अधिक लोकप्रिय शब्द "आंशिक पूलिंग" है। ए। जेलमैन की यहाँ से एक शास्त्रीय चर्चा है। सामान्य तौर पर, यदि आप इस विचार को स्वीकार करते हैं कि मिश्रित प्रभाव मॉडल "जानकारी उधार लेते हैं", मुझे यकीन नहीं है कि कोई कैसे कह सकता है कि बेयसियन मिश्रित प्रभाव नहीं है; पूर्व में उधार ली गई जानकारी के नीचे का स्तर दिखाई देता है । अगर कह रहे हैं कि मिश्रित प्रभाव वाले मॉडल जानकारी उधार नहीं लेते हैं, जो आपके दावे पर मेरा भ्रम बताता है।

— क्लिफ एबी

Answer 2

एक साधारण समस्या पर विचार करें जैसे कई समूहों के साधन का अनुमान लगाना। यदि आपका मॉडल उन्हें पूरी तरह से असंबंधित मानता है, तो आपके पास प्रत्येक साधन के बारे में एकमात्र जानकारी उस समूह के भीतर की जानकारी है। यदि आपका मॉडल उनके साधनों को कुछ हद तक संबंधित (जैसे कि कुछ मिश्रित-प्रभाव प्रकार मॉडल में) मानता है, तो अनुमान अधिक सटीक होंगे क्योंकि किसी समूह के लिए अन्य समूहों की जानकारी (सामान्य अर्थ की ओर सिकुड़ती है) को सूचित करता है। यह 'उधार जानकारी' का एक उदाहरण है।

साख से जुड़ी कामचोर फसलों में धारणा की फसलें (जरूरी नहीं कि 'उधार की उस विशिष्ट अवधि के साथ), हालांकि उस अर्थ में उधार लेना सूत्रों में स्पष्ट है); यह एक लंबा रास्ता तय करता है, कम से कम एक सदी पहले, स्पष्ट पूर्वजों के साथ उन्नीसवीं शताब्दी के मध्य तक वापस जाने के लिए। उदाहरण के लिए, लॉन्गले-कुक, एलएच (1962) विश्वसनीयता सिद्धांत पीसीएएस, 49, 194-221 का परिचय।

यहां व्हिटनी, 1918 (द थ्योरी ऑफ एक्सपीरियंस रेटिंग, पीसीएएस, 4, 274-292)

उदाहरण के लिए, एक जोखिम है, जिसे स्पष्ट रूप से मशीन शॉप के रूप में वर्गीकृत किया जाना है। इसलिए अन्य जानकारी के अभाव में यह मशीन शॉप रेट नकली होना चाहिए, अर्थात इस वर्ग के सभी जोखिमों के लिए औसत दर। दूसरी ओर जोखिम का अपना अनुभव है। यदि जोखिम बड़ा है, तो यह कक्षा-अनुभव की तुलना में इसके खतरे के लिए बेहतर मार्गदर्शक हो सकता है। किसी भी घटना में, चाहे जोखिम बड़ा हो या छोटा, इन दोनों तत्वों का प्रमाण के रूप में उनका मूल्य है, और दोनों को ध्यान में रखा जाना चाहिए। कठिनाई इस तथ्य से उत्पन्न होती है कि सामान्य तौर पर सबूत विरोधाभासी होते हैं; इसलिए समस्या एक कसौटी को खोजने और लागू करने की है जो प्रत्येक को उसका उचित भार दे।

जबकि उधार लेने वाला शब्द यहां अनुपस्थित है, इस मशीन की दुकान के बारे में हमें सूचित करने के लिए समूह-स्तरीय जानकारी का उपयोग करने की धारणा स्पष्ट रूप से है। [धारणाएँ अपरिवर्तित रहती हैं जब "उधार लेने की ताकत" और "उधार लेने की जानकारी" इस स्थिति पर लागू होने लगती है]

Comments

मैं उदाहरण की सराहना करता हूं, क्योंकि यह स्पष्ट रूप से बताता है कि उधार क्या करता है, लेकिन मैं एक अधिक सटीक परिभाषा की तलाश कर रहा हूं।

— एलीक

एक सटीक , सहज शब्द की एक सटीक परिभाषा? मुझे लगता है कि एक संभव हो सकता है - एक शायद समूहों में संबंधित मापदंडों से भिन्नता को कम करने के संदर्भ में इसे परिभाषित कर सकता है, लेकिन कोई भी ऐसा करके आसानी से धारणा के प्रशंसनीय उपयोगों को बाहर कर सकता है

— Glen_b -Reinstate Monica

यह मेरे लिए स्पष्ट नहीं था कि अभेद्य अंतर्ज्ञान की वास्तविक परिभाषा थी या नहीं।

— एलीक

Answer 3

$\sigma_R^2$

$\sigma_R^2$$\sigma_R^2$

$\sigma_R^2$$\sigma_R^2$$\sigma_R$$\sigma_R^2$। डेटा में कम जानकारी, अधिक महत्वपूर्ण पूर्व सूचना बन जाती है। यदि आपने अभी तक ऐसा नहीं किया है, तो मेरा सुझाव है कि केवल कुछ विषयों के साथ मिश्रित प्रभाव वाले मॉडल का अनुकरण करने की कोशिश करें। आप आश्चर्यचकित हो सकते हैं कि फ़्रीक्वेंटिस्ट तरीकों से अनुमान कितना अस्थिर हैं, खासकर जब आप सिर्फ एक या दो आउटलेर जोड़ते हैं ... और कितनी बार आउटलेयर के बिना असली डेटासेट देखते हैं? मेरा मानना ​​है कि यह मुद्दा गैसमैन एट अल द्वारा बायेसियन डेटा एनालिसिस में शामिल है, लेकिन दुख की बात है कि मुझे नहीं लगता कि इसका सार्वजनिक रूप से कोई हाइपरलिंक उपलब्ध है।

अंत में, बहुस्तरीय मॉडलिंग केवल मिश्रित प्रभाव नहीं है, हालांकि वे सबसे आम हैं। कोई भी मॉडल जिसमें पैरामीटर न केवल पुजारियों और डेटा से प्रभावित होते हैं, बल्कि अन्य अज्ञात मापदंडों को एक बहुस्तरीय मॉडल कहा जा सकता है। बेशक, यह मॉडल का एक बहुत ही लचीला सेट है, लेकिन यह स्टेन, NIMBLE, JAGS, आदि जैसे उपकरणों का उपयोग करके कम से कम काम के साथ खरोंच और फिट से लिखा जा सकता है। इस सीमा तक, मुझे यकीन नहीं है कि मैं बहुस्तरीय कहूँगा मॉडलिंग "प्रचार" है; मूल रूप से, आप किसी भी मॉडल को लिख सकते हैं, जिसे एक निर्देशित चक्रीय ग्राफ के रूप में दर्शाया जा सकता हैऔर इसे तुरंत फिट करें (यह मानते हुए कि यह उचित समय है, वह है)। यह पारंपरिक विकल्पों (यानी प्रतिगमन मॉडल पैकेज) की तुलना में पूरी तरह से अधिक शक्ति और संभावित रचनात्मकता देता है, फिर भी एक नए प्रकार के मॉडल को फिट करने के लिए स्क्रैच से पूरे आर पैकेज बनाने की आवश्यकता नहीं होती है।

Comments

जवाब के लिए धन्यवाद। स्पष्ट करने के लिए मैं सुझाव नहीं दे रहा था कि मल्टी-लेवल मॉडलिंग "हाइप" है। मैं पूछ रहा था कि क्या "सूचना उधार" का एक सटीक अर्थ है या यदि वह विशेष शब्द सिर्फ प्रचार है।

— एलीक

@ अलीक: मुझे यकीन नहीं है कि इसका सटीक अर्थ है; गॉर्डन स्माइथ देता है कि कुछ एक सटीक अर्थ पर विचार कर सकते हैं, अर्थात्, अनुभवजन्य Bayes, लेकिन जिस तरह से मुझे लगता है कि आमतौर पर इस्तेमाल किया शब्द अब उस अर्थ फिट नहीं लगता है। व्यक्तिगत रूप से, मुझे नहीं लगता कि यह सिर्फ एक प्रचार शब्द है; यह निश्चित प्रभाव मॉडल पर मिश्रित प्रभाव मॉडल का उपयोग करने के लिए बिल्कुल प्रेरणा है, हालांकि यह सिर्फ मानक प्रतिगमन मॉडल ढांचे से परे फैली हुई है। मुझे लगता है कि बहुत से लोग अधिक सटीक "मिश्रित प्रभाव मॉडलिंग" के बजाय अधिक अस्पष्ट "मल्टीलेवल मॉडलिंग" कहते हैं क्योंकि यह अब अधिक फैशनेबल है।

— क्लिफ एबी

मैं कहूंगा कि प्रचार एमएल कागजात और ब्लॉग है, जहां यह तर्क दिया है कि आप में है की जरूरत है बायेसियन मॉडल बहुस्तरीय मॉडल लागू करने के लिए। मैं एक काम किए गए उदाहरण में दिलचस्पी लूंगा - जहां कोई नियमित रूप से प्रतिरूपित मॉडल (भविष्यवाणी के लिए) के खिलाफ तुलना करता है

— seanv507

इसके लायक क्या है, बेयसियन के लिए एकमात्र विकल्प अधिकतम संभावना है, जो कि एक समान पूर्व के साथ सिर्फ बायेसियन है। तो यह वास्तव में गलत नहीं है।

— छायाकार

@shadowtalker: यदि आप बेयसियन के लिए MLE विधियों पर विचार करते हैं, तो बेयसियन शब्द मूल रूप से आंकड़ों में अर्थहीन है। हालाँकि, यह कुछ गलतियाँ हैं जो मैं एमएल साहित्य में देखता हूं।

— क्लिफ एबी

Answer 4

मैं मान रहा हूं, क्योंकि आपने मशीन सीखने को टैग किया है कि आप अनुमान के बजाय भविष्यवाणी में रुचि रखते हैं। (मेरा मानना ​​है कि मैं @Glen_b के उत्तर के साथ गठबंधन कर रहा हूं, लेकिन सिर्फ इस संदर्भ / शब्दावली का अनुवाद कर रहा हूं)

मैं इस मामले में दावा करूंगा कि यह एक चर्चा है। एक समूह चर के साथ एक नियमित रैखिक मॉडल जानकारी उधार लेगा: व्यक्तिगत स्तर पर भविष्यवाणी समूह माध्य और व्यक्तिगत प्रभाव का एक संयोजन होगा। एल 1 / एल 2 नियमितीकरण के बारे में सोचने का एक तरीका यह है कि यह कुल त्रुटि में प्रति गुणांक लागत में कमी कर रहा है, क्योंकि एक समूह चर एक व्यक्ति चर की तुलना में अधिक नमूनों को प्रभावित करता है, एक समूह प्रभाव का अनुमान लगाने के लिए दबाव होगा, जिससे एक छोटा विचलन होगा प्रत्येक व्यक्ति चर के लिए समूह प्रभाव।

पर्याप्त डेटा वाले अलग-अलग बिंदुओं के लिए, अलग-अलग प्रभाव 'मजबूत' होगा, कम डेटा वाले लोगों के लिए, प्रभाव कमजोर होगा।

मुझे लगता है कि इसे देखने का सबसे आसान तरीका एल 1 नियमितीकरण और एक ही समूह के 3 व्यक्तियों पर एक ही प्रभाव के साथ विचार करना है। अनियमित रूप से, समस्या में समाधानों की अनंत संख्या होती है, जबकि नियमितीकरण एक अनूठा समाधान देता है।

समूह गुणांक के सभी प्रभाव को निर्दिष्ट करने के लिए सबसे कम एल 1 मानदंड है, क्योंकि हमें केवल 3 व्यक्तियों को कवर करने के लिए 1 मूल्य की आवश्यकता है। इसके विपरीत, अलग-अलग गुणांक के सभी प्रभाव को असाइन करना सबसे खराब है, अर्थात् समूह गुणांक को प्रभाव प्रदान करने के एल 1 मानक।

ध्यान दें कि हम जितने चाहें उतने पदानुक्रम हो सकते हैं, और बातचीत समान रूप से प्रभावित होती है: नियमितीकरण मुख्य चर को प्रभावित करेगा, बजाय दुर्लभ बातचीत के।

ब्लॉग tjmahr.com/plotting-partial-pooling-in-mixed-effects-models । - @IsabellaGhement द्वारा लिंक किया गया, उधार लेने की ताकत के लिए एक उद्धरण है

"इस प्रभाव को कभी-कभी संकोचन कहा जाता है, क्योंकि अधिक चरम मान संकोचन एक अधिक उचित, अधिक औसत मूल्य की ओर खींचे जाते हैं। lme4 पुस्तक में , डगलस बेट्स संकोचन [नाम] के लिए एक विकल्प प्रदान करता है"

शब्द "संकोचन" में नकारात्मक अर्थ हो सकते हैं। जॉन टुकी ने इस प्रक्रिया को एक-दूसरे से अलग-अलग विषयों "उधार लेने की ताकत" के अनुमान के रूप में संदर्भित करना पसंद किया। यह मिश्रित-प्रभाव वाले मॉडल बनाम कड़ाई से निश्चित प्रभाव वाले मॉडल के मॉडल में एक मूलभूत अंतर है। मिश्रित-प्रभाव वाले मॉडल में हम मानते हैं कि एक समूह कारक का स्तर एक आबादी से एक चयन है और परिणामस्वरूप, कुछ हद तक विशेषताओं को साझा करने की उम्मीद की जा सकती है। नतीजतन, मिश्रित-प्रभाव मॉडल से भविष्यवाणियों को कड़ाई से तय-प्रभाव वाले मॉडल से संबंधित के रूप में देखा जाता है।

Comments

यदि विशिष्ट प्रकार का अनुमान न हो तो भविष्यवाणी क्या है?

— छायाकार

Answer 5

एक अन्य स्रोत मैं इस विषय पर सिफारिश करना चाहूंगा जो मुझे विशेष रूप से शिक्षाप्रद लगता है डेविड रॉबिन्सन का परिचय अनुभवजन्य बेयस के लिए ।

उनका रनिंग उदाहरण इस बात का है कि क्या कोई बेसबॉल खिलाड़ी अगली गेंद को फेंकने के लिए प्रबंधन करेगा। प्रमुख विचार यह है कि यदि कोई खिलाड़ी वर्षों से आसपास है, तो उसके पास इस बात की बहुत स्पष्ट तस्वीर है कि वह कितना सक्षम है और विशेष रूप से, एक व्यक्ति अपने देखे गए बल्लेबाजी औसत का उपयोग अगले पिच में सफलता की संभावना के एक बहुत अच्छे अनुमान के रूप में कर सकता है।

इसके विपरीत, एक खिलाड़ी जिसने अभी-अभी लीग में खेलना शुरू किया है, उसने अभी तक अपनी वास्तविक प्रतिभा के बारे में बहुत कुछ नहीं बताया है। तो यह कुछ हद तक उसकी सफलता की संभावना के अनुमान को समायोजित करने के लिए एक बुद्धिमान विकल्प की तरह लगता है अगर वह अपने पहले कुछ खेलों में विशेष रूप से सफल या असफल रहा है, जैसा कि संभावना है, कम से कम कुछ हद तक, अच्छे या बुरे भाग्य के कारण ।

एक मामूली बिंदु के रूप में, शब्द "उधार" निश्चित रूप से इस अर्थ में उपयोग नहीं किया जाता है कि जो कुछ उधार लिया गया है उसे कुछ बिंदु पर वापस करने की आवश्यकता होगी ;-)।