बायेसियन ए / बी टेस्ट को कब समाप्त करना है?

10

मैं ए / बी परीक्षण करने का प्रयास कर रहा हूं, बेसिकियन तरीके से, जैसा कि हैकर्स और बायेसियन ए / बी परीक्षणों के लिए प्रोबैबीलिस्टिक प्रोग्रामिंग में । दोनों लेखों का मानना है कि निर्णय निर्माता यह तय करता है कि कौन सा वेरिएंट पूरी तरह से कुछ मानदंड की संभावना पर आधारित है, जैसे इसलिए, बेहतर है। यह संभावना इस बात पर कोई जानकारी नहीं देती है कि इससे पर्याप्त निष्कर्ष निकालने के लिए पर्याप्त मात्रा में डेटा था या नहीं। इसलिए, मुझे यह स्पष्ट नहीं है कि परीक्षण कब रोकना है। $P(p_A > p_B) = 0.97$ $A$

मान लीजिए कि दो बाइनरी आरवी, और , और मैं अनुमान लगाना चाहता हूं कि यह कितनी संभावना है कि , और $A$ $B$ $p_A > p_B$ औरकी टिप्पणियों के आधार पर। इसके अतिरिक्त, मान लीजिए किऔरपोस्टरीयर बीटा-वितरित हैं। $\frac{p_A - p_B}{p_A} > 5\%$ $A$ $B$ $p_A$ $p_B$

जब से मैं पा सकते हैं के लिए मानकों $\alpha, \beta$ और $p_A\,|\,\text{data}$ , मैं डाकियों का नमूना ले सकता हूं, और अनुमान लगा सकता हूं । अजगर में उदाहरण: $p_B\,|\,\text{data}$ $P(p_A > p_B\ |\ \text{data})$

import numpy as np

samples = {'A': np.random.beta(alpha1, beta1, 1000),
           'B': np.random.beta(alpha2, beta2, 1000)}
p = np.mean(samples['A'] > samples['B'])

मैं प्राप्त कर सकता हूं, उदाहरण के लिए, । अब मैं कुछ ऐसा करना चाहते हैं हैं । $P(p_A > p_B) = 0.95$ $P(p_A > p_B\ |\ \text{data}) = 0.95 \pm 0.03$

मैंने विश्वसनीय अंतराल और बेयर्स कारकों के बारे में शोध किया है, लेकिन यह समझ नहीं पा रहा है कि इस मामले के लिए उनकी गणना कैसे करें यदि वे बिल्कुल भी लागू हैं। मैं इन अतिरिक्त आंकड़ों की गणना कैसे कर सकता हूं ताकि मेरे पास एक अच्छा समाप्ति मानदंड हो?

bayesian beta-binomial

— बोगदान कुलीनेच
स्रोत

1

इसके बारे में एक अच्छा लेख, गणना के साथ एक उदाहरण के लिए परिशिष्ट की जांच करें ... support.google.com/analytics/answer/2844870?hl=en

— Fabio Beltramini

10

मुझे खुशी है कि आपने इस उदाहरण का उल्लेख किया है, क्योंकि मैं जिस परियोजना पर काम कर रहा हूं, वह बायेसियन ए / बी परीक्षण पर एक पूरा अध्याय लिख रहा है।

हम दो मात्राओं में रुचि रखते हैं: और "वृद्धि" के कुछ उपाय। मैं पर चर्चा करूंगा $P( p_A > p_B \;|\; data)$ पहली मात्रा। $P( p_A > p_B \;|\; data)$

पर कोई त्रुटि सीमा नहीं है $P( p_A > p_B \;|\; \text{data})$

$P(p_A > p_B \;|\; \text{data}) = 0.95$

$p_A > p_B$ $p_A$ $p_B$ $\frac{p_A - p_B}{p_B} >$

$p_A > p_B$ $\frac{p_A - p_B}{p_B}$

यहां छवि विवरण दर्ज करें

जैसे-जैसे अधिक से अधिक डेटा प्राप्त होता है, यह वितरण वास्तविक सापेक्ष वृद्धि में परिवर्तित हो जाता है, कोई कह सकता है कि वितरण स्थिर हो जाता है। यह वह जगह है जहां मैं प्रयोग को समाप्त करने के बारे में सोचने का सुझाव देता हूं। एक बार जब यह वितरण "शांत" होता है, और हम वृद्धि के बारे में आश्वस्त महसूस कर सकते हैं, तो प्रयोग को समाप्त कर दें।

— Cam.Davidson.Pilon
स्रोत

उत्तर के लिए धन्यवाद! जल्द ही नए अध्याय को देखने के लिए उत्सुक हैं। अभी के लिए, मैं नमूने के विचरण पर विचार कर रहा हूँ

\frac{p_{A} - p_{B}}{p_{A}}

$\frac{p_A - p_B}{p_A}$

हे @ Cam.Davidson.Pilon, आपके उत्तर के लिए धन्यवाद। मैं अभी भी संभावनाएं देने में उलझन में हूं जैसे: "संभावना ए 10% बी से बेहतर है एक्स%" मैंने 2 वितरण बनाए; एक दूसरे की तुलना में 10% बेहतर है, और विशाल एन मूल्य का उपयोग किया है, इसलिए अंतर (ए / बी -1), 10% के औसत के साथ सामान्य-समान वितरण है। इसलिए (diff> .10) .mean () रिटर्न ~ 50%, लेकिन क्या यह 100% नहीं होना चाहिए?

— कैनक्लेन

@CanCeylan क्या आपके पास साझा करने के लिए कोड है? मुझे यकीन नहीं है कि आपने वितरण कैसे बनाए ...

— Cam.Davidson.Pilon

0

मैं एक बायेसियन ए / बी टेस्ट को रोकने के तरीकों के साथ प्रयोग कर रहा हूं और आप सही हैं - चारों ओर घूमने से कई स्पष्ट तरीके नहीं हैं। मुझे सबसे ज्यादा पसंद आने वाली विधि एक सटीक आधारित विधि है, जो इस पर आधारित है: http://doingbayesiandataanalysis.blogspot.com/2013/11/optional-stopping-in-data-collection-p.html । हालाँकि, मुझे इसके आस-पास बहुत गणितीय साहित्य नहीं मिला है, इसलिए अभी यह सिर्फ एक अच्छा अनुमान है।

$P(A > B | data)$

— ilanman
स्रोत

0

बायेसियन ए / बी परीक्षण में निर्णय लेने के लिए दो मुख्य दृष्टिकोण प्रतीत होते हैं। पहला एक इंडियाना यूनिवर्सिटी (के। क्रूसके, बेयसियन एस्टिमेशन द टी टेस्ट, जर्नल ऑफ एक्सपेरिमेंटल साइकोलॉजी: जनरल, 142, 573 (2013)) से जॉन क्रूसके द्वारा एक पेपर पर आधारित है। इस पत्र में उपयोग किया जाने वाला निर्णय नियम रीजन ऑफ प्रैक्टिकल इक्विवेलेंस (ROPE) की अवधारणा पर आधारित है।

एक अन्य संभावना एक प्रत्याशित हानि की अवधारणा का उपयोग करना है। यह क्रिस स्टुचियो (सी। स्टुचियो, बायेसियन ए / बी परीक्षण VWO पर) द्वारा प्रस्तावित किया गया है। यह एक और दृष्टिकोण है जिस पर मैं विचार करूंगा।

$(p_A - p_B) / p_A$

आप इस ब्लॉग पोस्ट में अधिक पा सकते हैं: बायेसियन ए / बी परीक्षण: एक कदम-दर-चरण मार्गदर्शिका । इसमें कुछ पायथन कोड स्निपेट भी शामिल हैं, जो ज्यादातर गिथूब पर होस्ट किए गए पायथन प्रोजेक्ट पर आधारित हैं ।

— cbellei
स्रोत