अनुपात और बाइनरी क्लासिफायरियर के लिए टेस्ट

Question

मैं एक प्रोटोटाइप मशीन उत्पादन भागों है।

पहले परीक्षण में मशीन भागों का उत्पादन करती है और एक बाइनरी क्लासिफायरियर मुझे बताता है कि भाग दोषपूर्ण हैं ( , आमतौर पर और ) और भाग अच्छे हैं।घ 1 घ 1 < एन 1 घ 1 / एन 1 < 0.01 एन 1 ≈ 10 4 एन 1 - डी $N_1$$d_1$$d_1 < N_1$$d_1/N_1<0.01$$N_1\approx10^4$$N_1-d_1$

फिर एक तकनीशियन दोषपूर्ण भागों की संख्या को कम करने के लिए मशीन में कुछ बदलाव करता है।

एक दूसरे और बाद के परीक्षण में संशोधित मशीन भागों का उत्पादन और वही बाइनरी (अछूता) मुझे बताता है कि भाग दोषपूर्ण हैं, वैसे भी समान है ।डी २ डी २ / एन २ डी १ / एन $N_2$$d_2$$d_2/N_2$$d_1/N_1$

तकनीशियन जानना चाहेंगे कि क्या उनके बदलाव प्रभावी हैं।

यह मानते हुए कि क्लासिफायर सही है (इसकी संवेदनशीलता 100% है और इसकी विशिष्टता 100% है), मैं अनुपात के लिए एक परीक्षण कर सकता हूं (आर के साथ, मैं सिर्फ टाइप करता हूं prop.test(c(d1,d2),c(N1,N2)))।

लेकिन क्लासिफायरियर सही नहीं है, इसलिए मैं तकनीशियन को सही तरीके से जवाब देने के लिए क्लासिफायर की संवेदनशीलता और विशिष्टता दोनों को कैसे ध्यान में रख सकता हूं?

Comments

क्या आप क्लासिफायर की सटीकता दर की पुष्टि कर सकते हैं?

— मिशेल

@ मैं बिना त्रुटि और जानता हूं, लेकिन मुझे नहीं पता कि कितने दोषपूर्ण भागों को अच्छे के रूप में मिसकैरेज किया जाता है। डी $d_1$$d_2$

— एलेसेंड्रो जैकप्सन

फिर से नमस्कार। क्या आप झूठी सकारात्मक दर का अनुमान लगाने के लिए, एन 1 और एन 2 से अलग-अलग हिस्सों का एक अच्छा नमूना अलग से कर सकते हैं?

— मिशेल

इस जानकारी के साथ, क्या आप परिवर्तनों की तुलना करने के लिए इस पद्धति का उपयोग कर सकते हैं? onlinelibrary.wiley.com/doi/10.1002/sim.906/abstract भी यहाँ देख ncbi.nlm.nih.gov/pubmed/18224558 और अन्य विचार यहाँ, पूरा पाठ: stat.colostate.edu/~bradb/papers/lrgraphfinal। पीडीएफ

— मिशेल

(+1) यह एक महान प्रश्न है!

— स्टीफन

Answer 1

इसलिए मैं इसे पहले सिद्धांतों से प्राप्त कर रहा हूं, और इस प्रकार यह निश्चित नहीं है कि यह सही है। यहाँ मेरे विचार हैं:

EDIT: यह पहले बहुत सही नहीं था। मैंने इसे अपडेट किया है।

1. चलिए को वास्तविक पॉज़िटिव की वास्तविक संख्या और बाइनरी क्लासिफायर द्वारा संख्या आउटपुट के बीच अपेक्षित अंतर को सूचित करते हैं जिसे हम । आप इसे अपने क्लासीफायर को ज्ञात लेबल के साथ सेट पर चलाकर माप सकते हैं। क्लासिफायर द्वारा उत्पादित पॉज़िटिव की संख्या से वास्तविक सकारात्मक की संख्या को घटाएं, और फिर को पाने के लिए द्वारा विभाजित करें ।d 1 ^ d 1 N $\alpha$$d_1$$\hat{d_1}$$N$$\alpha$

2. इसलिए, दोषपूर्ण भागों के वास्तविक अनुपात के लिए एक बिंदु अनुमान इस प्रकार दिया गया है: । अर्थात्, दोषपूर्ण भागों की देखी गई संख्या, झूठी सकारात्मक की अपेक्षित संख्या कम, और झूठी नकारात्मक की अपेक्षित संख्या।$\hat{\frac{d_1}{N_1}} = \frac{d_1 + \alpha * N_1}{N_1}$

3. इसी प्रकार,$\hat{\frac{d_2}{N_2}} = \frac{d_2 + \alpha * N_2}{N_2}$

4. तो, अब एक प्रोप टेस्ट करते हैं। मानक प्रोप टेस्ट में, हम पहले शून्य मान के रूप में उपयोग किए गए पूल किए गए अनुपात की गणना करते हैं: । इसलिए यहाँ, हमने अपने बिंदु के अनुमानों में और को प्राप्त करने के लिए: ^ डी $p= \frac{p_1*N_1 + p_2*N_2}{N_1 + N_2}$ ^डी$\hat{\frac{d_1}{N_1}}$$\hat{\frac{d_2}{N_2}}$$p= \frac{d_1 + d_2 + \alpha * (N_1 + N_2)}{N_1 + N_2}$

5. और फिर मानक त्रुटि सामान्य है:$\sqrt{p*(1-p)*(\frac{1}{N_1} + \frac{1}{N_2})}$

6. और परीक्षण आँकड़ा एक ही है:$z = \frac{\frac{d_1}{N_1} - \frac{d_2}{N_2}}{se}$

व्याख्या पर कुछ विचार:

• मॉडल मानक त्रुटि के लिए काल्पनिक मान पैदा कर सकता है। यह तब होगा जब , जो मामला तब होगा जब हम त्रुटियों की संख्या का अनुमान लगाते हैं कि क्लासिफायर का उत्पादन हमारे द्वारा देखी गई संख्या से अधिक है। उदाहरण के लिए, मान लें कि हम अपने क्लासिफायर से अपेक्षा करते हैं कि किसी भी सकारात्मकता वाले नमूने को दिए जाने पर भी औसतन 5 सकारात्मक का उत्पादन करें। यदि हम 4 सकारात्मकता का निरीक्षण करते हैं, तो यह ऐसा है जैसे कोई संकेत नहीं है: हमारा परिणाम क्लासिफायरियर द्वारा उत्पादित शोर से अप्रभेद्य है। इस मामले में, हमें अशक्त परिकल्पना को अस्वीकार नहीं करना चाहिए, मुझे लगता है।$p < 0$

• इसके बारे में सोचने का एक और तरीका यह है कि, यदि क्लासिफायर के लिए दोषपूर्ण भागों की संख्या त्रुटि के मार्जिन के भीतर है, तो निश्चित रूप से हम यह नहीं बता सकते हैं कि क्या कोई अंतर है: हम यह भी नहीं बता सकते हैं कि क्या कोई भी भाग दोषपूर्ण है!

के आकलन में त्रुटियों को शामिल करना :$\alpha$

• मैंने इसके बारे में कुछ और सोचा, और मुझे लगता है कि कई तरीके हैं जो आप ऐसा कर सकते हैं, लेकिन अनिवार्य रूप से आप के वितरण का अनुमान प्राप्त करना चाहते हैं । आदर्श रूप से आप ऐसा करेंगे कि आप इस पद्धति का उपयोग करने का इरादा रखने वाले डेटा सेटों के प्रतिनिधि नमूने पर का अनुमान प्राप्त करने के लिए अपनी प्रक्रिया को दोहराएंगे । यदि यह संभव नहीं है, तो आप इससे नमूने खींचकर किसी एकल डेटासेट पर बूटस्ट्रैप कर सकते हैं, हालांकि यह आदर्श नहीं है जब तक कि आपका एकल डैटसेट आपके द्वारा परवाह किए जाने वाले सभी सेटों का प्रतिनिधि न हो।$\alpha$$\alpha$

मान लीजिए कि हम एक आत्मविश्वास के साथ एक आत्मविश्वास अंतराल की गणना करना चाहते हैं ।$h$

• बूटस्ट्रैप्ड वितरण का उपयोग करके पर आत्मविश्वास अंतराल की गणना करें । प्रत्येक प्रक्रिया के ऊपर बिंदु को प्लग करें, इसे (बहुत रूढ़िवादी या बहुत ही उदारवादी) बिंदु अनुमान के रूप में लिए उपयोग करें और प्रोप टेस्ट के उपयोग के अनुपात में अंतर के अनुमान के लिए विश्वास अंतराल का पता लगाएं। । मान लीजिए कि हमें के निम्न और उच्च मूल्यों के अंतराल के रूप में अंतराल ( और । फिर अंतराल (जिसमें पहले के दोनों अंतराल शामिल हैं) अनुपात में अंतर के लिए एक (1-एच) * 100% CI होना चाहिए ... मुझे लगता है ...$\frac{h}{2}$$\alpha$$\alpha$$\frac{h}{2}$$low_l, low_r)$$(high_l, high_r)$$\alpha$$(high_l,low_r)$

नोट: उपरोक्त में मैंने 1 पक्षीय परीक्षण मान लिया है। आप इस तथ्य के लिए 2 से भाग लेते हैं कि आप दो स्वतंत्र परिकल्पनाओं का परीक्षण कर रहे हैं ( अंतराल आपके विचार में है और परीक्षण आँकड़ा एक महत्वपूर्ण अंतर है)। यदि आप दो-पूंछ वाले परीक्षण करना चाहते हैं, तो इसके बजाय 4 से विभाजित करें।$\alpha$

Comments

+1, धन्यवाद। 6 में आपने "स्टेटिक" लिखा, क्या आपका मतलब "स्टेटिस्टिक" था?

— एलेसेंड्रो जकॉपसन

अपने पहले बुलेट पॉइंट में आप एक काल्पनिक मानक त्रुटि देते हुए पर विचार करते हैं । बारे में क्या (जो एक काल्पनिक मानक त्रुटि भी दे सकता है)? क्या प्राप्त करना संभव है ? $p<0$$0<p<1$$0<p<1$

— एलेसैंड्रो जैकोसन

अपने दूसरे बुलेट बिंदु में, आपने "विचरण" के बारे में लिखा है, आपका क्या मतलब है? मेरी समझ निम्नलिखित है: मान लें कि मैं पहले परीक्षण के अच्छे लोगों से आकार का एक नमूना लेता हूं और 7 दोषपूर्ण भागों को पाया, तो अगर मैं मान हूं मैं में किसी भी विचरण को अनदेखा करूंगा । दूसरी तरफ मैं लिए एक विश्वास अंतराल प्राप्त कर सकता हूं (उदाहरण के लिए आर के साथ ) और फिर इसे मॉडल में शामिल करें। क्या मैं सही हू? $0.01(N1−d1)\approx100$$\beta=\frac{7}{100}$$\beta$$\beta$prop.test(7,100)

— एलेसांद्रो जैकॉपसन

@uvts_cvs हां, यह "सांख्यिकीय" होना चाहिए। मैं इसे एक पल में ठीक कर दूंगा। मानक त्रुटि के लिए गणना में एक टाइपो भी है, जिसके बजाय पी * (1-पी) होना चाहिए। P हमेशा <1 होना चाहिए, सिवाय इसके कि अगर आपका क्लासिफायर वास्तव में खराब है और d बड़ा है। आपकी तीसरी टिप्पणी के लिए, हाँ, यह विचार है। मुझे यकीन नहीं है कि मॉडल में उस अनुमान को कैसे शामिल किया जाए। शायद यहाँ कोई और जानता है?

— जॉन डौकेट

स्वीकार करने के लिए धन्यवाद, लेकिन कल रात से मैंने इस पर कुछ और सोचा है (वैसे बहुत अच्छा सवाल!), और इसमें कुछ विचार हैं कि कैसे विचरण को शामिल किया जाए। इसके अलावा, मैंने महसूस किया कि यह मॉडल बिल्कुल सही नहीं है। गुणा करने की आवश्यकता की संख्या से नकारात्मक मिसाल और की संख्या से सकारात्मक मिसाल। मैं इसके माध्यम से काम करूंगा और इसे बाद में अपडेट करूंगा। $\alpha$$\beta$

— जॉन डकेट