लॉजिस्टिक रिग्रेशन और टी-टेस्ट की शक्ति की तुलना कैसे होती है?

Question

क्या लॉजिस्टिक रिग्रेशन और एक टी-टेस्ट की शक्ति बराबर है? यदि ऐसा है, तो उन्हें "डेटा घनत्व समतुल्य" होना चाहिए, जिसके द्वारा मेरा मतलब है कि अंतर्निहित टिप्पणियों की समान संख्या उसी शक्ति का उत्पादन करती है जिसे .05 का एक निश्चित अल्फा दिया जाता है। दो मामलों पर विचार करें:

1. [द पैरामीट्रिक टी-टेस्ट]: एक द्विपद अवलोकन से 30 ड्रॉ किए जाते हैं और परिणामी मान औसत होते हैं। यह समूह ए के लिए 30 बार किया जाता है (जिसमें होने का एक द्विपद प्र .70 होता है) और समूह बी के लिए 30 बार (जिसमें होने का .75 का द्विपद पूर्व होता है)। यह प्रति समूह 30 का मतलब है जो एक द्विपद वितरण से 1,800 ड्रॉ का सारांश दर्शाता है। साधनों की तुलना करने के लिए 58df टी-टेस्ट किया जाता है।
2. [द लॉजिस्टिक रिग्रेशन]: एक लॉजिस्टिक रिग्रेशन एक डमी कोडेड ढलान के साथ किया जाता है जो समूह सदस्यता और 1,800 ड्रॉ में से प्रत्येक का प्रतिनिधित्व करता है।

मेरे प्रश्न के दो भाग हैं:

1. .05 के एक सेट अल्फा को देखते हुए, क्या इन पद्धतियों की शक्ति समान या अलग होगी? क्यों? मैं इसे कैसे साबित कर सकता हूं?
2. क्या प्रश्न 1 का उत्तर टी-टेस्ट में जाने वाले नमूना आकारों, टी-टेस्ट में प्रत्येक समूह के नमूने आकार, अंतर्निहित द्विपद संभावनाओं, या किसी अन्य कारक के प्रति संवेदनशील है? यदि हां, तो मैं (सिमुलेशन के बिना) कैसे जान सकता हूं कि शक्ति वास्तव में अलग है और किस प्रकार के परिवर्तन से सत्ता में किस प्रकार के परिवर्तन होंगे? वैकल्पिक रूप से, काम किया आर कोड है कि सिमुलेशन का उपयोग कर इस मुद्दे को हल करती है।

Answer 1

अगर मैंने सही तरीके से गणना की है, तो लॉजिस्टिक रिगमेंटमेंट एसिम्पोटिकली टी-टेस्ट की समान शक्ति है। इसे देखने के लिए, इसकी लॉग लाइबिलिटी को लिखिए और इसके हेसियन की अपेक्षा इसकी वैश्विक अधिकतम पर गणना करें (इसका नकारात्मक अनुमान एमएल समाधान के भिन्नता-सहसंयोजक मैट्रिक्स है)। सामान्य लॉजिस्टिक पैरामीटर के साथ परेशान न करें: यह प्रश्न में दो संभावनाओं के साथ इसे सरल बनाने के लिए सरल है। विवरण इस बात पर निर्भर करेगा कि आप लॉजिस्टिक रिग्रेशन गुणांक के महत्व का परीक्षण कैसे करते हैं (कई विधियाँ हैं)।

इन परीक्षणों में समान शक्तियां भी आश्चर्यजनक नहीं होनी चाहिए, क्योंकि एमएल अनुमानों के लिए ची-स्क्वायर सिद्धांत लॉग संभावना के लिए एक सामान्य सन्निकटन पर आधारित है, और टी-टेस्ट अनुपात के वितरण के लिए एक सामान्य सन्निकटन पर आधारित है। इस मामले की जड़ यह है कि दोनों विधियां दो अनुपातों के समान अनुमान बनाती हैं और दोनों अनुमानों में समान मानक त्रुटियां हैं।

---

एक वास्तविक विश्लेषण अधिक ठोस हो सकता है। आइए किसी दिए गए समूह (A या B) के मानों के लिए कुछ सामान्य शब्दावली अपनाएँ:

• $p$ , 1 की संभावना है।
• $n$ ड्रॉ के प्रत्येक सेट का आकार है।
• $m$ ड्रॉ के सेट की संख्या है।
• डेटा की मात्रा है।$N = m n$
• (बराबर 0 या 1 )ड्राके i वें सेटमें j th परिणामका मानहै।$k_{ij}$$0$$1$$j^\text{th}$$i^\text{th}$
• , ड्रॉके i वें सेटमें कुल लोगों की संख्या है।$k_i$$i^\text{th}$
• $k$ लोगों की कुल संख्या है।

लॉजिस्टिक रिग्रेशन अनिवार्य रूप से p का ML अनुमानक है$p$ । इसका लघुगणक द्वारा दिया गया है

$$\log(\mathbb{L}) = k \log(p) + (N-k) \log(1-p).$$

पैरामीटर संबंध में इसके डेरिवेटिव हैं$p$

$$\frac{\partial \log(\mathbb{L})}{ \partial p} = \frac{k}{p} - \frac{N-k}{1-p} \text{ and}$$

$$-\frac{\partial^2 \log(\mathbb{L})}{\partial p^2} = \frac{k}{p^2} + \frac{N-k}{(1-p)^2}.$$

पहले शून्य पैदावार एमएल अनुमान स्थापना पी = कश्मीर / एन${\hat{p} = k/N}$ और प्लग है कि दूसरी अभिव्यक्ति की पारस्परिक में विचरण पैदावार पी ( 1 - पी ) / एन , जो मानक त्रुटि का वर्ग है।$\hat{p}(1 - \hat{p})/N$

टी आंकड़ा डेटा ड्रॉ के सेट के आधार पर वर्गीकृत के आधार पर आकलनकर्ता से प्राप्त किया जाएगा; अर्थात्, अंतर का अंतर (समूह ए से और समूह बी से दूसरे) उस अंतर की मानक त्रुटि से विभाजित होता है, जो कि साधनों के मानक विचलन से प्राप्त होता है। आइए किसी दिए गए समूह के लिए औसत और मानक विचलन को देखें। माध्य k / के बराबर है , जो एमएल आकलनकर्ता के समान है पी । प्रश्न मेंमानक विचलन ड्रा साधनों का मानक विचलन है; अर्थात्, यह k i / n के सेट का मानक विचलन है। यहाँ इस मामले की जड़ है, तो आइए कुछ संभावनाओं का पता लगाएं।$k/N$$\hat{p}$$k_i/n$

1. मान लीजिए डेटा समूहबद्ध नहीं हैं में सब पर ड्रॉ: यह है कि, और मीटर = एन । कश्मीर मैं ड्रा साधन हैं। उनका नमूना प्रसरण एन / ( एन - 1 ) बार के बराबर होता है$n = 1$$m = N$$k_{i}$$N/(N-1)$। इस से यह इस प्रकार है कि मानक त्रुटि के अलावा का एक पहलू से एमएल मानक त्रुटि के समान है$\hat{p}(1 - \hat{p})$ , जो अनिवार्य रूप से1 हैजबएन=1800। इसलिए - इस छोटे अंतर के अलावा - लॉजिस्टिक प्रतिगमन पर आधारित कोई भी परीक्षण एक टी-टेस्ट के समान होगा और हम अनिवार्य रूप से समान शक्ति प्राप्त करेंगे।$\sqrt{N/(N-1)}$$1$$N = 1800$

2. जब डेटा को समूहीकृत किया जाता है, तो बराबर (असली) p ( 1 - p ) / n का वेरिएंट होता है क्योंकि आंकड़े k i n n बर्नौली ( p ) वेरिएबल के योग का प्रतिनिधित्व करते हैं , जिनमें से प्रत्येक वेरिएशन p ( 1 / p ) के साथ होता है।$k_i/n$$p(1-p)/n$$k_i$$n$$p$ । इसलिएइन मानोंके मा केमाध्य कीअपेक्षितमानक त्रुटि p ( 1 - p ) / n / mवर्गमूल है$p(1-p)$$m$ , पहले की तरह।$p(1-p)/n/m = p(1-p)/N$

नंबर 2 इंगित करता है कि परीक्षण की शक्ति सराहनीय रूप से भिन्न नहीं होनी चाहिए कि ड्रॉ को कैसे लागू किया जाता है (यह है कि कैसे और n के साथ m n = N के लिए विविध विषय हैं ), इसके अलावा शायद नमूने में समायोजन से काफी छोटे प्रभाव से। विचरण (जब तक आप इतने मूर्ख नहीं थे कि प्रत्येक समूह के भीतर ड्रॉ के बहुत कम सेट का उपयोग करें)।$m$$n$$m n = N$

सीमित सिमुलेशन की तुलना में से p = 0.74 (10,000 पुनरावृत्तियों के साथ) में m = 900 , n = 1 (अनिवार्य रूप से लॉजिस्टिक प्रतिगमन) शामिल है; m = n = 30 ; और m = 2 , n = 450 (नमूना प्रसरण समायोजन को अधिकतम करते हुए) इसे सहन करते हैं: शक्ति ( α = $p = 0.70$$p = 0.74$$m = 900, n = 1$$m = n = 30$$m = 2, n = 450$$\alpha = 0.05$पहले दो मामलों में एकतरफा) 0.59 है जबकि तीसरे में, जहां समायोजन कारक एक सामग्री परिवर्तन करता है (1798 या 58 के बजाय अब सिर्फ दो डिग्री की स्वतंत्रता है), यह 0.36 तक गिर जाता है। से p = 0.52 की तुलना में एक और परीक्षण क्रमशः 0.22, 0.21, और 0.15 की शक्तियां देता है: फिर से, हम बिना किसी समूह से ड्रॉ (= लॉजिस्टिक रिग्रेशन) के 30 समूहों में समूहीकरण करने के लिए एक मामूली बूंद का निरीक्षण करते हैं और एक महत्वपूर्ण गिरावट होती है। सिर्फ दो समूहों के लिए।$p = 0.50$$p = 0.52$

इस विश्लेषण के नैतिक हैं:

1. तुम हार ज्यादा है जब आप अपने विभाजन नहीं है एक बड़ी संख्या में डेटा मानों मीटर "ड्रॉ" के अपेक्षाकृत छोटे समूहों में से।$N$$m$
2. आप पर्याप्त शक्ति समूहों की कम संख्या (का उपयोग कर खो सकते हैं छोटा है, एन - बड़ी है समूह प्रति डेटा की --The राशि)।$m$$n$
3. आप अपने डेटा मूल्यों को "ड्रॉ" में बिल्कुल भी समूहबद्ध नहीं कर रहे हैं । बस उन्हें विश्लेषण के रूप में (किसी भी उचित परीक्षण का उपयोग करके, लॉजिस्टिक प्रतिगमन और टी-परीक्षण सहित)।$N$

Comments

@suncoolsu यह शर्म की बात है कि हम अपडेट को वोट नहीं कर सकते ...

— chl

@chl .. मैं सहमत हूं, मैं (+2) :-) देना चाहूंगा, वास्तव में मैंने इस सवाल के बारे में इतनी गहराई से कभी नहीं सोचा था।

— सनकूलू

बिल ह्यूबर से हमेशा की तरह एक टूर डी बल। द्वितीय प्रश्न को देखो कि कैसे एक लॉजिस्टिक प्रतिगमन के साथ टी परीक्षण के लिए शक्ति की तुलना करने के लिए हैरान है। लेकिन ऐसा लगता है कि समानता अनुपात .. परीक्षण का कार्य करने के लिए दोनों तरीकों रहा है

— माइकल आर Chernick

Answer 2

यहाँ आर में कोड है जो व्हिबर के उत्तर के सिमुलेशन को दिखाता है । मेरा आर कोड सुधारने पर प्रतिक्रिया स्वागत से अधिक है।

N <- 900            # Total number data points
m <- 30;            # Size of draw per set
n <- 30;            # No of sets

p_null <- 0.70;     # Null hypothesis
p_alternate <- 0.74 # Alternate hypothesis
tot_iter <- 10000;

set.seed(1);        # Initialize random seed
null_rejected <- 0; # Set counter to 0
for (iter in 1:tot_iter)
{
    draws1 <- matrix(0,m,n);
    draws2 <- matrix(0,m,n);
    means1 <- matrix(0,m);
    means2 <- matrix(0,m);

    for (obs in 1:m)
    {
        draws1[obs,] <- rbinom(n,1,p_null);
        draws2[obs,] <- rbinom(n,1,p_alternate);

        means1[obs,] <- mean(draws1[obs,]);
        means2[obs,] <- mean(draws2[obs,]);
    }
    if (t.test(means1,means2,alternative="l")$p.value <= 0.05)
    {
        null_rejected <- null_rejected + 1; 
    }
}
power <- null_rejected / tot_iter

Comments

इसे साझा करने के लिए आपको धन्यवाद! (। मैं सभी मापदंडों चर बनाने और उन्हें स्पष्ट रूप से टिप्पणी की अपनी शैली की तरह) मैं सभी वोट बाहर आज कर रहा हूँ :-( तो मैं यह वोट दें करने के लिए इंतज़ार करना होगा।

— whuber

replicate()rbinom() $k${*}apply()

@chl धन्यवाद मैं आर सीखने के लिए इन सवालों का उपयोग कर रहा हूं! इसलिए, आपकी जैसी प्रतिक्रिया बहुमूल्य है।

@Skrikant LOL मैं बस जोड़ रहा था: "BTW मुझे उस तरह पसंद है जैसे आप R सीखते हैं!"

— chl

मैं उलझन में हूं; क्या यह केवल t.test की शक्ति नहीं देता है?

— russellpierce