एनोवा बनाम कई रैखिक प्रतिगमन? प्रायोगिक अध्ययनों में ANOVA का आमतौर पर उपयोग क्यों किया जाता है?

24

एनोवा बनाम कई रैखिक प्रतिगमन?

मैं समझता हूं कि ये दोनों विधियाँ एक ही सांख्यिकीय मॉडल का उपयोग करती हैं। हालाँकि मुझे किन परिस्थितियों में किस विधि का उपयोग करना चाहिए?

तुलना करने पर इन तरीकों के फायदे और नुकसान क्या हैं?

ANOVA का प्रयोग आमतौर पर प्रायोगिक अध्ययनों में क्यों किया जाता है और मैं शायद ही कभी प्रतिगमन अध्ययन पाता हूं?

anova multiple-regression least-squares

— फ्लोरियन
स्रोत

5

चूंकि दोनों एक ही मॉडल का उपयोग करते हैं, इसलिए इससे कोई फर्क नहीं पड़ता कि आप किसका उपयोग करते हैं।

— पीटर Flom - को पुनः स्थापित मोनिका

3

जब मैं ढलानों की तुलना कर रहा होता हूं, तो मैं इसे प्रतिगमन कहता हूं, अर्थात निरंतर भविष्यवक्ता चर, और ANOVA जब मैं साधनों की तुलना कर रहा होता हूं, तो श्रेणीबद्ध भविष्यवक्ता चर। प्रायोगिक अध्ययनों में आपको एनोवा अधिक देखने को मिलता है क्योंकि वे ज्यादातर तुलनात्मक साधनों, या उपचार के स्तरों जैसे कि पादप वृद्धि पर विभिन्न उर्वरकों की तुलना करते हैं। लेकिन जैसा कि @PeterFlom ने पहले ही कहा था कि दोनों एक ही मॉडल का उपयोग करते हैं और इससे कोई फर्क नहीं पड़ता कि आप किसका उपयोग करते हैं - केवल एक चीज जो अलग दिखती है वह है आउटपुट जो वे आपको देते हैं - और आपके प्रश्न के आधार पर आप "प्रतिगमन" आउटपुट चाहते हैं या नहीं "एनोवा" आउटपुट।

— स्टेफन

2

हम्म लेकिन आप डमी कोडिंग के माध्यम से एक प्रतिगमन में श्रेणीबद्ध भविष्यवाणियों को भी शामिल कर सकते हैं?

— फ्लोरिअन

हां बिल्कुल!

— स्टेफन

4

आपका प्रश्न बहुत मान्य है, और CV पर विभिन्न दृष्टिकोणों से कई बार संबोधित किया गया है। इन परीक्षणों की नकली प्रकृति हैरान करने वाली है। यह कहना आसान है कि एनोवा = रैखिक प्रतिगमन, और मुझे लगता है कि अब तक की गई सभी टिप्पणियां सहायक और बिंदु पर हैं, लेकिन वास्तविकता थोड़ी अधिक बारीक और समझने में कठिन है, खासकर यदि आप विश्लेषण की छतरी के नीचे ANCOVA को शामिल करते हैं विचरण। अन्य प्रविष्टियों की जाँच करें, जैसे कि यह एक । मैं आपका प्रश्न +1 कर रहा हूं, हालांकि यह कड़ाई से बोल रहा है, एक डुप्लिकेट है। क्या आप एक पूर्व दे सकते हैं?

— एंटोनी परेलाडा

22

यह सराहना करना दिलचस्प होगा कि विचलन चर के प्रकार में है , और विशेष रूप से व्याख्यात्मक चर के प्रकार । विशिष्ट एनोवा में हमारे पास अलग-अलग समूहों के साथ एक श्रेणीबद्ध चर है , और हम यह निर्धारित करने का प्रयास करते हैं कि क्या समूहों के बीच एक सतत चर का माप अलग है। दूसरी ओर, ओएलएस को मुख्य रूप से एक निरंतर प्रतिगमन या प्रतिक्रिया चर और एक या एक से अधिक रजिस्टरों या व्याख्यात्मक चर के बीच संबंधों का आकलन करने का प्रयास माना जाता है । इस अर्थ में प्रतिगमन को एक अलग तकनीक के रूप में देखा जा सकता है, जो प्रतिगमन रेखा के आधार पर मूल्यों की भविष्यवाणी करने के लिए उधार देता है।

हालाँकि , यह अंतर एनोवा के विस्तार के बाकी वर्णमाला वर्णमाला सूप (ANCOVA, MANOVA, MANCOVA) के विस्तार के लिए नहीं है; या OLS प्रतिगमन में डमी-कोडेड चर का समावेश। मैं विशिष्ट ऐतिहासिक स्थलों के बारे में स्पष्ट नहीं हूं, लेकिन यह ऐसा है जैसे दोनों तकनीकों ने तेजी से जटिल मॉडलों से निपटने के लिए समानांतर अनुकूलन विकसित किया है।

उदाहरण के लिए, हम देख सकते हैं कि डमी (या श्रेणीबद्ध) चर (बातचीत के साथ दोनों मामलों में) के साथ ANCOVA बनाम OLS के बीच अंतर कॉस्मेटिक सबसे अधिक हैं। कृपया अपने प्रश्न के शीर्षक में सीमांतों से मेरे प्रस्थान का बहाना करें, कई रैखिक प्रतिगमन के बारे में।

दोनों मामलों में, मॉडल अनिवार्य रूप से बात करने के लिए समान है कि आर में है समारोह ANCOVA बाहर ले जाने के लिए किया जाता है । हालांकि, इसे प्रतिगमन मॉडल में कारक (या श्रेणीबद्ध) चर के पहले स्तर (या समूह) के अनुरूप एक अवरोधन को शामिल करने के संबंध में अलग-अलग रूप में प्रस्तुत किया जा सकता है।lm

एक संतुलित मॉडल (समान रूप से समूहों में, ) और केवल एक कोवरिएट (मैट्रिक्स प्रस्तुति को सरल बनाने के लिए) में, ANCOVA में मॉडल मैट्रिक्स का कुछ भिन्नता के रूप में सामना किया जा सकता है: $i$ $n_{1,2,\cdots\, i}$

X = [\begin{matrix} 1_{n_{1}} & 0 & 0 & x_{n_{1}} & 0 & 0 \\ 0 & 1_{n_{2}} & 0 & 0 & x_{n_{2}} & 0 \\ 0 & 0 & 1_{n_{3}} & 0 & 0 & x_{n_{3}} \end{matrix}]

$X=\begin{bmatrix} 1_{n_1} & 0 & 0 & x_{n_1} & 0 & 0\\ 0 & 1_{n_2} & 0 & 0 & x_{n_2} & 0\\ 0 & 0 & 1_{n_3} & 0 & 0 & x_{n_3} \end{bmatrix}$

के लिए कारक चर के समूह, ब्लॉक मैट्रिक्स के रूप में व्यक्त किया। $3$

यह रैखिक मॉडल से मेल खाती है:

y = α_{i} + β_{1} x_{n_{1}} + β_{2} x_{n_{2}} + β_{3} x_{n_{3}} + ϵ_{i}

$y = \alpha_i + \beta_1\, x_{n_1}+ \beta_2\,x_{n_2} \,+ \beta_3\,x_{n_3}\,+ \epsilon_i$ साथ एक एनोवा में अलग समूह साधन के बराबर मॉडल, जबकि विभिन्न के समूह में से प्रत्येक के लिए कोवरिएट के ढलान हैं।

α_{i}

$\alpha_i$

β

$\beta$

प्रतिगमन क्षेत्र में और विशेष रूप से आर में एक ही मॉडल की प्रस्तुति, एक समूह में से एक के अनुरूप एक समग्र अवरोधन मानती है, और मॉडल मैट्रिक्स को निम्न रूप में प्रस्तुत किया जा सकता है:

एक्स = [\begin{matrix} ⋮ & 0 & 0 & ⋮ & 0 & 0 & 0 \\ {जम्मू}_{3 n, 1} & 1_{n_{2}} & 0 & एक्स & 0 & {एक्स}_{n_{2}} & 0 \\ ⋮ & 0 & 1_{n_{3}} & ⋮ & 0 & 0 & {एक्स}_{n_{3}} \end{matrix}]

$X=\begin{bmatrix} \color{red}\vdots & 0 & 0 &\color{red}\vdots & 0 &0 & 0\\ \color{red}{J_{3n,1}} & 1_{n_2} & 0 & \color{red}{x} & 0 & x_{n_2} & 0\\ \color{red}\vdots& 0 & 1_{n_3} & \color{red}\vdots & 0 & 0 & x_{n_3} \end{bmatrix}$

OLS समीकरण के:

y = β_{0} + μ_{मैं} + β_{1} {एक्स}_{n_{1}} + β_{2} {एक्स}_{n_{2}} + β_{3} {एक्स}_{n_{3}} + ε_{मैं}

$y =\color{red}{\beta_0} + \mu_i +\beta_1\, x_{n_1}+ \beta_2\,x_{n_2} \,+ \beta_3\,x_{n_3}\,+ \epsilon_i$ ।

इस मॉडल में, समग्र अवरोधन को प्रत्येक समूह स्तर पर द्वारा संशोधित किया जाता है , और समूह में बहुत अधिक ढलान होते हैं। $\beta_0$ $\mu_i$

जैसा कि आप मॉडल मैट्रिसेस से देख सकते हैं, प्रस्तुति विचलन के विश्लेषण और विश्लेषण के बीच वास्तविक पहचान को प्रमाणित करती है।

मुझे कोड की कुछ पंक्तियों और आर में मेरे पसंदीदा डेटा सेट केmtcars साथ इसे सत्यापित करना पसंद है । मैं यहाँlm उपलब्ध बेन बोल्कर के कागज के अनुसार ANCOVA के लिए उपयोग कर रहा हूँ ।

mtcars$cyl <- as.factor(mtcars$cyl)         # Cylinders variable into factor w 3 levels
D <- mtcars  # The data set will be called D.
D <- D[order(D$cyl, decreasing = FALSE),]   # Ordering obs. for block matrices.

model.matrix(lm(mpg ~ wt * cyl, D))         # This is the model matrix for ANCOVA

सवाल के भाग के रूप में क्या विधि का उपयोग करने के लिए (आर के साथ प्रतिगमन!) आप इस पोस्ट पर लिखते हुए इस ऑन-लाइन कमेंट्री को चकित कर सकते हैं ।

— एंटोनी परेलाडा
स्रोत

1

इस बेहद उपयोगी टिप्पणी के लिए धन्यवाद ... आपके द्वारा लिंक की गई टिप्पणी से उद्धृत: "जब आप सुनिश्चित न हों कि स्वतंत्र श्रेणीबद्ध चर का कोई प्रभाव नहीं है, तो प्रतिगमन का उपयोग करें। जब आप यह देखना चाहते हैं कि क्या विशेष श्रेणियों के अलग-अलग प्रभाव हैं, तो उपयोग करें। । " तो कैसे कई प्रयोगात्मक अध्ययन तो एनोवा का उपयोग करें? मेरी समझ से प्रतिगमन सही विकल्प होगा। क्या शोधकर्ताओं ने यह भी माना है कि प्रभाव वहाँ हैं और केवल सांख्यिकीय रूप से उन्हें "साबित" करने के तरीकों की खोज है?

— फ्लोरियन

क्या आप एक व्यावहारिक उदाहरण प्रदान कर सकते हैं जहां किसी को प्रतिगमन पर एनओवी का उपयोग करना चाहिए और स्पष्ट करना चाहिए कि क्यों? आपके समय के लिए धन्यवाद। मैं प्रशिक्षण द्वारा एक मनोवैज्ञानिक भी हूं और अनोवा के फायदों को देखने में विफल हूं, सिवाय इसके कि शायद आसान प्रकाशित हो।

— फ्लोरिअन

कोइ भाग्य? किसी भी प्रकार की प्रक्रिया के पक्ष में किसी भी अधिक ठोस अनुमान में मेरी बहुत रुचि होगी, इसलिए यदि आपको उत्तर मिल जाए तो कृपया साझा करें।

— एंटोनी परेलाडा

दुर्भाग्य से सांख्यिकी में मेरी यात्रा पर अब तक कोई नई खोज नहीं हुई है ... आपको पोस्ट करता रहेगा, अधिक इनपुट की सराहना की जाती है।

— फ्लोरियन

मुझे ओएलएस मॉडल मैट्रिक्स और संबंधित समीकरण को समझने में कठिनाई हो रही है। मुझे समझ नहीं आ रहा है कि शून्य कॉलम (मैट्रिक्स के 5 वें कॉलम) में कहां से आता है। इसके अलावा, मुझे लगता है कि समीकरण को कॉलम के अनुरूप होना चाहिए (यानी mu_i केवल दो समूहों के लिए होना चाहिए और एक्स-चर को समूह डमी के साथ बातचीत के बिना शामिल किया जाना चाहिए)। अतिरिक्त स्पष्टीकरण बहुत सराहना की है!

— निक

4

एनोवा और ओएलएस प्रतिगमन गणितीय रूप से उन मामलों में समान हैं, जहां आपके भविष्यवक्ता श्रेणीबद्ध हैं (उन संदर्भों के संदर्भ में, जो आप परीक्षण आंकड़े से खींच रहे हैं)। इसे दूसरे तरीके से रखने के लिए, एनोवा एक प्रतिगमन का विशेष मामला है। ऐसा कुछ भी नहीं है जो एक एनोवा आपको बता सके कि प्रतिगमन स्वयं प्राप्त नहीं कर सकता है। हालांकि, विपरीत, सच नहीं है। निरंतर चर के साथ विश्लेषण के लिए एनोवा का उपयोग नहीं किया जा सकता है। जैसे, एनोवा को अधिक सीमित तकनीक के रूप में वर्गीकृत किया जा सकता है। प्रतिगमन, हालांकि, कम परिष्कृत विश्लेषक के लिए हमेशा उतना आसान नहीं होता है। उदाहरण के लिए, अधिकांश एनोवा स्क्रिप्ट स्वचालित रूप से इंटरैक्शन शब्द उत्पन्न करती हैं, जहां प्रतिगमन के साथ आपको अक्सर सॉफ़्टवेयर का उपयोग करके उन शर्तों को मैन्युअल रूप से गणना करना होगा। एनोवा का व्यापक उपयोग आंशिक रूप से अधिक शक्तिशाली सांख्यिकीय सॉफ्टवेयर के उपयोग से पहले सांख्यिकीय विश्लेषण का एक अवशेष है, और, मेरी राय में, अनुभवहीन छात्रों को पढ़ाने के लिए एक आसान तकनीक जिसका लक्ष्य एक अपेक्षाकृत सतह स्तर की समझ है जो उन्हें मूल सांख्यिकीय पैकेज के साथ डेटा का विश्लेषण करने में सक्षम करेगा। इसे कुछ समय के लिए आज़माएँ ... टी आँकड़ों की जाँच करें कि एक मूल प्रतिगमन बाहर निकलता है, इसे वर्ग करता है, और फिर उसी डेटा पर एनोवा से एफ अनुपात की तुलना करता है। समान!

— माइकल मेलविले
स्रोत

यह सच नहीं है।

— बजे माइकल आर। चेरिक

4

@MichaelChernick क्या आपको लगता है कि इस उत्तर में किए गए कई दावों में से कौन सा असत्य है? यद्यपि यह कुछ चरम स्थिति लेता है, लेकिन यह गलत है कि कोई भी गलत है।

— whuber

मैंने इस कथन पर आपत्ति जताई कि एनोवा और ओएलएस प्रतिगमन गणितीय रूप से समान हैं। मैं मानता हूं कि एनावा को सामान्य रेखीय मॉडल का एक रूप में प्रतिगमन के रूप में देखा जा सकता है जिसे प्रतिगमन की तरह तैयार किया जा सकता है।

— माइकल आर। चेरिक

ओएलएस मामले में, वे आउटपुट के अलावा अन्य समान कैसे नहीं हैं? अंतर्निहित मॉडल समान है, अवशिष्ट समान हैं, उनके द्वारा उत्पादित पी-मूल्य समान हैं। यह आउटपुट है जो अलग है।

— dbwilson

2

मेरी राय में, एनोवा ovethe आर प्रतिगमन का मुख्य लाभ आउटपुट में है। यदि आप एक ब्लॉक के रूप में श्रेणीगत चर (कारक) के सांख्यिकीय महत्व में रुचि रखते हैं, तो एनोवा आपके लिए यह परीक्षा प्रदान करता है। प्रतिगमन के साथ, श्रेणीबद्ध चर को 2 या अधिक डमी चर द्वारा दर्शाया जाता है, श्रेणियों की संख्या पर निर्भर करता है, और इसलिए आपके पास 2 या अधिक सांख्यिकीय परीक्षण हैं, प्रत्येक नलिका श्रेणी (या) के माध्यम से विशेष श्रेणी के लिए माध्य की तुलना करता है समग्र मतलब, डमी कोडिंग विधि पर निर्भर करता है)। इनमें से कोई भी ब्याज का नहीं हो सकता है। इस प्रकार, आपको उस कारक का समग्र परीक्षण प्राप्त करने के लिए पश्च-आकलन विश्लेषण (अनिवार्य रूप से, एनोवा) करना चाहिए, जिसमें आप रुचि रखते हैं।

— dbwilson
स्रोत

वास्तव में यह सच नहीं है। यदि आप एक संभावना अनुपात परीक्षण करते हैं, तो आप एक प्रतिगमन मॉडल में एक ब्लॉक के रूप में पूरे वर्गीकरण कारक का परीक्षण कर रहे हैं।

— दान चाल्टियल

आपकी टिप्पणी ने मेरे द्वारा कही गई बातों का खंडन नहीं किया है। आपके द्वारा उल्लिखित संभावना अनुपात परीक्षण कारक के बिना मॉडल के साथ मॉडल की तुलना करते हुए, कारक पर एक अनुमान के बाद का विश्लेषण होगा।

— dbwilson

यदि आप एक एनोवा प्रदर्शन करते हैं, तो आपको "ब्लॉक के रूप में श्रेणीबद्ध चर (कारक)" के लिए एक व्याकरण मिलेगा, इसलिए एलआरटी के साथ प्रतिगमन है। प्रतिगमन आपको कई बीटा प्रदान कर सकता है, लेकिन एनोवा से अधिक परीक्षण नहीं करेगा, इसलिए आपका कथन "इसलिए आपके पास 2 या अधिक सांख्यिकीय परीक्षण हैं" मुझे गलत लगता है। एलआरओटी एनोवा से अधिक "उत्तर-अनुमान" क्यों होगा?

— 11:20 पर डान चालीटील

1

रैखिक प्रतिगमन का प्रमुख लाभ यह है कि यह भिन्नता के समरूपता के उल्लंघन के लिए मजबूत है जब समूहों में नमूना आकार असमान हैं। एक और बात यह है कि यह कई कोवरिअट्स को शामिल करने की सुविधा प्रदान करता है (हालांकि यह भी आसानी से ANCOVA के माध्यम से पूरा किया जा सकता है जब आप सिर्फ एक कोवरिएट शामिल करने में रुचि रखते हैं)। कंप्यूटिंग शक्ति में प्रगति के आगमन में सत्तर के दशक के दौरान प्रतिगमन व्यापक हो गया। यदि आप विशेष रूप से एक श्रेणीगत चर के विशेष अंतरों के बीच अंतरों की जांच करने में रुचि रखते हैं तो आप प्रतिगमन को अधिक सुविधाजनक पा सकते हैं जब दो से अधिक स्तर मौजूद हों (इसलिए जब तक आप प्रतिगमन में डमी चर सेट करते हैं ताकि इन दो स्तरों में से एक हो जाए संदर्भ समूह का प्रतिनिधित्व करता है)।

— डेविड बी
स्रोत

1

के रूप में अन्य जवाब में बताया, एक एनोवा है एक बहु प्रतिगमन।

— गंग -

धन्यवाद, तो अनोवा के क्या फायदे हैं? आप प्रतिगमन मॉडल पर एक Anova / Ancova का उपयोग क्यों करेंगे?

— फ्लोरिअन

मेरा यहाँ एक प्रश्न है। ANCOVA की उपयोगिता बताते हुए आपने 'सिर्फ एक कोवरिएट' को क्यों निरूपित किया? क्या इसलिए कि आप ANCOVA में केवल एक कोवरिएट शामिल कर सकते हैं?

— केविन कांग