सशर्त औसत स्वतंत्रता का अर्थ है ओएलएस अनुमानक की निष्पक्षता और संगति


10

निम्नलिखित कई प्रतिगमन मॉडल पर विचार करें:

(1)Y=Xβ+Zδ+U.

यहाँ एक कॉलम वेक्टर है; एक मैट्रिक्स; a कॉलम वेक्टर; एक मैट्रिक्स; a कॉलम वेक्टर; और , त्रुटि शब्द, एक कॉलम वेक्टर।Yn×1Xn×(k+1)β(k+1)×1Zn×lδl×1Un×1


सवाल

मेरे लेक्चरर, इकोनोमेट्रिक्स का पाठ्यपुस्तक परिचय, तीसरा संस्करण। जेम्स एच। स्टॉक और मार्क डब्ल्यू। वाटसन द्वारा, पी। 281, और अर्थमिति: सम्मान की परीक्षा की समीक्षा सत्र (पीडीएफ) , पी। 7, मेरे लिए निम्नलिखित व्यक्त किया है।

  1. यदि हम मान लेते हैं कि सशर्त माध्य स्वतंत्रता कहा जाता है , जिसका परिभाषा से मतलब है कि
    (2)E(U|X,Z)=E(U|Z),
  2. और यदि सशर्त औसत शून्य धारणा को छोड़कर कम से कम वर्ग की धारणा संतुष्ट है (तो हम मान लेते हैं ) (देखें 1) -3 से नीचे),E(U|X,Z)=0E(U|X,Z)=E(U|Z)0

  3. तो, OLS आकलनकर्ता की में निष्पक्ष रहता है और सुसंगत, मान्यताओं के इस कमजोर सेट के तहत।β^β(1)

मैं इस प्रस्ताव को कैसे साबित करूं? यानी, 1 और 2 से ऊपर का तात्पर्य है कि कि OLS का अनुमान है हमारे लिए एक निष्पक्ष और लगातार आकलनकर्ता देता है ? क्या कोई शोध लेख इस प्रस्ताव को साबित कर रहा है?ββ


टिप्पणी

सबसे सामान्य स्थिति रेखीय प्रतीपगमन मॉडल पर विचार करके दिया जाता है और साबित होता है कि OLS का अनुमान की निष्पक्ष है यदि प्रत्येक लिए ।

Yi=β0+β1Xi+β2Zi+ui,i=1,2,,n,
β 1 β 1( यू मैं | एक्स मैं , जेड मैं ) = ( यू मैं | जेड मैं ) मैंβ^1β1E(ui|Xi,Zi)=E(ui|Zi)i

निष्पक्षता के सबूत यह सोचते हैं कि और संयुक्त रूप से सामान्य रूप से वितरित कर रहे हैंUiZi

परिभाषित करें , फिर औरइस प्रकार को रूप में फिर से लिखा जा सकता है द्वारा तब यह अब, चूंकि और संयुक्त रूप से सामान्य रूप से वितरित किए जाते हैं, सामान्य वितरण का सिद्धांत, cf. बहुविविध सामान्य वितरण की सशर्त वितरण पाने का कहना है कि (वास्तव में, हम संयुक्त सामान्य है, लेकिन केवल इस पहचान ग्रहण करने के लिए की जरूरत नहीं है) कुछ के लिए द्वारा वेक्टरV=UE(U|X,Z)U=V+E(U|X,Z)

(*)E(V|X,Z)=0.
(1)
(3)Y=Xβ+Zδ+E(U|X,Z)+V.
(2)
(4)Y=Xβ+Zδ+E(U|Z)+V.
UiZi( यू | जेड ) = जेड γ एल1γ0
(**)E(U|Z)=Zγ
l1γ0

अब हो जाता है मॉडल के लिए सभी कम से कम वर्गों धारणा संतुष्ट हैं, त्रुटि शब्द के रूप में संतुष्ट सशर्त की धारणा शून्य का मतलब है। इसका मतलब है कि OLS का अनुमान की निष्पक्ष हो जाएगा, अगर हम जाने के लिए , और होना द्वारा से बना मैट्रिक्स और , तो OLS का अनुमान है में निम्नलिखित पर विचार करके दिया जाता है:(4)

(5)Y=Xβ+Z(δ+γ)+V.
(5)Vबीटा बीटा ρ = δ + γ डब्ल्यू = ( एक्स , जेड ) एन ( कश्मीर + 1 ) + एल एक्स जेड बीटा ( 5 ) ( बीटा टी , ρ टी ) टीβ^βρ=δ+γW=(X,Z)n(k+1)+lXZβ(5)
(β^T,ρ^T)T=(WTW)1WTY=(WTW)1WT(W(βT,ρT)T+V)=(βT,ρT)T+(WTW)1WTV

और इस प्रकार जहां दूसरी पंक्ति इसके द्वारा अनुसरण करती है । इस प्रकार के एक सशर्त निष्पक्ष अनुमान है के बाद से OLS मॉडल के लिए दिए गए अनुमान मॉडल के लिए यह देखते हुए कि साथ coinicides । अब, कुल अपेक्षा के नियम से और इस तरह के लिए एक निष्पक्ष आकलनकर्ता है ।

E((β^T,ρ^T)T|W)=(βT,ρT)T+(WTW)1WsTE(V|W)=(βT,ρT)T+(WTW)1WT0=(βT,ρT)T,
() बीटा बीटा(1)(5)( बीटा )β^β(1)(5)
E(β^)=E(E(β^|W))=E(β)=β,
बीटा बीटाβ^β

(कोई ध्यान दे सकता है कि , ताकि पर गुणांक आवश्यक रूप से निष्पक्ष न हो।)E(ρ^)=ρ=δ+γδZ

हालांकि, ऊपर विशेष मामला यह है कि और संयुक्त रूप से सामान्य रूप से वितरित किए जाते हैं, मैं इस धारणा के बिना प्रस्ताव कैसे साबित करूं?UiZi

यह मानते हुए कि Gamma हमेशा निश्चित रूप से (cf. ) का सामना करता है, लेकिन मुझे केवल और कम से कम वर्गों के परिणाम को सशर्त औसत शून्य धारणा को छोड़कर माना जाता है ( निचे देखो)।E(U|Z)=Zγ()(2)

चिंता का विषय है

मुझे लगता है कि एक भी देख सकते हैं कि अनुमान के लिए संगत है देख कि प्रतिगमन मॉडल में से सभी कम से कम वर्गों धारणा संतुष्ट हैं धारणा सहित, कि (नया) त्रुटि अवधि संतुष्ट सशर्त मतलब शून्य धारणा (cf. और नीचे देखें)।β^β(5)V()

मैं बाद में स्थिरता का एक प्रमाण जोड़ सकता हूं, जिस पर इकोनोमेट्रिक्स, 3 डी एड के परिचय में अभ्यास की एक श्रृंखला पर आधारित है जेम्स एच। स्टॉक और मार्क डब्ल्यू। वाटसन द्वारा, ch। 18. हालाँकि, यह प्रमाण काफी लंबा है। लेकिन यहाँ बिंदु यह है कि अभ्यास में प्रदान किया गया प्रमाण मानता है , इसलिए मैं अभी भी सोच रहा हूँ कि क्या यह धारणा भूल जाती है।()(2)

सबकुछ १

में परिचय अर्थमिति, 3 एड करने के लिए। जेम्स एच। स्टॉक और मार्क डब्ल्यू। वाटसन द्वारा, यह कहा जाता है, पी में। 300, कि धारणा nonlinear प्रतिगमन के सिद्धांत का उपयोग करके "आराम" किया जा सकता है। इससे उनका क्या मतलब है या हो सकता है?()

सबसे पहले प्रश्न पूछें

यहां मैं सशर्त मतलब शून्य धारणा को बाहर करता हूं कि प्रस्ताव के बाद से हम यहां साबित करने की कोशिश करते हैं कि ऐसे मामलों की अनुमति मिलती है जहां । ये ऐसे मामले हैं जब को से सह-संबद्ध किया गया है । सी एफ इकोनोमेट्रिक्स: ऑनर्स एग्जाम रिव्यू सेशन (पीडीएफ) , पी। 7।E(U|X,Z)=0E(U|X,Z)0ZU

सबसे कम वर्ग की धारणा निम्नलिखित है।

  1. के संयुक्त वितरण , आईआईडी कर रहे हैं, जहां है : में वें तत्व और जहां और हैं में वें पंक्ति वैक्टर: और ।(Yi,Xi,Zi)i=1,2,,n,YiiYXiZiiXZ

  2. बड़े बाहरी कारकों के कारण, संभावना नहीं है यानी, प्रत्येक के लिए , और , परिमित चौथे पल हैं जहां है : में वें तत्व ।iXi,ZiUiUiiU

  3. (X,Z) में पूर्ण स्तंभ रैंक है (यानी, कोई पूर्ण बहुसंख्या नहीं है; यह की अक्षमता सुनिश्चित करता है )।WTW

  4. ( कम से कम चौकोर अनुमान : जबकि मुझे नहीं लगता कि यह आवश्यक है (और मेरे लिए यह कहा गया है कि यह नहीं है), हम होमोसैकेडिटी भी मान सकते हैं, अर्थात प्रत्येक के लिए , और की सशर्त वितरण कि दिया सामान्य से प्रत्येक के लिए है (यानी, हम सामान्य त्रुटियाँ हैं।))Var(Ui|Xi,Zi)=σU2iUi(Xi,Zi)i

शब्दावली पर ध्यान दें

में , सशर्त मतलब शून्य धारणा यह धारणा है कि । सशर्त मतलब स्वतंत्रता धारणा, हालांकि, यह धारणा है कि ।(1)E(U|X,Z)=0E(U|X,Z)=E(U|Z)

इस शब्दावली का उपयोग उदाहरण के लिए अर्थमिति, तृतीय संस्करण में किया जाता है। जेम्स एच। स्टॉक और मार्क डब्ल्यू। वाटसन द्वारा, पी। 281; और क्रॉस सेक्शन और पैनल डेटा का अर्थमितीय विश्लेषण, 1 एड। जेफरी एम। वोल्ड्रिज द्वारा, पी। 607. सशर्त स्वतंत्रता प्रतिबंध भी देखें : इसी तरह की चर्चा के लिए परीक्षण और अनुमान

अतिरिक्त सूत्र और सारांश 2

मैं जेम्स एच स्टॉक और मार्क डब्ल्यू वाटसन के विपरीत है कि सशर्त मतलब स्वतंत्रता सुनिश्चित नहीं करता है एक निष्पक्ष OLS का अनुमान लगाने के बारे में सोच । इसका कारण यह है की तरह nonlinear रूपों पर लग सकता है जहां में एक बहुपद है , या जहां का अनुमान लगाया जाना अभी तक कुछ पैरामीटर है (यहां मैं मैट्रिक्स घातीय का उपयोग कर रहा हूं ), और फिर, मुझे लगता है, नॉनलाइनर रिग्रेशन लागू करना होगा, जो आम तौर पर हमें पक्षपाती अनुमानों के साथ छोड़ देता है। इसके अलावा, OLS (1) के में अनुमान लगाने के भी OLS के साथ मेल खाना के अनुमान नहीं कर सकते हैंβE(U|Z)E(U|Z)=p(Z)p(Z)ZE(U|Z)=exp(Zγ)γबीटा बीटा ( 4 ) ( यू | जेड )ββमें यदि निश्चित nonlinear रूपों पर ले जाता है। (मनोवैज्ञानिक रूप से मुझे यह भी लगता है कि स्टॉक एंड वॉटसन की पुस्तक में दिया गया कथन सच होना बहुत अच्छा है)(4)E(U|Z)

इस प्रकार, एक अतिरिक्त प्रश्न यह है कि क्या प्रस्ताव के कुछ प्रतिपक्ष हैं कि सशर्त मतलब स्वतंत्रता एक निष्पक्ष OLS अनुमान की ओर ले जाती है?

सबकुछ ३

में ज्यादातर हानिरहित अर्थमिति Angrist और Pischke उपधारा 3.3, पी में तर्क है। 68--91, कि सशर्त स्वतंत्रता (CI) के तहत, यानी को दिए गए स्वतंत्र किया जा रहा है (जो कि एक मजबूत स्थिति है, मुझे लगता है, ऊपर दिए गए सशर्त मतलब स्वतंत्रता धारणा से अधिक है), मिलान अनुमानों के बीच एक तंग संबंध है के प्रभाव पर और पर गुणांक के प्रतिगमन में पर और जो प्रेरित कि सीआई के तहत OLS गुणांक के पर का अनुमान मेंYXWXYXYXWX(1) अगर सीआई (सभी के बराबर नहीं है) की तुलना में कम पक्षपाती है।

अब, क्या यह विचार किसी तरह से मेरे मुख्य प्रश्न का उत्तर देने के लिए इस्तेमाल किया जा सकता है?


@ शीआन आपका क्या मतलब है? यह मेरी पाठ्यपुस्तक में दी गई सशर्त माध्य स्वतंत्रता की परिभाषा है: यदि हम रैखिक प्रतिगमन में कहते हैं, तो हम कहते हैं कि हमारी सशर्त स्वतंत्रता है। मुझे लगा कि मेरे लिखने का तरीका सामान्य है। ( यू मैं | एक्स मैं , जेड मैं ) = ( यू मैं | जेड मैं )Yi=β0+β1Xi+β2Zi+uiE(ui|Xi,Zi)=E(ui|Zi)
एलियास

@ शीआन आप इस मामले में "सशर्त इंडिपेंडेंट $ सीई" को कैसे परिभाषित करेंगे? जैसा कि मुझे लगता है, "सशर्त स्वतंत्रता" एक अवधारणा है जो "सशर्त मतलब स्वतंत्रता" से अलग है। वे वैचारिक रूप से जुड़े या नहीं हो सकते हैं।
एलियास

@ शीआन इस तरह से मैं अवधारणाओं को समझता हूं: सशर्त स्वतंत्रता सिर्फ , लेकिन सशर्त मतलब स्वतंत्रता है | P(AB|C)=P(A|C)P(B|C)E(A|B,C)=E(A|C)
एलियास

शीआन की टिप्पणी कहां है?
माइकल आर। चेर्निक

@MichaelChernick उनकी टिप्पणी पहली थी। मुझे लगता है कि उसने इसे हटा दिया होगा। जैसा कि मुझे याद है, उन्होंने कहा कि सशर्त स्वतंत्रता का अर्थ नहीं है, और मैंने उत्तर दिया। E(U|X,Z)=E(U|Z)
एलियास

जवाबों:


4

यह गलत है। जैसा कि आप देखते हैं, यदि आप स्टॉक और वॉटसन को करीब से पढ़ते हैं, तो वे वास्तव में इस दावे का समर्थन नहीं करते हैं कि ओएलएस सशर्त मतलब स्वतंत्रता के तहत के लिए निष्पक्ष है । वे बहुत कमजोर दावे का समर्थन करते हैं कि अगर लिए OLS लिए निष्पक्ष है । फिर, वे गैर-रैखिक कम से कम वर्गों के बारे में कुछ अस्पष्ट कहते हैं।ββE(u|x,z)=zγ

आपके समीकरण (4) में वह है जो आपको यह देखने की आवश्यकता है कि दावा गलत है। वेरिएबल को छोड़ते समय OLS द्वारा समीकरण (4) का अनुमान लगाया गया है जो कि वैरिएबल वैरिएबल बायस की ओर ले जाता है। जैसा कि आप शायद याद करते हैं, छोड़े गए चर से पूर्वाग्रह शब्द (जब छोड़े गए चर का गुणांक 1 है) को निम्न सहायक प्रतिगमन से गुणांकों द्वारा नियंत्रित किया जाता है: के लिए मूल प्रतिगमन में पूर्वाग्रह है इस प्रतिगमन से, और पर पूर्वाग्रह है । यदि का संबंध , तो इसके लिए रैखिक नियंत्रण के बादE(u|x,z)

E(u|z)=xα1+zα2+ν
βα1γα2xE(u|z)z , तब गैर-शून्य होगा और OLS गुणांक पक्षपाती होगा।α1

इस बिंदु को साबित करने के लिए एक उदाहरण है:

ξF(),ζG(),νH()all independentz=ξx=z2+ζu=z+z2E(z+z2)+ν

के फॉर्मूले को देखते हुए , यह स्पष्ट है कि सहायक प्रतिगमन को देखते हुए, यह स्पष्ट है वह ( ) के कुछ विकल्प अनुपस्थित नहीं है, लेकिन यह शून्य नहीं होगा।uE(u|x,z)=E(u|z)=z+z2E(z+z2)F,G,Hα1

यहाँ एक बहुत ही सरल उदाहरण दिया गया है Rजिसमें बिंदु को प्रदर्शित किया गया है:

set.seed(12344321)
z <- runif(n=100000,min=0,max=10)
x <- z^2 + runif(n=100000,min=0,max=20)
u <- z + z^2 - mean(z+z^2) + rnorm(n=100000,mean=0,sd=20)
y <- x + z + u

summary(lm(y~x+z))

# auxiliary regression
summary(lm(z+z^2~x+z))

ध्यान दें कि पहला प्रतिगमन आपको पर एक गुणांक देता है जो 0.63 से पक्षपाती है, इस तथ्य को दर्शाता है कि "में कुछ है" जैसा कि । सूचना यह भी है कि सहायक प्रतिगमन आपको लगभग 0.63 का पूर्वाग्रह अनुमान देता है।xxz2E(u|z)

तो, स्टॉक एंड वॉटसन (और आपके लेक्चरर) किस बारे में बात कर रहे हैं? आइए अपने समीकरण (4) पर वापस जाएं:

y=xβ+zγ+E(u|z)+v

यह एक महत्वपूर्ण तथ्य है कि छोड़ा गया चर केवल कार्य है । ऐसा लगता है कि अगर हम अच्छी तरह से नियंत्रित कर सकते हैं, तो यह पूर्वाग्रह को प्रतिगमन से शुद्ध करने के लिए पर्याप्त होगा, भले ही को साथ सहसंबद्ध किया जाए ।zzxu

मान लीजिए कि हमने फ़ंक्शन का अनुमान लगाने के लिए या तो गैर-पैरामीट्रिक विधि का उपयोग करके नीचे समीकरण का अनुमान लगाया है या सही कार्यात्मक रूप । यदि हम सही कार्यात्मक रूप का उपयोग कर रहे थे, तो हम गैर-रैखिक कम से कम वर्गों (एनएलएस के बारे में गूढ़ टिप्पणी को समझाते हुए) का अनुमान लगा रहे होंगे: यह हमें लिए एक सुसंगत अनुमानक देगा क्योंकि अब कोई छोड़ी गई चर समस्या नहीं है। f()f(z)=zγ+E(u|z)

y=xβ+f(z)+v
β

वैकल्पिक रूप से, यदि हमारे पास पर्याप्त डेटा था, तो हम लिए नियंत्रण में `` सभी तरह से जा सकते हैं । हम डेटा का एक सबसेट देख सकते हैं जहाँ , और बस प्रतिगमन को रन करें: यह निष्पक्ष, सुसंगत आकलनकर्ता को केवल छोड़कर देगा अवरोधन, निश्चित रूप से, जो प्रदूषित होगा । जाहिर है, आप एक (अलग) सुसंगत, निष्पक्ष अनुमान लगाने वाला भी प्राप्त कर सकते हैं, जिसके लिए केवल डेटा बिंदुओं पर वह प्रतिगमन । और उन बिंदुओं के लिए एक और जहां । आदि। फिर आपके पास अच्छे अनुमानकों का एक समूह होगा, जिनसे आप एक महान अनुमानक बन सकते हैं, जैसे, उन सभी को किसी भी तरह एक साथ औसत करना।zz=1

y=xβ+v
βf(1)z=2z=3

यह उत्तरार्द्ध सोचा अनुमानकर्ताओं से मेल खाने की प्रेरणा है। जब से हम आमतौर पर पर्याप्त डेटा नहीं है सचमुच प्रतिगमन केवल के लिए चलाने के लिए या यहाँ तक कि अंक जहां के जोड़े के लिए समान है, लेकिन इसके बदले हम अंक के लिए प्रतिगमन जहां चलाने समान होने के `` पास पर्याप्त '' है।z=1zz


3

आप इस परिणाम को साबित नहीं कर सकते क्योंकि यह सामान्य कथन में सत्य नहीं है। अपने eq में मॉडल से शुरू करें। (4)

Y=Xβ+Zδ+(E(U|Z)+V)

जहां बड़ा कोष्ठक वास्तविक त्रुटि शब्द (सशर्त अपेक्षा पर अभी तक कोई धारणा नहीं) को दर्शाता है। अवशिष्ट-निर्माता या मैट्रिक्स परिभाषित करें , जो सममित, और हमारे पास । MZ=IZ(ZZ)1ZMZZ=0

"विभाजन प्रतिगमन परिणाम" से हमारे पास है

β^OLSβ=(XMZX)1XMZZδ+(XMZX)1XMZE(UZ)+(XMZX)1XMZV

दाईं ओर पहला शब्द पहले से ही शून्य है। पूरे मूल्य में अपेक्षित मूल्य लेना, और फिर सशर्त अपेक्षा के लिए टॉवर संपत्ति को लागू करना, तीसरा शब्द भी शून्य होगा (सशर्त मतलब स्वतंत्रता का अपने कमजोर रूप में उपयोग करना)। लेकिन यह इतना ही है कि यह कमजोर धारणा हमें ले जाती है, क्योंकि हम साथ रह जाएंगे

E(β^OLS)β=E[(XMZX)1XMZE(UZ)]

के लिए निष्पक्षता हम दाईं ओर शून्य होना चाहता हूँ। यह आयोजन करेगा अगर रैखिक कार्य है (के रूप में आप यह भी पाया गया है), क्योंकि हम फिर से शून्य प्राप्त करेंगे । लेकिन अन्यथा यह सीधे तौर पर पूरी तरह से मनमाना है कि पूरी तरह से अपेक्षित मूल्य शून्य है। हमें संयुक्त स्थिति को संभालने की ज़रूरत नहीं है, लेकिन हमें इस सशर्त अपेक्षा की रैखिकता (अन्य वितरणों में भी यह गुण है) को ग्रहण करना होगा। तो की निष्पक्षता के लिए आवश्यक धारणा हैजेडE(UZ)ZβMZZ
β

E(UX,Z)=E(UZ)=Zγ

और मैं यह नहीं कह सकते कि क्या यह सब regressors की सख्त exogeneity की तुलना में वास्तव में "कमजोर" है या नहीं, (के बाद से सख्त exogeneity के लिए मतलब स्वतंत्रता के संदर्भ में कहा गया है सभी वितरणात्मक मान्यताओं, यहाँ जब तक हम वितरण की कक्षाओं को प्रतिबंधित करने के लिए है कि और अनुसरण करता है)।जेडUZ

यह दिखाना मुश्किल नहीं है कि इस रैखिकता के तहत भी संगत होगा।β^OLS


अच्छा उत्तर! मैंने इसे बहुत पहले पढ़ा था, और सोचा था कि मैं इसके बारे में बाद में सोचूंगा। मेरे पास कुछ सवाल हैं: आप अपने विभाजन के प्रतिगमन परिणामों को कैसे साबित कर सकते हैं? मैं कम से कम एक संदर्भ की सराहना करूंगा। इसके अलावा, और क्या अंतर है ? एम जेडMZMz
एलियास

1
@ मोनीर औरzZz सिर्फ एक टाइपो - फिक्स्ड। विभाजन प्रतिगमन परिणामों के लिए (जो बहुत पुराने और मानक हैं), उदाहरण के लिए देखें ग्रीनटे द्वारा इकोनॉमेट्रिक्स की पाठ्यपुस्तक, उस अध्याय में जहां यह सामान्य न्यूनतम वर्गों के बीजीय पहलू पर चर्चा करता है। इसमें प्रमाण शामिल है।
एलेकोस पापाडोपोलोस
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.