क्या मैं मेटा-रिग्रेशन में एक स्वतंत्र चर के रूप में एक प्रभाव आकार शामिल कर सकता हूं?


11

मेरा सवाल यह है कि क्या मैं एक प्रभाव आकार X को एक आश्रित चर के रूप में और दूसरे प्रभाव आकार Y को मेटा-रिग्रेशन में स्वतंत्र चर के रूप में उपयोग कर सकता हूं ?

उदाहरण के लिए, मैंने पीने की समस्याओं में व्यायाम के प्रभावों के लिए एक मेटा-विश्लेषण किया और मुझे महत्वपूर्ण परिणाम और उच्च विषमता मिली। मैं एक मेटा-रिग्रेशन करना चाहता हूं और एक स्वतंत्र चर के रूप में चिंता में उन हस्तक्षेपों के प्रभाव आकार का उपयोग करना चाहता हूं और एक आश्रित चर के रूप में पीने की समस्याओं के प्रभाव का आकार (यह मानते हुए कि प्रत्येक अध्ययन ने चिंता और पीने की समस्याओं दोनों का आकलन किया और मैंने प्रभाव की गणना की। हेजेज g रूप में आकार )।

क्या यह आपको सही प्रतीत होता है?


मेरी एकमात्र चिंता यह होगी कि क्या आपको रिग्रेशन से पहले प्रभाव के आकार को बदलने की आवश्यकता होगी ... फिशर के ज़ेड ट्रांसफ़ॉर्मेशन का उपयोग करके रूपांतरित करने के समान।
विश्वसनीय

जवाबों:


13

इस (अच्छे) प्रश्न का उत्तर देने के लिए संभवतः पारंपरिक मेटा-प्रतिगमन से परे मेटा-विश्लेषण विषयों को संबोधित करने की आवश्यकता है। मैंने ग्राहकों के मेटा-विश्लेषणों से परामर्श करने में इस मुद्दे का सामना किया है, लेकिन अभी तक कोई संतोषजनक समाधान नहीं मिला है या विकसित नहीं हुआ है, इसलिए यह उत्तर निश्चित नहीं है। नीचे मैं चयनित संदर्भ उद्धरणों के साथ पांच प्रासंगिक विचारों का उल्लेख करता हूं।

सबसे पहले, मैं स्पष्टीकरण के लिए शब्दावली और संकेतन प्रस्तुत करूँगा। मुझे लगता है आप बनती है प्रभाव आकार (ईएस) से डेटा में इस तरह के अध्ययन के रूप में स्वतंत्र अध्ययन, मैं की ES अनुमान y डी मैं पीने समस्याओं (डीपी) और के लिए y एक मैं चिंता के लिए, मैं = 1 , 2 , ... , कश्मीर , साथ ही प्रत्येक अनुमान की सशर्त / नमूना विचरण (यानी, मानक त्रुटि), v D i और v A i कहते हैं । आइए निरूपित अध्ययन मैं के दो ES मानकों (यानी, सच है या अनंत नमूना ईएसएस) के रूप मेंkiyDiyAii=1,2,,kvDivAii और θ एक मैं । पारंपरिक यादृच्छिक प्रभाव देखने कि इन ES मानकों के अध्ययन के बीच बेतरतीब ढंग से अलग-अलग ले जाने पर हम उनके बीच-पढ़ाई का मतलब निरूपित और के रूप में प्रसरण सकता μ डी = ( θ डी मैं ) और τ 2 डी = वी एक आर ( θ डी मैं ) के लिए डी पी और के रूप में μ एक = ( θ एक मैं ) और τ 2 एक = वी एक आरθDiθAiμD=E(θDi)τD2=Var(θDi)μA=E(θAi) चिंता के लिए। प्रत्येक डीपी और अलग से चिंता के लिए एक पारंपरिक मेटा-विश्लेषण में (जैसे, भार के रूप में पूर्वसूचक के साथ), हम मान सकते हैं कि प्रत्येक ईएस अनुमान का नमूना वितरण ज्ञात प्रसरण के साथ सामान्य है - अर्थात, वाई डी आईθ डी मैं ~ एन ( θ डी मैं , वी डी मैं ) और y एक मैं | θ एक मैं ~ एन ( θ एक मैं , वी एक मैं ) के साथ वीτA2=Var(θAi)yDi|θDiN(θDi,vDi)yAi|θAiN(θAi,vAi) और v A i ज्ञात- कम से कम अध्ययन के बड़े नमूनों के लिए।vDivAi

हम जरूरी एक यादृच्छिक प्रभाव इस समस्या से देखने की जरूरत नहीं है, लेकिन हम दोनों की अनुमति चाहिए और θ एक मैं मेकअप भावना को अपने संघ के बारे में प्रश्नों के लिए पढ़ाई के बीच भिन्न हो सकते हैं। अगर हम प्रक्रियाओं और व्याख्या के बारे में सावधान रहें, तो हम इसे एक स्थिर निश्चित-प्रभाव ढांचे में भी करने में सक्षम हो सकते हैं (उदाहरण के लिए, बोनट, 2009)। इसके अलावा, मुझे नहीं पता कि आपके ईएस सहसंबंध हैं, (मानकीकृत) का मतलब अंतर है, (लॉग) अनुपात अनुपात, या एक और उपाय, लेकिन ईएस मीट्रिक मैं जो कहता हूं उनमें से अधिकांश के लिए ज्यादा मायने नहीं रखता है।θDiθAi

अब, पाँच विचारों पर।

1. पारिस्थितिक पूर्वाग्रह: आपके दो ईएस के बीच एक संघ का आकलन करना एक अध्ययन-स्तर के प्रश्न को संबोधित करता है , न कि विषय-स्तर परसवाल। मैंने मेटा-विश्लेषकों को आपके जैसे दो ईएस के बीच एक सकारात्मक जुड़ाव को अनुचित रूप से व्याख्या करते हुए देखा है: ऐसे विषय जिनके लिए हस्तक्षेप कम हो जाता है चिंता डीपी पर अधिक घट जाती है। अध्ययन स्तर के ES डेटा का विश्लेषण उस तरह के बयानों का समर्थन नहीं करता है; यह पारिस्थितिक पूर्वाग्रह या पारिस्थितिक पतन के साथ करना है (जैसे, बर्लिन एट अल।, 2002; मैकिंटोश, 1996)। संयोग से, यदि आपके पास अध्ययनों या कुछ अतिरिक्त नमूना अनुमानों (जैसे, चिंता और डीपी के बीच प्रत्येक समूह का सहसंबंध) से व्यक्तिगत रोगी / प्रतिभागी डेटा (आईपीडी) था, तो आप मॉडरेशन या मध्यस्थता में हस्तक्षेप के बारे में कुछ विषय-स्तरीय प्रश्नों को संबोधित कर सकते हैं, चिंता और डीपी, जैसे कि चिंता-डीपी एसोसिएशन पर हस्तक्षेप का प्रभाव, या चिंता के माध्यम से डीपी पर हस्तक्षेप का अप्रत्यक्ष प्रभाव (जैसे, हस्तक्षेप) चिंता डीपी)।

yDiyAiyAiθDiθAiθDiθAiθAiyDiθAiθDi=β0+β1θAi+uiuiyDiyAiyAiθAivAiyDiθDiθAi

3. आधारभूत जोखिम:कई लेखकों ने एक द्विआधारी परिणाम पर हस्तक्षेप के प्रभाव के मेटा-विश्लेषण के लिए # 2 के अनुरूप समस्याओं को संबोधित किया है। इस तरह के मेटा-विश्लेषणों में, अक्सर एक चिंता का विषय होता है कि उपचार प्रभाव एक अप्रभावित आबादी में परिणाम की संभावना या दर के साथ सहवास करता है (उदाहरण के लिए, उच्च जोखिम वाले विषयों के लिए बड़ा प्रभाव)। यह एक नियंत्रण समूह के जोखिम या घटना दर से उपचार के प्रभाव की भविष्यवाणी करने के लिए पारंपरिक मेटा-रिग्रेशन का उपयोग करने के लिए आकर्षक है, क्योंकि उत्तरार्द्ध अंतर्निहित / जनसंख्या / आधारभूत जोखिम का प्रतिनिधित्व करता है। हालाँकि, कई लेखकों ने इस सरल रणनीति या प्रस्तावित वैकल्पिक तकनीकों की सीमाओं का प्रदर्शन किया है (उदाहरण के लिए, दोहु एट अल।, 2007; घीदेई एट अल।, 2007; श्मिट एट अल।, 1998)। उन तकनीकों में से कुछ दो बहु-समापन बिंदु ईएस को शामिल करते हुए आपकी स्थिति के लिए उपयुक्त या अनुकूल हो सकती हैं।

iyi=[yDi,yAi]θi=[θDi,θAi]Vi=[vDi,vDAi;vADi,vAi]μ=[μD,μA]T=[τD2,τDA;τAD,τA2]yDiyAiτDA=τADμTθDiθAiθDiθAiθDiθAiθAiθDiθAivDAi=vADi

5. मेटा-एनालिसिस के लिए SEM: मेटा-एनालिटिकल मॉडल को संरचनात्मक समीकरण मॉडल (SEM) के रूप में तैयार करने पर माइक चेउंग के कुछ काम एक समाधान पेश कर सकते हैं। उन्होंने एसईएम सॉफ्टवेयर का उपयोग कर यूआई और मल्टीवीरेट की एक विस्तृत विविधता, यादृच्छिक, और मिश्रित-प्रभाव मेटा-विश्लेषण मॉडल को लागू करने के तरीके प्रस्तावित किए हैं, और वह इसके लिए सॉफ्टवेयर प्रदान करता है:

http://courses.nus.edu.sg/course/psycwlm/internet/metaSEM/index.html

विशेष रूप से, चेउंग (2009) में एक उदाहरण शामिल था जिसमें एक ईएस को एक अध्ययन-स्तर के कोवरिएट और एक अन्य ईएस के बीच मध्यस्थ के रूप में माना जाता है, जो एक ईएस के साथ दूसरे की भविष्यवाणी करने की आपकी स्थिति से अधिक जटिल है।

संदर्भ

बर्लिन, जावेद, सैंटाना, जे।, श्मिड, सीएच, स्ज़्चचेक, ला, और फेल्डमैन, HI (2002)। व्यक्तिगत रोगी- उपचार प्रभाव संशोधकों की जांच के लिए समूह-स्तर के डेटा मेटा-रेजिस्ट्रेशन: पारिस्थितिक पूर्वाग्रह इसके बदसूरत सिर को चीरता है। चिकित्सा में सांख्यिकी, 21, 371-387। डोई: 10.1002 / sim.1023

बोनेट, डीजी (2009)। मानकीकृत और अनियंत्रित माध्य अंतर के लिए मेटा-एनालिटिक अंतराल का अनुमान। मनोवैज्ञानिक तरीके, 14, 225–238। डोई: 10.1037 / a0016619

चेउंग, एमडब्ल्यू-एल। (2009, मई)। संरचनात्मक समीकरण मॉडल के साथ मॉडलिंग बहुभिन्नरूपी प्रभाव आकार। एआर हाफदहल (अध्यक्ष) में, बहुक्रियाशील रैखिक मॉडल के लिए मेटा-विश्लेषण में अग्रिम। एसोसिएशन फॉर साइकोलॉजिकल साइंस, सैन फ्रांसिस्को, सीए की बैठक में प्रस्तुत संगोष्ठी।

दोहो, आई।, स्ट्रिहान, एच।, और सांचेज, जे। (2007)। मेटा-एनालिसिस में विषमता के स्रोत के रूप में अंतर्निहित जोखिम का मूल्यांकन: बेसेसियन का एक सिमुलेशन अध्ययन और तीन मॉडलों के लगातार कार्यान्वयन। निवारक पशु चिकित्सा, 81, 38-55। doi: 10.1016 / j.prevetmed.2007.04.010

घिदी, डब्ल्यू।, लेसाफ़्रे, ई।, और स्टिजेन, टी। (2007)। मेटा-विश्लेषण में बेसलाइन जोखिम के वितरण के अर्ध-पैरामीट्रिक मॉडलिंग। चिकित्सा में सांख्यिकी, 26, 5434-5444। डोई: 10.1002 / sim.3066

जैक्सन, डी।, व्हाइट, आईआर, और थॉम्पसन, एसजी (2010)। Derivimonian और Laird की कार्यप्रणाली का विस्तार बहुभिन्नरूपी यादृच्छिक प्रभाव मेटा-विश्लेषण करने के लिए। चिकित्सा में सांख्यिकी, 29, 1282-1297। डोई: 10.1002 / sim.3602

मैकिन्टोश, एमडब्ल्यू (1996)। मेटा-विश्लेषण और पदानुक्रमित मॉडल (डॉक्टोरल शोध प्रबंध) में एक पारिस्थितिक पैरामीटर के लिए नियंत्रित करना । ProQuest शोध प्रबंध और शोध डेटाबेस से उपलब्ध है। (UMI नंबर 9631547)

रिले, आरडी, थॉम्पसन, जेआर, और अब्राम्स, केआर (2008)। जब अध्ययन-संबंधी सहसंबंध अज्ञात होते हैं, तो बेवेरेट यादृच्छिक-प्रभाव मेटा-विश्लेषण के लिए एक वैकल्पिक मॉडल। बायोस्टैटिस्टिक्स, 9, 172-186। डोई: 10.1093 / बायोसांख्यिकी / kxm023

श्मिट, सीएच, लाउ, जे।, मैकिन्टोश, मेगावाट, और कैपेलरी, जेसी (1998)। नैदानिक ​​परीक्षणों के मेटा-विश्लेषण में उपचार प्रभावकारिता के पूर्वसूचक के रूप में नियंत्रण दर के प्रभाव का एक अनुभवजन्य अध्ययन। चिकित्सा में सांख्यिकी, 17, 1923-1942। डोई: 10.1002 / (एसआईसीआई) 1097-0258 (19980915) 17:17 <1923 :: चिकित्सा-SIM874> 3.0.CO; 2-6

व्हाइट, आईआर (2011)। मल्टीवेरेट रैंडम-इफेक्ट्स मेटा-रिग्रेशन: अपडेट टू एममेटा। स्टाटा जर्नल, 11, 255-270।


11

एडम के जवाबों के आधार पर, मेरे पास कुछ विस्तार हैं। पहला और सबसे महत्वपूर्ण, यह आसान नहीं है कि एक प्रभाव आकार कैसे और क्यों एक दूसरे प्रभाव के आकार की भविष्यवाणी करता है। एक बहुभिन्नरूपी मेटा-विश्लेषण आमतौर पर प्रभाव आकारों के बीच एसोसिएशन को समझाने के लिए पर्याप्त है। यदि आप प्रभाव के आकार के बीच दिशाओं की परिकल्पना करने में रुचि रखते हैं, तो आप विलियम शैड (Shadish, 1992, 1996; Shadish & Sweeney, 1991) के काम में रुचि ले सकते हैं।

θDiθAi

yDi=θDi+eDiVar(eDi)=vDi

yAi=θAi+eAiVar(eAi)=vAi

एक बार जब हम इस भाग (तथाकथित माप मॉडल) को तैयार कर लेते हैं, तो एक संरचनात्मक मॉडल को आसानी से "सही" प्रभाव आकारों में फिट किया जा सकता है:

θDi=β0+β1θAi+uDi

Var(uDi)=τDi2θDiVar(θAi)=τAi2θAi

yDiyAivDAiप्रस्तावित मॉडल

पारंपरिक SEM संकेतन का उपयोग करते हुए, वृत्त और वर्ग अव्यक्त और देखे गए चर का प्रतिनिधित्व करते हैं। त्रिकोण इंटरसेप्ट (या माध्य) का प्रतिनिधित्व करता है।

चूँकि नमूने-प्रकार के संस्करण और सहसंयोजक एक मेटा-विश्लेषण में जाने जाते हैं, इसलिए इस मॉडल को फिट करने के लिए अधिकांश SEM पैकेज का उपयोग नहीं किया जा सकता है। मैं इस मॉडल को फिट करने के लिए R में लागू OpenMx पैकेज का उपयोग करता हूं। यदि आप Mplus का उपयोग करना चाहते हैं, तो आपको ज्ञात नमूना वेरिएंस और सहसंयोजी (उदाहरण के लिए press_a में Cheung देखें) को संभालने के लिए कुछ ट्रिक्स करने की आवश्यकता है।

निम्न उदाहरण दर्शाता है कि आर के आश्रित चर के रूप में "लाइफकोन" के साथ मॉडल को "फिटकॉन" के रूप में कैसे फिट किया जा सकता है। उनके संगत अव्यक्त चर को "अक्षांश" और "अक्षांश" कहा जाता है। डेटासेट मेटासेट पैकेज http://courses.nus.edu.sg/course/psycwlm/Internet/metaSEM/ में उपलब्ध है

## Load the library with the data set  
library(metaSEM)
## OpenMx is loaded automatically after loading metaSEM
## library(OpenMx)

## Select the sample effect sizes and their sampling covariance matrix
my.df <- wvs94a[, 2:6]

## It uses the reticular action model (RAM) specification
## A matrix specifies the asymmetric paths (regression coefficients and factor loadings)
## S matrix specifies the symmetric covariances and variances
## F matrix specifies a selection matrix to select the observed variables   
lat <- mxModel("LifesatOnLifeCon",
               mxData(observed=my.df, type="raw"),
               mxMatrix(type="Full", nrow=4, ncol=4,
                        free=c(F, T, rep(F, 14)),
                        values=c(0, 0.1, 1, rep(0,4), 1, rep(0,8)),
                        labels=c(NA, "beta1", rep(NA, 14)),
                        name="A"),
               mxMatrix(type="Symm", nrow=4, ncol=4,
                        values=0, free=c(T,rep(F,3),T,rep(F,5)),
                        labels=c("Var(LifeCon)",rep(NA,3),"Var(LifeSatError)",rep(NA,2),
                                 "data.lifecon_var", "data.inter_cov", "data.lifesat_var"),                        
                        name="S"),            
               mxMatrix(type="Full", nrow=2, ncol=4,
                        values=c(rep(0,4),1,0,0,1), name="F"),
               mxMatrix(type="Full", nrow=1, ncol=4, free=c(T, T, F, F),
                        values=c(0, 0, 0, 0), labels=c("MeanLifeCon", "beta0", NA, NA), name="M"),
               mxExpectationRAM("A", "S", "F", "M", dimnames=c("latcon", "latsat", "lifecon","lifesat")),
                                mxFitFunctionML())

summary(mxRun(lat))

आउटपुट है: LifesatOnLifeCon का सारांश

free parameters:
               name matrix row    col     Estimate   Std.Error
1             beta1      A   2      1  0.467619431 0.148202854
2      Var(LifeCon)      S   1      1  0.008413600 0.002537270
3 Var(LifeSatError)      S   2      2  0.002887461 0.001281026
4       MeanLifeCon      M   1 latcon  0.068825735 0.016819615
5             beta0      M   1 latsat -0.030834413 0.015565501

observed statistics:  84 
estimated parameters:  5 
degrees of freedom:  79 
-2 log likelihood:  -161.9216 
number of observations:  42 
Information Criteria: 
      |  df Penalty  |  Parameters Penalty  |  Sample-Size Adjusted
AIC:      -319.9216              -151.9216                       NA
BIC:      -457.1975              -143.2332                -158.8909
Some of your fit indices are missing.
  To get them, fit saturated and independence models, and include them with
  summary(yourModel, SaturatedLikelihood=..., IndependenceLikelihood=...). 
timestamp: 2015-01-20 18:56:09 
Wall clock time (HH:MM:SS.hh): 00:00:00.13 
optimizer:  NPSOL 
OpenMx version number: 2.0.0.4004 
Need help?  See help(mxSummary) 

β1τDA2

library(metaSEM)
summary( meta(y=cbind(lifesat, lifecon),
              v=cbind(lifesat_var, inter_cov, lifecon_var), 
              data=wvs94a) )

आउटपुट है:

Call:
meta(y = cbind(lifesat, lifecon), v = cbind(lifesat_var, inter_cov, 
    lifecon_var), data = wvs94a)

95% confidence intervals: z statistic approximation
Coefficients:
              Estimate   Std.Error      lbound      ubound z value  Pr(>|z|)
Intercept1  0.00134985  0.01385628 -0.02580797  0.02850766  0.0974 0.9223946
Intercept2  0.06882574  0.01681962  0.03585990  0.10179159  4.0920 4.277e-05
Tau2_1_1    0.00472726  0.00176156  0.00127465  0.00817986  2.6836 0.0072844
Tau2_2_1    0.00393437  0.00168706  0.00062779  0.00724094  2.3321 0.0196962
Tau2_2_2    0.00841361  0.00253727  0.00344064  0.01338657  3.3160 0.0009131

Intercept1    
Intercept2 ***
Tau2_1_1   ** 
Tau2_2_1   *  
Tau2_2_2   ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Q statistic on the homogeneity of effect sizes: 250.0303
Degrees of freedom of the Q statistic: 82
P value of the Q statistic: 0

Heterogeneity indices (based on the estimated Tau2):
                             Estimate
Intercept1: I2 (Q statistic)   0.6129
Intercept2: I2 (Q statistic)   0.7345

Number of studies (or clusters): 42
Number of observed statistics: 84
Number of estimated parameters: 5
Degrees of freedom: 79
-2 log likelihood: -161.9216 
OpenMx status1: 0 ("0" or "1": The optimization is considered fine.
Other values indicate problems.)

जब हम इन दो मॉडलों के -2 लॉग की तुलना करते हैं, तो वे बिल्कुल समान हैं (-161.9216)। इस मामले में हम प्रभाव आकारों पर मेटा-प्रतिगमन को फिट करके अतिरिक्त अंतर्दृष्टि प्राप्त नहीं करते हैं - एक द्विभाजित मेटा-विश्लेषण पहले से ही पर्याप्त है।

संदर्भ

चेउंग, एमडब्ल्यू-एल। (2008)। संरचनात्मक समीकरण मॉडलिंग में फिक्स्ड-, यादृच्छिक-, और मिश्रित-प्रभाव मेटा-विश्लेषण को एकीकृत करने के लिए एक मॉडलमनोवैज्ञानिक तरीके , 13 (3), 182–202। डोई: 10.1037 / a0013163

चेउंग, एमडब्ल्यू-एल। (2013)। मल्टीवेरेट मेटा-विश्लेषण संरचनात्मक समीकरण मॉडल के रूप मेंसंरचनात्मक समीकरण मॉडलिंग: एक बहु-विषयक जर्नल , 20 (3), 429–454। डोई: 10.1080 / 10705511.2013.797827

चेउंग, एमडब्ल्यू-एल। (2014)। तीन-स्तरीय मेटा-विश्लेषणों के साथ आश्रित प्रभाव आकार: एक संरचनात्मक समीकरण मॉडलिंग दृष्टिकोणमनोवैज्ञानिक तरीके , 19 (2), 211-29। doi: 10.1037 / a0032968।

Shadish, WR (1992)। क्या परिवार और वैवाहिक मनोचिकित्सक लोगों को बदलते हैं? व्यवहार परिणामों का एक मेटा-विश्लेषण। टीडी कुक में, एच। कूपर, डीएस कॉर्ड्रे, एच। हार्टमैन, एलवी हेडगेस, आरजे लाइट, टीए लुइस, और एफ। मोस्टर (ईडीएस), मेटा-विश्लेषण स्पष्टीकरण के लिए: एक केसबुक (129-208)। न्यूयॉर्क: रसेल सेज फाउंडेशन।

Shadish, WR (1996)। मेटा-विश्लेषण और कारण मध्यस्थ प्रक्रियाओं की खोज: उदाहरणों, विधियों और मुद्दों का एक प्राइमर। मनोवैज्ञानिक तरीके , 1 , 47-65।

शैश, डब्ल्यूआर, और स्वीनी, आर (1991)। मेटा-विश्लेषण में मध्यस्थ और मध्यस्थ: एक कारण है कि हम डोडो पक्षियों को यह नहीं बताते हैं कि मनोचिकित्सकों के पास कौन से पुरस्कार होने चाहिए। परामर्श और नैदानिक ​​मनोविज्ञान जर्नल , 59 , 883-893।


हमारी साइट, माइक में आपका स्वागत है, और इस योगदान को करने के लिए आपका बहुत-बहुत धन्यवाद।
whuber

μTβ1=τDA/τA2β0=μDβ1μAβ0β1μT, विशेष रूप से अधिक प्रभाव-आकार के मापदंडों के साथ, लेकिन वास्तविक दुनिया की घटनाओं के संदर्भ में उनकी व्याख्या करना चुनौतीपूर्ण हो सकता है।
एडम हफदहल
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.