आप बड़े आंकड़ों के साथ परिकल्पना परीक्षण कैसे करते हैं? मैंने अपनी उलझन पर ज़ोर देने के लिए निम्नलिखित MATLAB स्क्रिप्ट लिखी। यह सब करता है दो यादृच्छिक श्रृंखला उत्पन्न करता है, और दूसरे पर एक चर का एक सरल रैखिक प्रतिगमन चलाता है। यह विभिन्न यादृच्छिक मूल्यों और रिपोर्ट औसत का उपयोग करके कई बार इस प्रतिगमन को करता है। क्या होता है जैसा कि मैं नमूना आकार बढ़ाता हूं, पी-मान औसतन बहुत कम मिलता है।
मुझे पता है कि क्योंकि नमूना आकार के साथ एक परीक्षण की शक्ति बढ़ जाती है, एक बड़ा पर्याप्त नमूना दिया जाता है, पी-मान किसी भी परिकल्पना परीक्षण को अस्वीकार करने के लिए यादृच्छिक डेटा के साथ, पर्याप्त छोटा हो जाएगा। मैंने आस-पास पूछा और कुछ लोगों ने कहा कि 'बिग डेटा' के प्रभाव के आकार को देखने के लिए इसका अधिक महत्वपूर्ण है, अर्थात। क्या परीक्षण महत्वपूर्ण है और हमारी देखभाल के लिए पर्याप्त प्रभाव है। ऐसा इसलिए है क्योंकि बड़े नमूने के आकार में पी-वैल्यू बहुत छोटे अंतरों को उठाएगा, जैसे कि यहां बताया गया है ।
हालांकि, प्रभाव का आकार डेटा के स्केलिंग द्वारा निर्धारित किया जा सकता है। नीचे मैं एक छोटे से पर्याप्त परिमाण में व्याख्यात्मक चर को मापता हूं जिसने एक बड़ा पर्याप्त नमूना आकार दिया, यह आश्रित चर पर बड़ा महत्वपूर्ण प्रभाव डालता है।
इसलिए मैं सोच रहा हूं, अगर ये समस्याएं मौजूद हैं तो हम बिग डेटा से कोई जानकारी कैसे हासिल करेंगे?
%make average
%decide from how many values to make average
obs_inside_average = 100;
%make average counter
average_count = 1;
for average_i = 1:obs_inside_average,
%do regression loop
%number of observations
n = 1000;
%first independent variable (constant term)
x(1:10,1) = 1;
%create dependent variable and the one regressor
for i = 1:10,
y(i,1) = 100 + 100*rand();
x(i,2) = 0.1*rand();
end
%calculate coefficients
beta = (x'*x)\x'*y;
%calculate residuals
u = y - x*beta;
%calcuatate sum of squares residuals
s_2 = (n-2)\u'*u;
%calculate t-statistics
design = s_2*inv(x'*x);
%calculate standard errors
stn_err = [sqrt(design(1,1));sqrt(design(2,2))];
%calculate t-statistics
t_stat(1,1) = sqrt(design(1,1))\(beta(1,1) - 0);
t_stat(2,1) = sqrt(design(2,2))\(beta(2,1) - 0);
%calculate p-statistics
p_val(1,1) = 2*(1 - tcdf(abs(t_stat(1,1)), n-2));
p_val(2,1) = 2*(1 - tcdf(abs(t_stat(2,1)), n-2));
%save first beta to data column 1
data(average_i,1) = beta(1,1);
%save second beta to data column 2
data(average_i,2) = beta(2,1);
%save first s.e. to data column 3
data(average_i,3) = stn_err(1,1);
%save second s.e. to data column 4
data(average_i,4) = stn_err(2,1);
%save first t-stat to data column 5
data(average_i,5) = t_stat(1,1);
%save second t-stat to data column 6
data(average_i,6) = t_stat(2,1);
%save first p-val to data column 7
data(average_i,7) = p_val(1,1);
%save second p-val to data column 8
data(average_i,8) = p_val(2,1);
end
%calculate first and second beta average
b1_average = mean(data(:,1));
b2_average = mean(data(:,2));
beta = [b1_average;b2_average];
%calculate first and second s.e. average
se1_average = mean(data(:,3));
se2_average = mean(data(:,4));
stn_err = [se1_average;se2_average];
%calculate first and second t-stat average
t1_average = mean(data(:,5));
t2_average = mean(data(:,6));
t_stat = [t1_average;t2_average];
%calculate first and second p-val average
p1_average = mean(data(:,7));
p2_average = mean(data(:,8));
p_val = [p1_average;p2_average];
beta
stn_err
t_stat
p_val