RMSE के आधार पर सटीकता माप की गणना कैसे करें? क्या मेरे बड़े डेटासेट को आम तौर पर वितरित किया जाता है?

Question

मेरे पास हजारों बिंदुओं के क्रम पर कई डेटासेट हैं। प्रत्येक डेटासेट में मान X, Y, Z हैं जो अंतरिक्ष में एक समन्वय का जिक्र करते हैं। Z- मान समन्वय युग्म (x, y) में ऊंचाई में अंतर का प्रतिनिधित्व करता है।

आमतौर पर जीआईएस के मेरे क्षेत्र में, ऊंचाई की त्रुटि को आरएमएसई में एक बिंदु बिंदु (LiDAR डेटा बिंदु) के लिए जमीनी सच्चाई बिंदु को घटाकर संदर्भित किया जाता है। आमतौर पर न्यूनतम 20 ग्राउंड-ट्रूटिंग चेक पॉइंट का उपयोग किया जाता है। NDEP (राष्ट्रीय डिजिटल ऊंचाई दिशानिर्देश) और फेमा दिशानिर्देशों के अनुसार, इस RMSE मूल्य का उपयोग करते हुए, सटीकता का एक उपाय गणना किया जा सकता है: सटीकता = 1.96 * RMSE।

इस सटीकता के रूप में कहा गया है: "मौलिक ऊर्ध्वाधर सटीकता वह मान है जिसके द्वारा ऊर्ध्वाधर सटीकता का समान रूप से आंकलन किया जा सकता है और डेटासेट के बीच तुलना की जा सकती है। ऊर्ध्वाधर सटीकता की गणना ऊर्ध्वाधर आरएमएसई के एक समारोह के रूप में 95 प्रतिशत आत्मविश्वास स्तर पर की जाती है।"

मैं समझता हूं कि सामान्य वितरण वक्र के तहत 95% क्षेत्र 1.96 * std.deviation के अंतर्गत आता है, हालांकि यह RMSE से संबंधित नहीं है।

आम तौर पर मैं यह सवाल पूछ रहा हूं: 2-डेटासेट से गणना किए गए आरएमएसई का उपयोग करके, मैं आरएमएसई को किसी प्रकार की सटीकता से कैसे संबंधित कर सकता हूं (अर्थात मेरे डेटा बिंदुओं का 95 प्रतिशत +/- एक्स सेमी के भीतर है)? इसके अलावा, मैं कैसे निर्धारित कर सकता हूं कि मेरे डेटासेट को आम तौर पर एक ऐसे परीक्षण का उपयोग करके वितरित किया जाता है जो इतने बड़े डेटासेट के साथ अच्छा काम करता है? सामान्य वितरण के लिए "अच्छा पर्याप्त" क्या है? सभी परीक्षणों के लिए पी <0.05 होना चाहिए, या क्या यह एक सामान्य वितरण के आकार से मेल खाना चाहिए?

---

मुझे इस विषय पर कुछ बहुत अच्छी जानकारी निम्न पत्र में मिली:

http://paulzandbergen.com/PUBLICATIONS_files/Zandbergen_TGIS_2008.pdf

Comments

ध्यान रहे! Ks.test का आपका उपयोग गलत है। सहायता पृष्ठ के अनुसार , आपको 'dnorm' के बजाय 'pnorm' का उपयोग करने की आवश्यकता है। इसके अलावा, माध्य और एसडी के नमूने के तुलनात्मक वितरण के मापदंडों को निर्धारित करने से पी-वैल्यू में काफी वृद्धि होगी: "यदि एकल-नमूना परीक्षण का उपयोग किया जाता है, तो ... में निर्दिष्ट पैरामीटर पूर्व-निर्दिष्ट और अनुमानित नहीं होने चाहिए। आँकड़े।"

— whuber

खैर, वास्तव में, वह सूत्र आपको एक आत्मविश्वास अंतराल नहीं देगा: यह उसके लिए बहुत बड़ा होगा। यह वास्तव में एक सहिष्णुता अंतराल का अनुमान लगाने के लिए एक कच्चा (लेकिन मानक) तरीका है , जो मतभेदों की पूरी आबादी का मध्य 95% है। मतभेदों को मानने के अच्छे कारण हैं जिनका सामान्य वितरण नहीं होगा : बड़े निरपेक्ष मतभेद बड़े स्थलाकृतिक ढलानों के साथ जुड़े होते हैं। अपने 4000 अंकों को मानते हुए उन अंतरों का एक यादृच्छिक नमूना है, तो आप सिर्फ उनके 2.5 और 97.5 प्रतिशत की रिपोर्ट क्यों नहीं करते हैं?

— whuber

आपका डेटा ऊंचाई का एक सांख्यिकीय नमूना बनाता है जिसे मापा जा सकता है। जब आप "सटीकता" के बारे में बात करते हैं, तो आप इस बारे में दावे कर रहे हैं कि आपके डेम ऊँचाई की पूरी आबादी का कितनी बारीकी से प्रतिनिधित्व करते हैं । आपके मामले में, डेटासेट की तुलना करके सटीकता का आकलन करना असंभव है: आपको अपने डेटा को "फ़ील्ड-सत्य" करना होगा। इस प्रकार, दिशानिर्देश वास्तव में दो डेटासेट के सापेक्ष समझौते के बारे में बात कर रहे हैं । अंत में, "आत्मविश्वास स्तर" का उपयोग गलत है, जैसा कि मैंने पहले बताया था। मैं मानता हूं कि आपको इस तरह के भयानक मार्गदर्शन के दायरे में काम करना होगा, लेकिन आप यह जानने के लायक हैं कि क्या सही है।

— व्हिबर

यह आपके लिए एक उपयोगी प्रश्न की तरह लग रहा है। क्योंकि आपको अभी तक कोई जवाब नहीं मिला है, इसलिए आपने इन टिप्पणियों में बताई गई जानकारी को शामिल करने के लिए केवल वर्तमान प्रश्न को पूरी तरह से संपादित नहीं किया है? मैं इसे कुछ हद तक विस्तृत करने का सुझाव दूंगा: दिशानिर्देशों को उद्धृत करने के बाद (यह दिखाने के लिए कि आपके क्षेत्र में आमतौर पर किस तरह के तरीके कार्यरत हैं), आप सटीकता का आकलन करने के लिए ऊँचाई में अंतर जोड़े के अंतर के वितरण का उपयोग करने के लिए काफी पूछ सकते हैं। डेटा सेट का संदर्भ है)।

— whuber

सभी: मेरी मुख्य पोस्ट अपडेट करें और टिप्पणियों से परिवर्तनों को प्रतिबिंबित करने के लिए प्रश्न करें।

— मैथ्यू बिल्सी

Answer 1

2-डेटासेट से गणना की गई RMSE का उपयोग करते हुए, मैं RMSE को किसी प्रकार की सटीकता से कैसे संबंधित कर सकता हूं (अर्थात मेरे डेटा बिंदुओं का 95 प्रतिशत +/- X सेमी के भीतर है)?

नज़दीकी डुप्लिकेट प्रश्न पर एक नज़र डालें: RMSE का आत्मविश्वास अंतराल ?

क्या मेरे बड़े डेटासेट को आम तौर पर वितरित किया जाता है?

zमूल्यों के अनुभवजन्य वितरण का निरीक्षण करने के लिए एक अच्छी शुरुआत होगी । यहाँ एक प्रतिलिपि प्रस्तुत करने योग्य उदाहरण है।

set.seed(1)
z <- rnorm(2000,2,3)
z.difference <- data.frame(z=z)

library(ggplot2)

ggplot(z.difference,aes(x=z)) + 
  geom_histogram(binwidth=1,aes(y=..density..), fill="white", color="black") +
  ylab("Density") + xlab("Elevation differences (meters)") +
  theme_bw() + 
  coord_flip()

पहली नज़र में, यह सामान्य दिखता है, है ना? (वास्तव में, हम जानते हैं कि यह सामान्य है क्योंकि rnormहम जिस कमांड का उपयोग करते हैं)।

यदि कोई डेटासेट पर छोटे नमूनों का विश्लेषण करना चाहता है तो शापिरो-विल्क नॉर्मलिटी टेस्ट है।

z_sample <- sample(z.difference$z,40,replace=T)
shapiro.test(z_sample) #high p-value indicates the data is normal (null hypothesis)

    Shapiro-Wilk normality test

data:  z_sample
W = 0.98618, p-value = 0.8984 #normal

एक भी अलग-अलग छोटे नमूनों पर कई बार एसडब्ल्यू परीक्षण दोहरा सकता है, और फिर, के वितरण को देखें p-values।

ज्ञात हो कि बड़े डेटासेट पर सामान्यता परीक्षण इतने उपयोगी नहीं होते हैं, जितना कि ग्रेग स्नो द्वारा प्रदान किए गए इस उत्तर में बताया गया है ।

दूसरी ओर, वास्तव में बड़े डेटासेट के साथ केंद्रीय सीमा प्रमेय खेल में आता है और आम विश्लेषण (प्रतिगमन, टी-टेस्ट, ...) के लिए आप वास्तव में परवाह नहीं करते हैं कि जनसंख्या सामान्य रूप से वितरित की गई है या नहीं।

अंगूठे का अच्छा नियम qq- प्लॉट करना और पूछना है, क्या यह सामान्य है?

तो, चलिए QQ- प्लॉट बनाते हैं:

#qq-plot (quantiles from empirical distribution - quantiles from theoretical distribution)
mean_z <- mean(z.difference$z)
sd_z <- sd(z.difference$z)
set.seed(77)
normal <- rnorm(length(z.difference$z), mean = mean_z, sd = sd_z)

qqplot(normal, z.difference$z, xlab="Theoretical", ylab="Empirical")

यदि डॉट्स y=xलाइन में संरेखित हैं तो इसका मतलब है कि अनुभवजन्य वितरण सैद्धांतिक वितरण से मेल खाता है, जो इस मामले में सामान्य वितरण है।