मैं मात्रात्मक प्रतिगमन का उपयोग कर रहा हूं (उदाहरण के लिए gbmया quantregआर के माध्यम से ) - मध्यिका पर ध्यान केंद्रित नहीं कर रहा है, बल्कि एक ऊपरी मात्रात्मक (जैसे 75%)। भविष्य कहनेवाला मॉडलिंग पृष्ठभूमि से आ रहा है, मैं मापना चाहता हूं कि मॉडल एक परीक्षण सेट पर कितनी अच्छी तरह फिट बैठता है और एक व्यावसायिक उपयोगकर्ता के लिए इसका वर्णन करने में सक्षम है। मेरा सवाल यह है कि कैसे? एक सतत लक्ष्य के साथ एक विशिष्ट सेटिंग में मैं निम्नलिखित कार्य कर सकता हूं:
- समग्र RMSE की गणना करें
- अनुमानित मूल्य द्वारा निर्धारित आंकड़ों को संकलित करें और प्रत्येक डिकाइल में अनुमानित औसत से वास्तविक औसत की तुलना करें।
- आदि।
इस मामले में क्या किया जा सकता है, जहां भविष्यवाणी की तुलना करने के लिए वास्तव में कोई वास्तविक मूल्य नहीं है (मैं कम से कम नहीं सोचता हूं)?
यहाँ एक उदाहरण कोड है:
install.packages("quantreg")
library(quantreg)
install.packages("gbm")
library(gbm)
data("barro")
trainIndx<-sample(1:nrow(barro),size=round(nrow(barro)*0.7),replace=FALSE)
train<-barro[trainIndx,]
valid<-barro[-trainIndx,]
modGBM<-gbm(y.net~., # formula
data=train, # dataset
distribution=list(name="quantile",alpha=0.75), # see the help for other choices
n.trees=5000, # number of trees
shrinkage=0.005, # shrinkage or learning rate,
# 0.001 to 0.1 usually work
interaction.depth=5, # 1: additive model, 2: two-way interactions, etc.
bag.fraction = 0.5, # subsampling fraction, 0.5 is probably best
train.fraction = 0.5, # fraction of data for training,
# first train.fraction*N used for training
n.minobsinnode = 10, # minimum total weight needed in each node
cv.folds = 5, # do 3-fold cross-validation
keep.data=TRUE, # keep a copy of the dataset with the object
verbose=TRUE) # don’t print out progress
best.iter<-gbm.perf(modGBM,method="cv")
pred<-predict(modGBM,valid,best.iter)
अब क्या - चूंकि हम सशर्त वितरण के प्रतिशतक का निरीक्षण नहीं करते हैं?
जोड़ें:
मैंने कई तरीकों की परिकल्पना की है और मैं जानना चाहूंगा कि क्या वे सही हैं और यदि बेहतर हैं - तो पहले की व्याख्या कैसे करें:
नुकसान कार्यों से औसत मूल्य की गणना करें:
qregLoss<-function(actual, estimate,quantile) { (sum((actual-estimate)*(quantile-((actual-estimate)<0))))/length(actual) }यह मात्रात्मक प्रतिगमन के लिए नुकसान का कार्य है - लेकिन हम मूल्य की व्याख्या कैसे करते हैं?
क्या हमें उम्मीद करनी चाहिए कि यदि उदाहरण के लिए हम 75 वाँ प्रतिशत की गणना कर रहे हैं कि एक परीक्षण सेट पर, अनुमानित मूल्य वास्तविक मूल्य से लगभग 75% अधिक होना चाहिए?
क्या अन्य तरीके औपचारिक या हेयुरिस्टिक हैं यह वर्णन करने के लिए कि मॉडल नए मामलों की कितनी अच्छी भविष्यवाणी करता है?