रैंडम फ़ोरस्टेस्ट (R) के साथ पूर्वानुमान जब कुछ इनपुट में लापता मान हैं (NA)

Question

मेरे पास एक अच्छा randomForestवर्गीकरण मॉडल है जिसे मैं एक ऐसे अनुप्रयोग में उपयोग करना चाहूंगा जो एक नए मामले की कक्षा की भविष्यवाणी करता है। नए मामले में अनिवार्य रूप से लापता मूल्य हैं। भविष्यवाणी NAs के लिए इस तरह के रूप में काम नहीं करेगा। फिर मुझे यह कैसे करना चाहिए?

data(iris)
# create first the new case with missing values
na.row<-45
na.col<-c(3,5)
case.na<-iris[na.row,]
case.na[,na.col]<-NA

iris.rf <- randomForest(Species ~ ., data=iris[-na.row,])
# print(iris.rf)

myrf.pred <- predict(iris.rf, case.na[-5], type="response")
myrf.pred
[1] <NA>

मैंने कोशिश की missForest। मैंने मूल डेटा और नए मामले को संयोजित किया, इसे शेक किया missForest, और अपने नए मामले में NA के लिए अधिमूल्यित मान प्राप्त किया। हालांकि भारी कंप्यूटिंग।

data.imp <- missForest(data.with.na)

लेकिन लापता मूल्यों के साथ एक नए मामले की भविष्यवाणी करने के लिए आरएफ-मॉडल का उपयोग करने का एक तरीका होना चाहिए, है ना?

Comments

कई तरीके हैं जो लापता मानों को निर्णय पेड़ों में संभाला जा सकता है, लेकिन randomForestआर में पैकेज में केवल आपके द्वारा वर्णित प्रतिरूपण पद्धति है। यदि आप एक समान वातावरण में रहना चाहते हैं, तो gbmनए डेटा में लापता मूल्यों को संभालने की कुछ हद तक चिकनी विधि है (यह सही नहीं है, लेकिन यह उपयोगी है)।

— शिया पार्क्स

मुझे लगता है कि पार्टी पैकेज लापता मूल्यों के साथ बेहतर व्यवहार करता है

— सिमोन

प्रिय @Simone, partyटेस्ट सेट में NA के साथ पैकेज कैसे काम करता है ? मुझे partyमैनुअल या उदाहरणों में लगाने का कोई निशान नहीं मिला ।

— Hermo

@ शेरो ने पार्टी के पेपर Citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.92.9930 पर एक नज़र डालने की कोशिश की, ऐसा लगता है कि एल्गोरिथ्म कार्ट की तरह काम करता है - यह सरोगेट विभाजन को देखता है।

— सिमोन

"Na.action = na.roughfix" का उपयोग करके देखें।

Answer 1

आपके पास मूल्यों को लागू करने या मॉडल बदलने के अलावा कोई विकल्प नहीं है। Hmisc पैकेज में एक अच्छा विकल्प aregImpute हो सकता है। मुझे लगता है कि यह रिम्पिम्प्यूट से कम भारी है जो आपको हिरासत में ले रहा है, पहला पैकेज उदाहरण (अन्य हैं):

# Check that aregImpute can almost exactly estimate missing values when
# there is a perfect nonlinear relationship between two variables
# Fit restricted cubic splines with 4 knots for x1 and x2, linear for x3
set.seed(3)
x1 <- rnorm(200)
x2 <- x1^2
x3 <- runif(200)
m <- 30
x2[1:m] <- NA
a <- aregImpute(~x1+x2+I(x3), n.impute=5, nk=4, match='closest')
a
matplot(x1[1:m]^2, a$imputed$x2)
abline(a=0, b=1, lty=2)

x1[1:m]^2
a$imputed$x2

# Multiple imputation and estimation of variances and covariances of
# regression coefficient estimates accounting for imputation
# Example 1: large sample size, much missing data, no overlap in
# NAs across variables
x1 <- factor(sample(c('a','b','c'),1000,TRUE))
x2 <- (x1=='b') + 3*(x1=='c') + rnorm(1000,0,2)
x3 <- rnorm(1000)
y  <- x2 + 1*(x1=='c') + .2*x3 + rnorm(1000,0,2)
orig.x1 <- x1[1:250]
orig.x2 <- x2[251:350]
x1[1:250] <- NA
x2[251:350] <- NA
d <- data.frame(x1,x2,x3,y)
# Find value of nk that yields best validating imputation models
# tlinear=FALSE means to not force the target variable to be linear
f <- aregImpute(~y + x1 + x2 + x3, nk=c(0,3:5), tlinear=FALSE,
                data=d, B=10) # normally B=75
f
# Try forcing target variable (x1, then x2) to be linear while allowing
# predictors to be nonlinear (could also say tlinear=TRUE)
f <- aregImpute(~y + x1 + x2 + x3, nk=c(0,3:5), data=d, B=10)
f

# Use 100 imputations to better check against individual true values
f <- aregImpute(~y + x1 + x2 + x3, n.impute=100, data=d)
f
par(mfrow=c(2,1))
plot(f)
modecat <- function(u) {
 tab <- table(u)
 as.numeric(names(tab)[tab==max(tab)][1])
}
table(orig.x1,apply(f$imputed$x1, 1, modecat))
par(mfrow=c(1,1))
plot(orig.x2, apply(f$imputed$x2, 1, mean))
fmi <- fit.mult.impute(y ~ x1 + x2 + x3, lm, f, 
                       data=d)
sqrt(diag(vcov(fmi)))
fcc <- lm(y ~ x1 + x2 + x3)
summary(fcc)   # SEs are larger than from mult. imputation

आप उल्लेख करते हैं कि आपके पास कई नए अवलोकन हैं जो स्वतंत्र चर पर लापता मान हैं। भले ही आपके पास इस तरह के कई मामले हैं, अगर प्रत्येक नए अवलोकन के लिए इसके चर में से एक या दो में केवल मिसिंग है और आपके चर की मात्रा छोटी नहीं है, तो बस छेद को औसत या औसत से भरना है (क्या वे निरंतर हैं?) काम कर सकता है।

एक और चीज जो दिलचस्प हो सकती है वह है एक मामूली परिवर्तनीय महत्व विश्लेषण। यादृच्छिक वन आर कार्यान्वयन दो महत्वपूर्ण उपायों और संबंधित भूखंडों की गणना करता है:

varImpPlot(yourRandomForestModel) # yourRandomForestModel must have the argument importance=TRUE 

और आप मॉडल प्रशिक्षण में बस "महत्वपूर्ण" चर सहित के साथ खेल सकते हैं, जब तक कि भविष्यवाणी सटीकता "पूर्ण मॉडल" की तुलना में प्रभावित नहीं होती है। हो सकता है कि आप कम संख्या में यादों के साथ चर रखते हों। यह आपकी समस्या के आकार को कम करने में आपकी मदद कर सकता है।