यादृच्छिक वन प्रतिगमन प्रशिक्षण डेटा से अधिक की भविष्यवाणी नहीं

Question

मैंने देखा है कि यादृच्छिक वन प्रतिगमन मॉडल बनाते समय, कम से कम R, अनुमानित मूल्य कभी भी प्रशिक्षण डेटा में देखे गए लक्ष्य चर के अधिकतम मूल्य से अधिक नहीं होता है। एक उदाहरण के रूप में, नीचे दिए गए कोड को देखें। मैं डेटा के mpgआधार पर अनुमान लगाने के लिए एक प्रतिगमन मॉडल बना रहा हूं mtcars। मैं ओएलएस और यादृच्छिक वन मॉडल का निर्माण करता हूं, और mpgएक काल्पनिक कार के लिए भविष्यवाणी करने के लिए उनका उपयोग करता हूं जिसमें बहुत अच्छी ईंधन अर्थव्यवस्था होनी चाहिए। ओएलएस एक उच्च भविष्यवाणी करता है mpg, जैसा कि अपेक्षित है, लेकिन यादृच्छिक वन नहीं करता है। मैंने इसे और अधिक जटिल मॉडलों में भी देखा है। ऐसा क्यों है?

> library(datasets)
> library(randomForest)
> 
> data(mtcars)
> max(mtcars$mpg)
[1] 33.9
> 
> set.seed(2)
> fit1 <- lm(mpg~., data=mtcars) #OLS fit
> fit2 <- randomForest(mpg~., data=mtcars) #random forest fit
> 
> #Hypothetical car that should have very high mpg
> hypCar <- data.frame(cyl=4, disp=50, hp=40, drat=5.5, wt=1, qsec=24, vs=1, am=1, gear=4, carb=1)
> 
> predict(fit1, hypCar) #OLS predicts higher mpg than max(mtcars$mpg)
      1 
37.2441 
> predict(fit2, hypCar) #RF does not predict higher mpg than max(mtcars$mpg)
       1 
30.78899 

Comments

क्या यह आम है कि लोग रेखीय प्रतिगमन को ओएलएस के रूप में संदर्भित करते हैं? मैंने हमेशा एक विधि के रूप में ओएलएस के बारे में सोचा है।

— हाओ ये

मेरा मानना ​​है कि ओएलएस रेखीय प्रतिगमन की डिफ़ॉल्ट विधि है, कम से कम आर। में

— गौरव बंसल

यादृच्छिक वृक्षों / वन के लिए, पूर्वानुमान संबंधित नोड में प्रशिक्षण डेटा का औसत हैं। तो यह प्रशिक्षण डेटा में मूल्यों से बड़ा नहीं हो सकता।

— जेसन

मैं सहमत हूं लेकिन इसका उत्तर कम से कम तीन अन्य उपयोगकर्ताओं द्वारा दिया गया है।

— हैलोवर्ल्ड

Answer 1

जैसा कि यह पहले से ही पिछले जवाबों में उल्लेख किया गया है, प्रतिगमन / प्रतिगमन पेड़ों के लिए यादृच्छिक वन प्रशिक्षण डेटा रेंज के दायरे से परे डेटा बिंदुओं के लिए अपेक्षित भविष्यवाणियों का उत्पादन नहीं करता है क्योंकि वे अतिरिक्त (अच्छी तरह से) नहीं कर सकते हैं। एक प्रतिगमन पेड़ में नोड्स का एक पदानुक्रम होता है, जहां प्रत्येक नोड एक विशेषता मान पर किए जाने वाले परीक्षण को निर्दिष्ट करता है और प्रत्येक पत्ती (टर्मिनल) नोड एक अनुमानित आउटपुट की गणना करने के लिए एक नियम निर्दिष्ट करता है। आपके मामले में परीक्षण के अवलोकन के लिए पेड़ों के माध्यम से नोड्स को बताते हुए प्रवाहित किया जाता है, उदाहरण के लिए, "यदि x> 335, तो y = 15", जो तब यादृच्छिक वन द्वारा औसत होते हैं।

यहाँ एक आर स्क्रिप्ट है जो यादृच्छिक वन और रैखिक प्रतिगमन दोनों के साथ स्थिति की कल्पना कर रही है। यादृच्छिक वन के मामले में, भविष्यवाणियां डेटा बिंदुओं के परीक्षण के लिए स्थिर होती हैं जो या तो सबसे कम प्रशिक्षण डेटा x-value से नीचे होती हैं या उच्चतम प्रशिक्षण डेटा x-value से ऊपर होती हैं।

library(datasets)
library(randomForest)
library(ggplot2)
library(ggthemes)

# Import mtcars (Motor Trend Car Road Tests) dataset
data(mtcars)

# Define training data
train_data = data.frame(
    x = mtcars$hp,  # Gross horsepower
    y = mtcars$qsec)  # 1/4 mile time

# Train random forest model for regression
random_forest <- randomForest(x = matrix(train_data$x),
                              y = matrix(train_data$y), ntree = 20)
# Train linear regression model using ordinary least squares (OLS) estimator
linear_regr <- lm(y ~ x, train_data)

# Create testing data
test_data = data.frame(x = seq(0, 400))

# Predict targets for testing data points
test_data$y_predicted_rf <- predict(random_forest, matrix(test_data$x)) 
test_data$y_predicted_linreg <- predict(linear_regr, test_data)

# Visualize
ggplot2::ggplot() + 
    # Training data points
    ggplot2::geom_point(data = train_data, size = 2,
                        ggplot2::aes(x = x, y = y, color = "Training data")) +
    # Random forest predictions
    ggplot2::geom_line(data = test_data, size = 2, alpha = 0.7,
                       ggplot2::aes(x = x, y = y_predicted_rf,
                                    color = "Predicted with random forest")) +
    # Linear regression predictions
    ggplot2::geom_line(data = test_data, size = 2, alpha = 0.7,
                       ggplot2::aes(x = x, y = y_predicted_linreg,
                                    color = "Predicted with linear regression")) +
    # Hide legend title, change legend location and add axis labels
    ggplot2::theme(legend.title = element_blank(),
                   legend.position = "bottom") + labs(y = "1/4 mile time",
                                                      x = "Gross horsepower") +
    ggthemes::scale_colour_colorblind()

Answer 2

एक रैंडम फ़ॉरेस्ट का कोई रास्ता नहीं है, जैसे कि OLS करते हैं। कारण सरल है: एक यादृच्छिक वन से पूर्वानुमान कई पेड़ों में प्राप्त परिणामों के औसत के माध्यम से किया जाता है। पेड़ स्वयं प्रत्येक टर्मिनल नोड, पत्तियों में नमूनों के औसत मूल्य का उत्पादन करते हैं। परिणाम प्रशिक्षण डेटा की सीमा के बाहर होना असंभव है, क्योंकि औसत हमेशा अपने घटकों की सीमा के अंदर होता है।

दूसरे शब्दों में, औसतन प्रत्येक नमूने की तुलना में बड़ा (या कम) होना असंभव है, और रैंडम फ़ॉरेस्ट रिग्रेशन औसत पर आधारित हैं।

Answer 3

निर्णय पेड़ / रैंडम फ़ॉरेस्ट प्रशिक्षण डेटा के बाहर एक्सट्रपलेशन नहीं कर सकते। और यद्यपि ओएलएस ऐसा कर सकता है, इस तरह की भविष्यवाणियों को सावधानी से देखा जाना चाहिए; के रूप में पहचाना पैटर्न मनाया सीमा के बाहर जारी नहीं हो सकता है।