मैं आपको अपनी क्रॉस-वैलिडेशन में मानता हूं कि आप डेटा को दो भागों में विभाजित करते हैं, एक प्रशिक्षण सेट और एक परीक्षण सेट। एक गुना में आप प्रशिक्षण सेट से एक मॉडल फिट करते हैं और परीक्षण सेट की प्रतिक्रिया की भविष्यवाणी करने के लिए इसका उपयोग करते हैं, है ना? यह आपको पूरे मॉडल के लिए त्रुटि दर देगा, न कि एक भविष्यवक्ता के लिए।
मुझे नहीं पता कि क्या साधारण रेखीय प्रतिगमन में उपयोग किए जाने वाले एफ-परीक्षणों की तरह कुछ का उपयोग करके भविष्यवाणियों के लिए पी-मान प्राप्त करना संभव है।
आप उदाहरण के लिए पिछड़े या आगे के चयन के लिए मॉडल से भविष्यवाणियों को हटाने की कोशिश कर सकते हैं यदि यह आपका उद्देश्य है।
आप सीवी के बजाय प्रत्येक भविष्यवक्ता के लिए एक विश्वास अंतराल खोजने के लिए बूटस्ट्रैप का उपयोग कर सकते हैं और फिर देख सकते हैं कि यह कितना स्थिर है।
आप अपने सीवी में कितने फोल्ड का उपयोग करते हैं, क्या यह छुट्टी-एक-आउट क्रॉस-मान्यता है?
शायद इस बात का अधिक विवरण कि आपका उद्देश्य इस प्रश्न का उत्तर देने में क्या मदद करेगा।