कैगल प्रतियोगिताओं में आयोजित आउट-टेस्ट टेस्ट के आधार पर अंतिम रैंकिंग निर्धारित की जाती है।
एक आयोजित-आउट परीक्षण सेट एक नमूना है; यह मॉडलिंग की जा रही आबादी का प्रतिनिधि नहीं हो सकता है। चूंकि प्रत्येक सबमिशन एक परिकल्पना की तरह है, प्रतियोगिता को जीतने वाले एल्गोरिदम को कुल मिलाकर, दूसरों की तुलना में बेहतर परीक्षण सेट का मिलान करना समाप्त हो सकता है। दूसरे शब्दों में, यदि एक अलग परीक्षण सेट का चयन किया गया और प्रतियोगिता को दोहराया गया, तो क्या रैंकिंग समान रहेगी?
प्रायोजन निगम के लिए, यह वास्तव में कोई फर्क नहीं पड़ता (शायद शीर्ष 20 प्रस्तुतियाँ उनकी आधारभूत स्थिति में सुधार करेंगी)। हालांकि, विडंबना यह है कि वे पहले स्थान पर रहने वाले मॉडल का उपयोग कर समाप्त हो सकते हैं जो अन्य शीर्ष पांच की तुलना में खराब है। लेकिन, प्रतियोगिता के प्रतिभागियों के लिए, ऐसा लगता है कि कागल अंततः मौका का खेल है - भाग्य को सही समाधान पर ठोकर खाने की ज़रूरत नहीं है, यह उस पर ठोकर खाने की ज़रूरत है जो परीक्षण सेट से मेल खाता है!
क्या प्रतियोगिता को बदलना संभव है ताकि सभी शीर्ष टीमें जो सांख्यिकीय रूप से प्रतिष्ठित नहीं हो सकती हैं? या, इस समूह में, सबसे पारसी या कम्प्यूटेशनल सस्ते मॉडल जीत सकता है?