अपनी आवश्यकता की कल्पना करें कि आपके पास 3 विशाल तालिकाओं (संरचित डेटा) हैं, जिनमें से प्रत्येक में 30 बिलियन पंक्तियाँ (कुल 4TB का आकार) और आपके कई समवर्ती उपयोगकर्ता (जो दूरस्थ LAN मशीनों पर समांतर ओएस थ्रेड्स हैं) के एक हिस्से को पढ़ने की आवश्यकता होगी डेटा को उनके SELELCT के माध्यम से जहां ग्रुपबीए के सवाल और अत्यधिक समवर्ती हैं, एक ही समय में 10,000 समवर्ती पढ़ता है और उपयोगकर्ताओं को भी इन तालिकाओं में डेटा (कोई अद्यतन नहीं) सम्मिलित करने की आवश्यकता है, जो 2000 के समवर्ती लेखकों की तरह अत्यधिक समवर्ती हैं (सभी डेटा डेटा SQL नेटवर्क पर) । उपयोगकर्ता इस संग्रहण को यथासंभव तेज़ी से पढ़ना और सम्मिलित करना चाहते हैं, जहाँ प्रत्येक पढ़ने और लिखने का कार्य एमएस से 1 सेकंड की सीमा में होगा।
ऐसी आवश्यकता को पूरा करने के लिए आप किन तकनीकों की सलाह देते हैं? क्या कोई डेटा स्टोरेज या की-वैल्यू स्टोर है जो ऐसा कर सकता है? क्लाउड एक विकल्प नहीं है।
कुछ स्पष्टीकरण:
उपयोगकर्ताओं को अभी डेटा देखने की आवश्यकता नहीं है और अंततः स्थिरता स्वीकार्य है। डेटा जो भी ड्राइवर स्टोरेज प्रदान कर सकता है, उसके माध्यम से एक्सेस किया जाता है और उपयोगकर्ता फिर से बस थ्रेड्स हैं जो डेटा सेंटर की दूरस्थ मशीनों पर चल रहे हैं। क्वेरीज़ ज्यादातर सिलेक्ट व्हेयर ग्रुपबीवाई की तरह हैं।
डेटा सारणीबद्ध प्रारूप में है और प्रत्येक पंक्ति लगभग 60 बाइट्स है।
कोई भी क्लाउड विकल्प नहीं है जहां मैं डायनमोडीबी या इसी तरह के समाधान का उपयोग नहीं कर सकता हूं। मुझे इसे आंतरिक रूप से डेटा सेंटर में होस्ट करने में सक्षम होना चाहिए।
तालिकाओं के सभी डेटा को हर समय पढ़ा जा सकता है और उपयोग का पैटर्न अप्रत्याशित है। कोई ज्वाइन या सुपर लॉन्ग क्वेरी नहीं है। कोई डॉ की आवश्यकता नहीं है, लेकिन एक उचित हा की आवश्यकता है, लेकिन यह फैंसी होने की जरूरत नहीं है। प्रत्येक पाठक को पंक्तियों का एक बैच मिल रहा है, जिसके आधार पर खंड और पंक्तियाँ वास्तव में संबंधित नहीं हैं। हम शायद प्रत्येक पंक्ति के लिए निश्चित लंबाई रख सकते हैं, लेकिन मुझे उम्मीद है कि भंडारण परत इसके बारे में चिंता करेगी।
इसके अलावा, मेरी सबसे बड़ी चिंता उन सभी समवर्ती लेखन हैं जो समवर्ती पठन के साथ हो रहे हैं।
इस में आपकी अंतर्दृष्टि की बहुत सराहना की जाती है।
और अधिक बात, मेरे पास तीन टेबल हैं जिनमें प्रत्येक 30 बिलियन पंक्तियों के साथ विभिन्न ऑब्जेक्ट प्रकार हैं