बड़े मेज
संरचित डेटा के लिए एक वितरित संग्रहण प्रणाली
बिगटेबल संरचित डेटा को प्रबंधित करने के लिए एक वितरित स्टोरेज सिस्टम (Google द्वारा निर्मित) है जो एक बहुत बड़े आकार के पैमाने के लिए डिज़ाइन किया गया है: हजारों कमोडिटी सर्वरों पर डेटा की पेटबाइट्स।
बिगटेबल में Google स्टोर डेटा पर कई परियोजनाएं, जिनमें वेब इंडेक्सिंग, Google अर्थ और Google वित्त शामिल हैं। ये अनुप्रयोग डेटा आकार (URL से वेब पेज से लेकर सैटेलाइट इमेजरी तक) और विलंबता आवश्यकताओं (बैकएंड बल्क प्रोसेसिंग से लेकर रियल-टाइम डेटा सर्विंग) दोनों के संदर्भ में Bigtable पर बहुत अलग-अलग माँग रखते हैं।
इन विभिन्न मांगों के बावजूद, बिगटेबल ने इन सभी Google उत्पादों के लिए एक लचीला, उच्च-प्रदर्शन समाधान प्रदान किया है।
कुछ सुविधाएं
- तेजी से और बहुत बड़े पैमाने पर DBMS
- एक विरल, वितरित बहु-आयामी सॉर्ट किए गए नक्शे, दोनों पंक्ति-उन्मुख और स्तंभ-उन्मुख डेटाबेस की विशेषताओं को साझा करना।
- पेटाबाइट रेंज में पैमाने पर बनाया गया है
- यह सैकड़ों या हजारों मशीनों में काम करता है
- सिस्टम में अधिक मशीनों को जोड़ना आसान है और स्वचालित रूप से उन संसाधनों का लाभ उठाना शुरू कर देता है जो बिना किसी पुनर्निर्माण के हैं
- प्रत्येक तालिका में कई आयाम होते हैं (जिनमें से एक समय के लिए एक क्षेत्र है, संस्करण बनाने की अनुमति देता है)
- टेबल को कई गोलियों में विभाजित करके GFS (Google फ़ाइल सिस्टम) के लिए अनुकूलित किया जाता है - तालिका के खंडों को एक पंक्ति के साथ विभाजित किया जाता है, जैसे कि गोली ~ 200 मेगाबाइट आकार में होगी।
आर्किटेक्चर
BigTable एक रिलेशनल डेटाबेस नहीं है। यह जॉइन का समर्थन नहीं करता है और न ही यह रिच एसक्यूएल जैसे प्रश्नों का समर्थन करता है। प्रत्येक तालिका एक बहुआयामी विरल मानचित्र है। टेबल्स में पंक्तियाँ और कॉलम होते हैं, और प्रत्येक सेल में एक समय टिकट होता है। विभिन्न समय टिकटों के साथ एक सेल के कई संस्करण हो सकते हैं। समय की मोहर इस वेब पेज के "एन 'सलेक्ट' एन 'जैसे ऑपरेशंस के लिए अनुमति देती है" या "उन कोशिकाओं को हटा दें जो किसी विशिष्ट तिथि / समय से अधिक पुरानी हैं।"
विशाल तालिकाओं का प्रबंधन करने के लिए, Bigtable पंक्ति सीमाओं में तालिकाओं को विभाजित करता है और उन्हें गोलियों के रूप में बचाता है। एक गोली लगभग 200 एमबी है, और प्रत्येक मशीन लगभग 100 टैबलेट बचाता है। यह सेटअप कई सर्वरों के बीच एक ही टेबल से टैबलेट को फैलाने की अनुमति देता है। यह ठीक-ठाक लोड संतुलन के लिए भी अनुमति देता है। यदि एक तालिका में कई क्वेरीज़ आ रही हैं, तो यह अन्य टैबलेट्स को बहा सकती है या व्यस्त टेबल को दूसरी मशीन पर ले जा सकती है जो इतनी व्यस्त नहीं है। इसके अलावा, यदि कोई मशीन नीचे जाती है, तो एक टैबलेट कई अन्य सर्वरों में फैलाया जा सकता है ताकि किसी भी मशीन पर प्रदर्शन प्रभाव कम से कम हो।
टेबल को अपरिवर्तनीय SSTables और लॉग की एक पूंछ (प्रति मशीन एक लॉग) के रूप में संग्रहीत किया जाता है। जब कोई मशीन सिस्टम मेमोरी से बाहर निकलती है, तो वह Google स्वामित्व संपीडन तकनीकों (BMDiff और Zippy) का उपयोग करके कुछ टैबलेट को संपीड़ित करती है। छोटी-छोटी कंपार्टमेंट्स में केवल कुछ टैबलेट शामिल होते हैं, जबकि प्रमुख कंपार्टमेंट्स में संपूर्ण टेबल सिस्टम शामिल होता है और हार्ड-डिस्क स्थान को पुनर्प्राप्त करता है।
Bigtable गोलियाँ के स्थानों कोशिकाओं में जमा हो जाती है। किसी विशेष टैबलेट का लुक तीन स्तरीय प्रणाली द्वारा नियंत्रित किया जाता है। ग्राहकों को एक META0 तालिका के लिए एक बिंदु मिलता है, जिसमें से केवल एक है। META0 टेबल कई META1 टैबलेट्स का ट्रैक रखता है जिनमें टैबलेट के स्थानों को देखा जाता है। META0 और META1 दोनों सिस्टम में आने वाली अड़चनों को कम करने के लिए प्री-फ़ेचिंग और कैशिंग का भारी उपयोग करते हैं।
कार्यान्वयन
बिगटेबल Google फ़ाइल सिस्टम पर बनाया गया है (GFS) , जिसका उपयोग लॉग और डेटा फ़ाइलों के लिए बैकिंग स्टोर के रूप में किया जाता है। जीएफएस SSTables के लिए विश्वसनीय भंडारण प्रदान करता है, जो तालिका डेटा को बनाए रखने के लिए उपयोग किया जाने वाला एक Google-स्वामित्व फ़ाइल प्रारूप है।
एक और सेवा जो बिगटेबल का भारी उपयोग करती है, वह है चब्बी , एक अत्यधिक-उपलब्ध, विश्वसनीय वितरित लॉक सेवा। गलफुला ग्राहकों को एक ताला लेने की अनुमति देता है, संभवतः इसे कुछ मेटाडेटा के साथ जोड़ रहा है, जिसे यह चब्बी को वापस जीवित संदेश भेजकर नवीनीकृत कर सकता है। ताले एक फाइलसिस्टम-जैसे पदानुक्रमित नामकरण संरचना में संग्रहीत होते हैं।
Bigtable सिस्टम में तीन प्राथमिक सर्वर प्रकार के हित हैं:
- मास्टर सर्वर: टैबलेट सर्वर को टैबलेट प्रदान करते हैं, जहां टैबलेट स्थित हैं, वहां ट्रैक करते हैं और आवश्यकतानुसार कार्यों को पुनर्वितरित करते हैं।
- टैबलेट सर्वर: टैबलेट्स और स्प्लिट टैबलेट्स के लिए रीड / राइट रिक्वेस्ट को हैंडल करते हैं जब वे साइज लिमिट (आमतौर पर 100 एमबी - 200 एमबी) से अधिक हो जाते हैं। यदि एक टैबलेट सर्वर विफल हो जाता है, तो एक 100 टैबलेट सर्वर प्रत्येक पिक 1 नया टैबलेट और सिस्टम ठीक हो जाता है।
- लॉक सर्वर: चब्बी वितरित लॉक सेवा के उदाहरण। BigTable के भीतर बहुत सी कार्रवाइयों में लेखन के लिए गोलियाँ खोलने सहित तालों के अधिग्रहण की आवश्यकता होती है, यह सुनिश्चित करते हुए कि एक समय में एक से अधिक सक्रिय मास्टर नहीं हैं, और अभिगम नियंत्रण जाँच।
Google के शोध पत्र से उदाहरण:
एक उदाहरण तालिका का एक टुकड़ा जो वेब पृष्ठों को संग्रहीत करता है। पंक्ति नाम एक
उल्टा URL है । सामग्री स्तंभ परिवार में पृष्ठ सामग्री होती है , और लंगर स्तंभ परिवार में पृष्ठ को संदर्भित करने वाले किसी भी एंकर का पाठ होता है
। सीएनएन के मुख पृष्ठ पर, दोनों स्पोर्ट्स इलस्ट्रेटेड और मेरी देखो घर पृष्ठों से संदर्भित तो पंक्ति कॉलम नामित होता है
anchor:cnnsi.comऔर
anchor:my.look.ca। प्रत्येक एंकर सेल का एक संस्करण है ; सामग्री स्तंभ है तीन संस्करणों टाइम स्टांप पर,
t3, t5, और t6।
एपीआई
बिगटेबल के लिए विशिष्ट ऑपरेशन टेबल और कॉलम परिवारों का निर्माण और विलोपन हैं, एक पंक्ति से डेटा लिखना और कॉलम हटाना। BigTable एक एपीआई में डेवलपर्स के लिए यह कार्य प्रदान करता है। लेन-देन पंक्ति स्तर पर समर्थित हैं, लेकिन कई पंक्ति कुंजियों में नहीं।
यहां शोध पत्र की पीडीएफ के लिए लिंक दिया गया है ।
और यहां आप Google के जेफ डीन को वाशिंगटन विश्वविद्यालय में एक व्याख्यान में दिखाते हुए एक वीडियो पा सकते हैं , जो Google के बैकएंड में उपयोग की जाने वाली बिगटेबल सामग्री भंडारण प्रणाली पर चर्चा कर रहा है।
