बड़ी निगेटिव दरों वाली सेवाएँ पर्याप्त हार्ड डिस्क को पर्याप्त तेजी से कैसे स्थापित करती हैं?


13

अमेज़न, फेसबुक और गूगल को प्रतिदिन पीबी नहीं तो टीबी में लेना ही चाहिए, तो क्या इसका मतलब है कि उनके पास लगातार नए हार्ड डिस्क और केबल को नए रैक में स्थापित करना है उसी तरह आप एक नियमित सर्वर का निर्माण कर सकते हैं, या क्या एक अलग तकनीक का उपयोग किया जाता है कनेक्ट करने के लिए ड्राइव एन मस्से?



यह सोचने का एक और पहलू है कि ड्राइव स्टोरेज की विफलता दर बहुत ज्यादा स्टोरेज के साथ है और वे कैसे बनाए रखते हैं। कुछ लोगों ने अनुमान लगाया है कि Google को हर मिनट कहीं न कहीं एक नई ड्राइव विफलता हो सकती है।
मैट

जवाबों:


16

मुझे नहीं पता कि उनमें से कोई भी वास्तव में एक समय में हार्डवेयर एक सर्वर स्थापित कर रहा है या नहीं। 2008 में वापस MS ने सर्वरों के सीलबंद और पूर्व-वायर्ड शिपिंग कंटेनरों में सर्वर प्राप्त करके अपने डेटा केंद्रों का निर्माण शुरू किया, जिन्हें उन्हें बस ट्रक और प्लग पावर / नेटवर्क कनेक्शन से अनलोड करने की आवश्यकता थी। हालांकि 08 बिल्ड कंटेनर और उनके सबसे हाल के डेटासेंटर के लिए पारंपरिक मिश्रण थे, जो तब से एक कस्टम प्रीफैब डिज़ाइन में चले गए हैं जो कि मौसमरोधी है और अलग-अलग इमारतों के अंदर रखने की आवश्यकता नहीं है।

एचपी और आईबीएम दोनों ही सर्वर से भरे हुए प्रीबिलीट कंटेनरों के साथ समान पैकेज बेचते हैं, जिन्हें तैनात करने के लिए केवल बिजली / डेटा कनेक्शन की आवश्यकता होती है।

प्रीफ़ैब मॉड्यूल के साथ माइक्रोसॉफ्ट का बॉयड वर्जीनिया डेटा सेंटर मौसम के संपर्क में।


यह मेरे लिए है, केवल प्रारंभिक प्रश्न को संबोधित करने वाला एकमात्र उत्तर है। +1
मावरोन

1
BTW, यहाँ उस चित्र के लिए स्रोत है । यह वर्जीनिया में एक Microsoft Azure डेटासेंटर है।
tedder42

किसी को अभी भी एक समय में शिपिंग कंटेनर सर्वर का निर्माण / कनेक्ट / परीक्षण करना है और Google / facebook घर में अपना हार्डवेयर करने के लिए करते हैं।
मैट

@mindthemonkey है कि एक ही सस्ते चीनी श्रम है कि साधारण रैक सर्वर का उपयोग कर एक ही कारखाने में किया है / हम में से बाकी के द्वारा प्रयोग किया ब्लेड में इकट्ठे होते हैं।
दान आग से नगण्य है


7

Google के पास कई प्रौद्योगिकियां हैं जो उन्होंने डेटा के इन विशाल द्रव्यमानों को संग्रहीत करने के लिए आंतरिक रूप से विकसित की हैं। इन प्रौद्योगिकियों का उपयोग करके वे वास्तव में बिना किसी डाउनटाइम के हार्ड डिस्क के ट्रक लोड को अपने क्लस्टर में जोड़ सकते हैं, लेकिन हां, उन्हें अभी भी ऐसा करने वाले लोगों की आवश्यकता है।

जहां तक ​​मैं Google ब्लॉग से जानता हूं कि दो मुख्य भाग Google फ़ाइल सिस्टम हैं, जो कि एक वितरित फ़ाइल प्रणाली है जो वास्तव में बड़े पैमाने पर हो सकती है: Google फ़ाइल सिस्टम

और Google फ़ाइल सिस्टम के शीर्ष पर उनके पास बिग टेबल है जो किसी प्रकार का मुख्य मूल्य डेटाबेस है और साथ ही विशाल स्केल में भी बड़ा होता है: बिग टेबल

उच्च उपलब्धता की गारंटी के लिए सब कुछ अनावश्यक है कई बार, ज्यादातर मामलों में 3 से अधिक बार।


1
मुझे लगता है कि प्रश्न अधिक हार्डवेयर-उन्मुख है, और आपका उत्तर थोड़ा-सा विषय है, लेकिन यह एक अच्छी जानकारी है।
मॉवरोन

5

यह ठीक है। मुझे याद है कि एक समय में, फेसबुक डाटासेंटर औसत दिन में हार्ड ड्राइव और रैक-माउंट सर्वर से भरे तीन ट्रैक्टर-ट्रेलर जोड़ रहे थे। बेशक, उनके पास भंडारण स्केलेबल और निरर्थक बनाने के लिए जटिल योजनाएं हैं। उदाहरण के लिए, Google के पास GFS है । फेसबुक के पास अपने उपकरणों के लिए केवल तीन डेटा केंद्र हैं, प्रत्येक दो वॉल-मार्ट से बड़ा है और एक नया उनके मौजूदा केंद्रों से चार गुना बड़ा है।


2

4-रैक यूनिट में 180 टीबी की डिस्क को फिट करने में सक्षम नई पीढ़ी के ओपन कंप्यूट स्टोरेज सॉल्यूशंस के साथ, पीबी वास्तव में बहुत बड़ी मात्रा में जगह नहीं है: 1 पीबी को एक दिन में जोड़ने का मतलब होगा 5 ऐसे सर्वरों को एक दिन में रैक करना, एक बड़ी समस्या नहीं। बेहतर अभी तक, ये लगभग $ 10K के लिए हो सकते हैं, जिसका अर्थ है कि आप प्रति टीबी $ 60 से कम का भुगतान कर रहे हैं।

तो, हाँ, प्रौद्योगिकी हम सभी के लिए उपलब्ध है एक ही कीमत पर, जो बैंक को नहीं तोड़ता है।

लेकिन आपको यह ध्यान रखना होगा कि बड़ी कंपनियों को हमेशा बेहतर सौदा मिलता है, और बड़ी मात्रा में भंडारण की खरीद के लिए बड़े अनुबंधों पर हस्ताक्षर करते हैं। उन्हें साल भर में छोटे-छोटे शिपमेंट मिल सकते हैं, लेकिन ऐसा नहीं है कि वे एक बार में सिर्फ 1PB ऑर्डर करते हैं।


1
खुला तिजोरी चश्मा ऑनलाइन हैं । 4TB ड्राइव के साथ वे 2U में 120TB तक हैं।
मैट

0

यहाँ BackBlaze से एक दिलचस्प ब्लॉग पोस्ट है कि वे ऐसा कैसे करते हैं (उन्हें Google या फेसबुक के रूप में उतने डिस्क की आवश्यकता नहीं है, लेकिन अभी भी एक पूरी लेफ्टिनेंट), और थाईलैंड में बाढ़ आने पर उन्हें क्या करने की आवश्यकता थी, जिसने हार्डडिस्क बनाया महंगा और मुश्किल से प्राप्त करने के लिए:

http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.