डेवलपर्स और अन्य उपयोगकर्ताओं को भंडारण के मुद्दों को समझाने का सबसे अच्छा तरीका क्या है


40

जब सर्वर स्टोरेज कम डेवलपर्स को मिल जाता है, तो सभी विलाप करने लगते हैं, "मुझे 100 रुपये में वॉलमार्ट में 1 टीबी ड्राइव मिल सकती है, क्या समस्या है"।

डेवलपर्स को स्टोरेज की जटिलताओं को कैसे समझाया जा सकता है ताकि वे समझ सकें कि वॉलमार्ट से 1 टीबी ड्राइव सिर्फ काम क्यों नहीं करेगा।

ps मैं एक डेवलपर हूं और जानना चाहता हूं:)


5
या "मैं अमेज़ॅन एस 3 से $ 0.15 प्रति गीगाबाइट के लिए भंडारण प्राप्त कर सकता हूं, समस्या क्या है?"
क्रिस अपचर्च

@ क्रिस उपचर्च: लेकिन समस्या यह है कि आपको अमेज़ॅन एस 3, गूगल ऐप इंजन या ... गोश का चयन करने के लिए एक रिपोर्ट लिखनी पड़ सकती है, जो कि रंगी हो सकती है। ;)
नृत्य 2

6
हो सकता है कि मैं आपको घुमा दूं। मेरा काम राजस्व पैदा कर रहा है, और मुझे अपना काम प्रभावी ढंग से करने के लिए थोड़ा और भंडारण की आवश्यकता है। यह एक ठोस निवेश है, इसलिए आप सिर्फ अधिक भंडारण क्यों नहीं खरीद सकते?

1
@ क्रिस: बेशक यह हमेशा हाथ में स्थिति पर निर्भर करता है, लेकिन मैंने (महंगा) अनुभव के माध्यम से पाया है कि आधारभूत भंडारण के लिए अमेज़ॅन एस 3 का उपयोग करना वास्तव में लागत प्रभावी नहीं है। ट्रैफ़िक चोटियों को संभालने के लिए S3 का उपयोग बेहतर होता है ताकि आपको ऐसी प्रणाली में निवेश न करना पड़े जो दुर्लभतम स्थितियों को संभाल सके - लेकिन यदि आप इसे दिन-प्रतिदिन के संचालन के लिए उपयोग करना शुरू करते हैं, तो आप पा सकते हैं कि आप बहुत बेहतर हैं पूंजीगत लागत का भुगतान ...
मिहाई लिम्बासन

जवाबों:


53

कुछ घर में भंडारण के बारे में सच्चाई है, या उद्यम भंडारण इतना महंगा क्यों है?

उपभोक्ता हार्ड ड्राइव अंतरिक्ष के बड़े संस्करणों की पेशकश करते हैं ताकि यहां तक ​​कि सबसे समझदार उपयोगकर्ता * खांसी * स्ट्रीमिंग मीडिया * खांसी * कई टेराबाइट्स के संग्रह को स्टोर करने के लिए पर्याप्त खरीद सकें। वास्तव में, डिस्क की क्षमता अब कुछ दशकों से सिलिकॉन पर ट्रांजिस्टर की गिनती की तुलना में तेजी से बढ़ रही है।

'एंटरप्राइज' भंडारण कुछ अधिक जटिल मुद्दा है क्योंकि डेटा में प्रदर्शन और अखंडता आवश्यकताएं हैं जो कुछ हद तक अधिक भारी दृष्टिकोण को निर्देशित करती हैं। हार्डवेयर विफलता की स्थिति में डेटा की उपलब्धता की कुछ गारंटी होनी चाहिए और इसे बड़ी संख्या में उपयोगकर्ताओं के साथ साझा करना पड़ सकता है, जो एकल उपयोगकर्ता की तुलना में कई अधिक पढ़ने / लिखने के अनुरोध उत्पन्न करेगा।

इस समस्या का तकनीकी समाधान उपभोक्ता भंडारण समाधानों की तुलना में कई गुना अधिक महंगा हो सकता है। उन्हें शारीरिक रखरखाव की भी आवश्यकता होती है; बैकअप लिया जाना चाहिए और अक्सर ऑफ-साइट संग्रहीत किया जाता है ताकि आग डेटा को नष्ट न करें। यह प्रक्रिया चल रही लागत को जोड़ती है।

प्रदर्शन

आपके 1 टीबी उपभोक्ता या यहां तक ​​कि पास-लाइन ड्राइव पर आपके पास सिर्फ एक सिर है। डिस्क 7200 RPM, या 120 क्रांतियों प्रति सेकंड पर घूमती है। इसका मतलब है कि आप सिद्धांत रूप में प्रति सेकंड सबसे अधिक 120 यादृच्छिक-पहुंच I / O संचालन प्राप्त कर सकते हैं * और व्यवहार में कुछ हद तक कम है। इस प्रकार, 1TB वॉल्यूम पर एक बड़ी फ़ाइल की प्रतिलिपि बनाना अपेक्षाकृत धीमा है।

14x 72GB डिस्क के साथ एक डिस्क ऐरे पर, आपके पास 15,000 आरपीएम या प्रति सेकंड लगभग 250 क्रांतियों पर जाने वाले डिस्क हैं (कहते हैं)। यह आपको सैद्धांतिक रूप से अधिकतम 3,500 यादृच्छिक I / O संचालन प्रति सेकंड * (फिर से, व्यवहार में कुछ हद तक कम) देता है। फाइल कॉपी के समान अन्य सभी चीजें कई गुना तेज होंगी।

*डिस्क की प्रति क्रांति एक से अधिक रैंडम एक्सेस प्राप्त कर सकती है यदि रीड्स की ज्यामिति ड्राइव को हेड्स को स्थानांतरित करने की अनुमति देती है और डिस्क के एक क्रांति के भीतर उपलब्ध होने वाले सेक्टर को पढ़ती है। यदि डिस्क एक्सेस व्यापक रूप से छितरी हुई थी, तो आप संभवतः एक से कम औसत करेंगे। जहां एक डिस्क सरणी एक धारीदार (नीचे देखें) लेआउट में स्वरूपित होती है, आपको अधिकांश परिस्थितियों में डिस्क की प्रति क्रांति अधिकतम एक पट्टी पढ़ने को मिलेगी और (RAID नियंत्रक के आधार पर) संभवत: औसत से एक से कम।

7200 RPM 1TB ड्राइव संभवतः अनुक्रमिक I / O पर यथोचित रूप से त्वरित होगा। एक धारीदार योजना (RAID-0, RAID-5, RAID-10 आदि) में स्वरूपित डिस्क सरणियों को आमतौर पर डिस्क के प्रति क्रांति के एक पट्टी पर पढ़ा जा सकता है। 64K स्ट्राइप के साथ हम 15,000 RPM डिस्क से 64Kx250 = 16MB या प्रति सेकंड डेटा पढ़ सकते हैं। यह 14 डिस्क की एक सरणी पर लगभग 220 एमबी प्रति सेकंड का क्रमिक थ्रूपुट देता है, जो कि 150MB / सेकंड की तुलना में कागज पर इतना तेज नहीं है या आधुनिक 1TB SATA डिस्क के लिए उद्धृत है।

वीडियो स्ट्रीमिंग के लिए (उदाहरण के लिए), एक बड़े धारी के आकार के साथ RAID-0 में 4 एसएटीए डिस्क की एक सरणी (कुछ RAID नियंत्रक 1 एमबी तक स्ट्राइप आकार का समर्थन करेंगे) में काफी अनुक्रमिक थ्रूपुट है। यह उदाहरण सैद्धांतिक रूप से 480MB / सेकंड के बारे में स्ट्रीम कर सकता है, जो आराम से वास्तविक समय के असम्पीडित एचडी वीडियो संपादन करने के लिए पर्याप्त है। इस प्रकार, मैक पेशेवरों और इसी तरह के हार्डवेयर के मालिक एचडी वीडियो कंपोजिंग कार्य कर सकते हैं जिन्हें कुछ साल पहले प्रत्यक्ष-संलग्न फाइबर सरणी के साथ एक मशीन की आवश्यकता होती थी।

डिस्क सरणी का वास्तविक लाभ डेटाबेस के काम पर होता है, जो बड़ी संख्या में छोटे, बिखरे हुए I / O अनुरोधों की विशेषता है। इस तरह के वर्कलोड प्रदर्शन पर डिस्क के राउंड-एंड-राउंड और आगे-पीछे होने वाली धातु की बिट्स की भौतिक विलंबता से विवश होते हैं। इस मीट्रिक को IOPS (I / O संचालन प्रति सेकंड) के रूप में जाना जाता है। अधिक शारीरिक डिस्क आपके पास है - क्षमता की परवाह किए बिना - अधिक IOPS आप सैद्धांतिक रूप से कर सकते हैं। अधिक IOPS का अर्थ है प्रति सेकंड अधिक लेनदेन।

डेटा अखंडता

इसके अतिरिक्त अधिकांश RAID विन्यास आपको कुछ डेटा अतिरेक देते हैं - जिसकी परिभाषा के लिए एक से अधिक भौतिक डिस्क की आवश्यकता होती है। इस तरह की अतिरेक के साथ एक भंडारण योजना का संयोजन और ड्राइव की एक बड़ी संख्या एक प्रणाली को एक बड़े लेनदेन कार्यभार को मज़बूती से सेवा करने की क्षमता देती है।

डिस्क सरणियों के लिए बुनियादी ढांचा (और अधिक चरम मामले में SAN) वास्तव में बड़े पैमाने पर बाजार की वस्तु नहीं है। इसके अलावा यह उन बिट्स में से एक है जो वास्तव में, वास्तव में विफल नहीं हो सकते। निर्माण और छोटे बाजार संस्करणों के मानक का यह संयोजन सस्ता नहीं है।

बैकअप सहित कुल भंडारण लागत

व्यवहार में, 1TB डेटा बनाए रखने के लिए सबसे बड़ी लागत बैकअप और पुनर्प्राप्ति होने की संभावना है। एक टेप ड्राइव और बैकअप के पूर्ण दादाजी चक्र के लिए एसडीएलटी या अल्ट्रियम टेप के 34 सेट और पुनर्प्राप्ति संभवतः 1TB डिस्क सरणी से अधिक खर्च होंगे। ऑफ-साइट स्टोरेज की लागत और यहां तक ​​कि एक ही टेप-मंकी की सैलरी जोड़ें और अचानक आपका 1TB डेटा इतना सस्ता नहीं है।

डिस्क की लागत अक्सर प्रमुख भंडारण लागतों के पदानुक्रम से काफी हद तक कम होती है। एक बैंक में मेरे पास SAN स्टोरेज के लिए काम करने का अवसर था, एक डेवलपमेंट सिस्टम के लिए £ 900 / GB और एक प्रोडक्शन सर्वर पर डिस्क के लिए £ 5,000 / GB की लागत थी। उद्यम विक्रेता कीमतों पर भी डिस्क की भौतिक लागत का एक छोटा सा हिस्सा था। एक और उदाहरण है कि मुझे पता है कि एक (अपेक्षाकृत) मामूली रूप से कॉन्फ़िगर किया गया आईबीएम शार्क सैन है जो उन्हें £ 1 मिलियन से अधिक में कहीं खर्च करता है। बस इस पर भौतिक संग्रहण लगभग £ 9 / गीगाबाइट पर, या आपके 1TB उपभोक्ता HDD के बराबर स्थान के लिए £ 9,000 का शुल्क लिया जाता है।


40

बस कहें: "हाँ, और मुझे $ 5 / घंटे के लिए जावा प्रोग्रामर ऑफशोर मिल सकता है।"


8
अब यह अच्छा है!
जॉन डायर

3
यह काफी मजाकिया टिप्पणी है, लेकिन मैं इसे उभारने के लिए नहीं देख सकता क्योंकि यह वास्तव में इस सवाल का जवाब नहीं देता है, जिसके लिए मैं एक उत्तर खोजने के लिए उत्सुक हूं
नृत्य 2

1
@ dance2die मुझे लगता है कि यह सवाल का स्पष्ट रूप से जवाब देता है।
जो फिलिप्स

11
मुझे लगता है कि यह एक वैध प्रतिक्रिया है। मुद्दा यह है कि, हमारे पास विशेषज्ञता के अपने क्षेत्र हैं, और एक टीम के सदस्यों को एक दूसरे पर भरोसा करने की आवश्यकता है। डेवलपर को इस तरह से प्रश्न को वापस करने से उन्हें एहसास होगा कि दूसरे को एक-दूसरे का अनुमान लगाने की कोशिश करना कितना बेकार है।
पोर्टमैन

2
एक और मान्य प्रतिक्रिया यह होगी कि गीक स्क्वाड का आदमी शायद यह समझ सकता है कि इसे कैसे करना है, इसे सस्ता करना है, और इसे करने के बारे में बहुत बेहतर दृष्टिकोण है। गंभीरता से, यह इस प्रश्न के लिए सबसे अधिक मतदान का जवाब क्यों है? इसे पढ़ते समय मेरे पास एक अच्छा चकल्लस था, लेकिन अगर यह होने जा रहा है कि साइट के सदस्य कैसे भोले सवालों का जवाब देते हैं, तो मैं Google और एक्सपर्ट्स एक्सचेंज के साथ रहूंगा।
dfjacobs

14

शायद उनसे उनके वॉलमार्ट ड्राइव के बारे में कुछ सवाल पूछें:

  • विफलता के लिए इसका माध्य समय क्या है?
  • अगर यह भयावह रूप से विफल हो जाए तो क्या होगा?
  • कितनी बार इसका बैकअप लिया जाता है?
  • 12 महीनों के बैकअप के लिए कितने संग्रहण की आवश्यकता होगी?
  • इसे कैसे बंद किया जा सकता है?
  • इसे कैसे बहाल किया जा सकता है? (संपूर्ण? एक फ़ाइल? निर्देशिकाओं की एक जोड़ी?)
  • बैकअप को स्टोर करने में कितना खर्च होता है?
  • वह कैसे गारंटी देगा कि बैकअप सुरक्षित रखे गए हैं? सुरक्षित?
  • महत्वपूर्ण डेटा के नुकसान को कवर करने के लिए उसके पास क्या बीमा है?

... इन उत्तरों की तुलना एक ड्राइव के साथ करें जो एक अच्छी तरह से प्रबंधित डेटासेंटर में RAID 5 सरणी के भाग के रूप में चल रहा है।

(प्रकटीकरण: मैं भी एक डेवलपर हूँ - मैं सिर्फ अनुमान लगा रहा हूँ!)


1
प्रश्न के "क्यों" के अच्छे, व्यापक दृष्टिकोण के लिए +1।
प्रात:

4

शायद आपको विभेदित भंडारण पर विचार करना चाहिए।

आपके देव को अधिक स्थान की आवश्यकता हो सकती है, लेकिन हो सकता है कि वह "एंटरप्राइज क्लास" नहीं है। हो सकता है कि उसे बस स्टोर करने की जगह की जरूरत हो ।vhd और ISO की डिस्क क्रैश होने की स्थिति में MSDN से फिर से डाउनलोड किया जा सकता है। हो सकता है कि टेस्ट रन के लिए बड़ी क्षणिक जगह की आवश्यकता हो, जो केवल टेस्ट रन की अवधि के लिए होनी चाहिए। इन सभी के लिए $ 50 वॉलमार्ट ड्राइव एक वैध समाधान हो सकता है।


3

स्टोरेज के बारे में लोगों को पता होना चाहिए कि क्षमता और IOPS के बीच एक बड़ा अंतर है। टिकाऊपन आदि जैसी चीजें आमतौर पर मूट होती हैं, यह लगभग हमेशा IOPS बनाम क्षमता तक आती है।


4
IOPS: इनपुट / आउटपुट ऑपरेशंस प्रति सेकंड
सैम हसलर

2

यह इस पर निर्भर करता है कि किस तरह के सर्वर के बारे में पूछ रहे हैं। एक मूल देव या परीक्षण सर्वर के लिए वॉलमार्ट से एक tb ड्राइव संभवत: काफी अच्छे हैं। यदि आप एक उच्च अंत सर्वर के साथ काम कर रहे हैं जो शेल्फ घटकों का उपयोग नहीं करता है तो उनसे पूछें कि क्या वे एक रेस कार का निर्माण करेंगे और कुछ रुपये बचाने के लिए ऑटो पार्ट्स स्टोर से टायर खरीदेंगे।


1
मैं हालांकि प्रबंधकों पर इस तकनीक का उपयोग नहीं करने की सलाह दूंगा। जवाब बहुत अच्छी तरह से हो सकता है "हाँ।"
जेसन बेकर

1

जिस तरह से मैं समझाता हूं वह यह है। यदि आपका मालिक खरीद पर हस्ताक्षर करेगा। मैं वाल-मार्ट ड्राइव पर एक संकेत दूंगा जो बताता है कि ..

"Sys विज्ञापन को उसकी इच्छा और आंत के खिलाफ यहां लगाने का निर्देश दिया गया था।" और जब ड्राइव मर जाती है तो मैं ड्राइव को हाथ से नोट करूंगा और देव को नोट करूंगा और उनसे पूछूंगा कि इस बार मुझे अपना काम कैसे करना है ..

मैं पोर्टमैन से सहमत हूं ... टीम पर भरोसा करें, या छोड़ दें।


0

एक सरल एक-लाइन उत्तर: 1TB ड्राइव आमतौर पर SATA हैं, लेकिन आपका सर्वर SCSI है। (यदि सर्वर SCSI नहीं है, तो भी यह जांच की रेखा को रोक सकता है ... अभी के लिए।)

एक 300GB SCSI ड्राइव आमतौर पर 4x मूल्य है, तो मौजूदा डेटा का बैकअप ले रही है, डाउनटाइम व्यवस्थित हो रही है, इंस्टॉल कर रही है, कुछ गलत हो सकता है, ओवरटाइम, आदि। सभी में, एक साधारण भंडारण उन्नयन सभी को जन्म दे सकता है। दर्द के प्रकार - जिनमें से कोई भी देवता सीधे जिम्मेदार नहीं है। यह कहते हुए कि आप एक ऑफ-द-शेल्फ़ ड्राइव खरीद सकते हैं जो वर्तमान ज़रूरत को पूरा करता है, निराशाजनक रूप से सरल है।

लेकिन आप जानते हैं कि आपको लानत सर्वरों में बड़ी ड्राइव डालनी चाहिए थी जब आपने उन्हें खरीदा था और अब आप खुद को लात मार रहे हैं! लेकिन आप सर्वर स्थापित करना चाहते थे और उन्होंने अग्रिम लागत में जोड़ा होगा और इसे अनुमोदन के एक अतिरिक्त दौर में जाना पड़ सकता है ... दर्द के sysadmin की दुनिया में आपका स्वागत है ...

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.