डिस्क क्षमता के जवाब में भंडारण IOPS कैसे बदलते हैं?

Question

अन्य सभी चीजें समान होने के कारण, स्टोरेज ऐरे का IOPS प्रदर्शन कैसे बदलेगा यदि कोई बड़ा डिस्क इस्तेमाल करता है।

उदाहरण के लिए, 10 X 100GB डिस्क के साथ एक सरणी लें।

क्रमानुसार 256kb ब्लॉक के लिए IOPS लिखता है (या कोई IOPS मैट्रिक)

चलो मान लें कि मापी गई IOPS 1000 IOPS है।

10 X 200GB डिस्क के साथ एक के लिए सरणी बदलें। समान RAID कॉन्फ़िगरेशन, समान ब्लॉक आकार आदि के साथ प्रारूप।

क्या कोई उम्मीद करेगा कि आईओपीएस एक जैसा रहेगा, बढ़ेगा या घटेगा? क्या बदलाव मोटे तौर पर रैखिक होगा? यानी 2X की वृद्धि या 2X की कमी (जैसा कि मैंने डिस्क की क्षमता 2X बढ़ाई है)

इन सवालों को 10 X 50GB डिस्क के साथ दोहराएं।

संपादित करें: अधिक संदर्भ

इस सवाल के परिणामस्वरूप मेरी Sysadmin टीम के बीच एक वार्तालाप हुआ जो सभी चीजों के भंडारण में अच्छी तरह से पारंगत नहीं है। (भंडारण के कई पहलुओं के साथ सहज, लेकिन एक SAN या जो भी प्रबंध करने का विवरण नहीं)। हम नए नेटप्प ट्रे का एक बड़ा ढेर प्राप्त कर रहे हैं, जिसमें प्रति डिस्क उच्च क्षमता - डबल क्षमता - हमारी मौजूदा ट्रे की तुलना में है। यह टिप्पणी सामने आई कि नई ट्रे के IOPS सिर्फ इसलिए कम होंगे क्योंकि डिस्क बड़ी थीं। फिर एक कार सादृश्य यह समझाने के लिए आया था। न तो टिप्पणी मेरे साथ अच्छी तरह से बैठी थी इसलिए मैं इसे द टीम, स्टैक-एक्सचेंज-लैंड पर चलाना चाहता था।

कार सादृश्य दो कारों के बारे में कुछ था, विभिन्न त्वरण के साथ, एक ही शीर्ष गति, और एक चौथाई मील चल रहा था। फिर दूरी को आधा मील तक बदलें। वास्तव में, मैं सटीक सादृश्य को याद नहीं कर सकता, लेकिन जब से मैंने इंटरव्यूज़ पर एक और पाया कि मैं समान था, यह संभवतः एक सामान्य आईओपीएस सादृश्य था।

कुछ मायनों में, प्रश्न का वास्तविक उत्तर मेरे लिए इतना महत्वपूर्ण नहीं है, क्योंकि हम इस जानकारी का उपयोग खरीद के मूल्यांकन के लिए नहीं कर रहे हैं। लेकिन हमें मौजूदा सिर पर ट्रे को संलग्न करने के लिए सबसे अच्छे तरीके का मूल्यांकन करने की आवश्यकता है, और समुच्चय और वॉल्यूम को बाहर निकालने का सबसे अच्छा तरीका है।

Comments

यदि डिस्क की क्षमता बढ़ जाती है तो मैं प्रति सेकंड I / O ऑपरेशन नहीं जा रहा हूं - वे अंतरण दर अंत से अंत तक और डिस्क i / o दर (और कैशिंग) से संबंधित हैं। आप जिस विशिष्ट समस्या को हल करने का प्रयास कर रहे हैं, वह क्या है?

— 20B पर EBBitTony

क्या यह काल्पनिक (और इस प्रकार ऑफ-टॉपिक) है?

— mfinni

यह वास्तव में नहीं बदलता है ... जब तक कि आप शॉर्ट- स्ट्रोकिंग के माध्यम से प्लैटर में सिर की गति को सीमित करने के बारे में बात नहीं कर रहे हैं ... या SSDs को ओवरप्रोजेक्ट किया गया ...

— ehhite

एक साइड नोट पर, बड़े डिस्क में आमतौर पर अधिक आधुनिक नियंत्रक, मोटर्स और सिर होते हैं, छोटे डिस्क आमतौर पर पिछले जीन का पुन: उपयोग करते हैं जो "काफी अच्छा" होते हैं, इसलिए उच्च क्षमता वाले डिस्क अक्सर तेज़ होते हैं, इसलिए नहीं कि वे बड़े होते हैं, क्योंकि वे होते हैं बेहतर बनाया।

— वैधता

@mfinni: दुर्भाग्य से बादल वाली सेवाएँ मौजूद हैं जो (आभासी) डिस्क आकार के आधार पर IOPS पर एक कृत्रिम प्रतिबंध है। विवरण के लिए मेरा उत्तर देखें। मैंने देखा है "devops" इससे पहले भ्रमित है।

— १०:

Answer 1

सीधे अपने प्रश्न का उत्तर देने के लिए - अन्य सभी चीजें बराबर होना = जीबी बदलने पर जो भी हो।

आप GB के साथ IOPS नहीं मापते हैं। आप समय और विलंब का उपयोग करते हैं।

मैं यह सब यहाँ फिर से लिख सकता हूँ, लेकिन ये उदाहरण नीचे सभी पहले से ही हैं और मैं इसे दोहराता रहूँगा:

https://ryanfrantz.com/posts/calculating-disk-iops.html

http://www.big-data-storage.co.uk/how-to-calculate-iops/

http://www.wmarow.com/strcalc/

http://www.thecloudcalculator.com/calculators/disk-raid-and-iops.html

Comments

या Techrepublic.com/blog/the-enterprise-cloud/…

— इयान मैकिनटोश

लेकिन अगर डिस्क में अधिक क्षमता है, तो खोज समय और विलंबता ऊपर नहीं जाता है?

— JDS

जरूरी नहीं कि @JDS। कभी-कभी वे करते हैं और कभी-कभी वे ऐसा नहीं करते हैं क्योंकि निर्माता लगातार प्लेटों (अधिक जीबी) पर अधिक बिट्स भर रहे हैं और अपनी हार्ड ड्राइव के अन्य पहलुओं में भी लगातार सुधार कर रहे हैं। जब ड्राइव बड़ी हो जाती है तो अक्सर दूसरे हार्डवेयर अपग्रेड भी एक साथ हो जाते हैं जो आपके समय या विलंब को कम कर सकते हैं , जिससे आपका IOPS बढ़ता है। लेकिन यह सब एक म्यूट पॉइंट है क्योंकि GB का IOPS से कोई सीधा संबंध नहीं है, केवल समय की तलाश है और विलंबता को पढ़ने और लिखने के लिए IOPS को प्रभावित करते हैं।

— इयान मकिंटोश

Answer 2

मुझे पता है कि यह शायद एक काल्पनिक सवाल है ... लेकिन आईटी दुनिया वास्तव में इस तरह से काम नहीं करती है। विचार करने के लिए यथार्थवादी बाधाएं हैं, साथ ही अन्य चीजें जो IOPS को प्रभावित कर सकती हैं ...

• 50GB और 100GB डिस्क वास्तव में अब मौजूद नहीं हैं। अधिक सोचें: एंटरप्राइज़ डिस्क में 72, 146, 300, 450, 600, 900, 1200GB और पासलाइन / मिडलाइन थोक-भंडारण मीडिया में 500, 1000, 2000, 3000, 4000, 6000GB ।

• आधुनिक भंडारण में बहुत अमूर्तता है; डिस्क कैशिंग, कंट्रोलर कैशिंग, SSD ऑफलोड, आदि कि किसी भी मतभेद को समझ पाना मुश्किल होगा।

• आपके पास विचार करने के लिए अलग-अलग ड्राइव फॉर्म कारक, इंटरफेस और घूर्णी गति हैं। SATA डिस्क एसएएस या तुलना में एक अलग प्रदर्शन प्रोफ़ाइल है नजदीकी एसएएस । 7,200RPM डिस्क 10,000RPM या 15,000RPM से भिन्न व्यवहार करती है। और विभिन्न घूर्णी गति की उपलब्धता कुछ विशिष्ट क्षमताओं तक सीमित है।

• भौतिक नियंत्रक लेआउट। एसएएस विस्तारक, RAID / एसएएस नियंत्रक IOPS को प्रभावित कर सकते हैं, डिस्क लेआउट, ओवरस्क्रिप्शन रेट पर निर्भर करता है, चाहे कनेक्टिविटी सर्वर से आंतरिक हो या बाहरी परिक्षेत्र में। SATA डिस्क की बड़ी संख्या विस्तारकों और ड्राइव त्रुटि स्थितियों के दौरान खराब प्रदर्शन करती है ।

• इसमें से कुछ को डिस्क सरणी पर विखंडन, प्रयुक्त क्षमता से प्रभावित किया जा सकता है।

• कभी शॉर्ट-स्ट्रोक के बारे में सुना है ?

• सॉफ़्टवेयर बनाम हार्डवेयर RAID, प्रीफ़ेटिंग, अनुकूली रूपरेखा ...

क्या आपको लगता है कि क्षमता पहले स्थान पर प्रदर्शन पर कोई प्रभाव पड़ेगा? क्या आप अधिक संदर्भ प्रदान कर सकते हैं?

संपादित करें:

यदि डिस्क प्रकार, प्रपत्र कारक, इंटरफ़ेस और उपयोग-क्षमता समान हैं, तो IOPS में कोई प्रशंसनीय अंतर नहीं होना चाहिए। मान लीजिए कि आप 300GB से 600GB उद्यम SAS ​​10k डिस्क पर जा रहे हैं। एक ही धुरी गिनती के साथ, आपको कोई प्रदर्शन अंतर नहीं देखना चाहिए ...

हालाँकि, अगर नेटपीस डिस्क आपके द्वारा उल्लिखित 6Gbps या 12Gbps SAS बैकप्लेन बनाम एक लीगेसी 3Gbps के रूप में है, तो आप नए उपकरणों में जाने के माध्यम से बदलाव देख सकते हैं।

Comments

मैंने संदर्भ जोड़ने के लिए अपने मूल प्रश्न का संपादन किया। मेरे द्वारा चुने गए नंबर वास्तविक दुनिया नहीं थे, वे सिर्फ काल्पनिक गणनाओं को आसान बनाने के लिए थे। इसके अलावा, आपकी अधिकांश अन्य टिप्पणियां "सभी चीजों के बराबर" कॉलम में आती हैं। मान लें कि केवल एक चीज बदल रही है व्यक्तिगत डिस्क की क्षमता

— JDS

@JDS ऊपर मेरा संपादन देखें।

— ewhite

Answer 3

एक जगह है जहाँ वहाँ है डिस्क आकार और IOPS बीच एक सीधा संबंध में है अमेज़न एडब्ल्यूएस बादल और अन्य "बादल सेवाओं"। दो प्रकार की AWS सेवाएं ( Elastic Block Store and Relational Database Service ) बड़े डिस्क आकार के लिए उच्च IOPS प्रदान करती हैं।

ध्यान दें कि यह अमेज़ॅन द्वारा उनकी सेवाओं पर रखा गया एक कृत्रिम प्रतिबंध है । ऐसा होने के लिए कोई हार्डवेयर-बाउंड कारण नहीं है। हालाँकि, मैंने उन प्रकारों को देखा है, जो अनभिज्ञ हार्डवेयर से अपरिचित हैं और इस प्रतिबंध को डेस्कटॉप सिस्टम और इस तरह के लिए भी उपयुक्त मानते हैं। डिस्क आकार / IOPS संबंध एक क्लाउड मार्केटिंग प्रतिबंध है, न कि हार्डवेयर प्रतिबंध।

Comments

ये एक अच्छा बिंदु है। हम प्रदर्शन SLAs को प्रदर्शन और ग्राहकों को क्षमता प्रदान करने के लिए देख रहे हैं। और हम 'आइओपीस प्रति टेराबाइट' के एक टीयर आधारित मॉडल का उपयोग कर रहे हैं - विचार यह है कि हम इसका उपयोग अपने उन्नयन चक्र को सूचित करने के लिए कर सकते हैं - एसएसडी खरीद अगर आईओपी: टीबी अनुपात अधिक है, और एसएटीए यदि यह कम है। किसी भी सरणी सीमा या बाधाओं के कारण नहीं, बल्कि इसलिए कि हमें लागत बनाम चार्जिंग मॉडल पर पकड़ प्राप्त करने की आवश्यकता है।

— सोब्रीक

दिलचस्प। मैंने यहां बादल के संदर्भ में नहीं सोचा था । मुझे लगता है कि मैं जिस दृष्टिकोण से आ रहा हूं, वह दिखाता है ...

— ewwhite

Answer 4

मुझे यह इंगित करना चाहिए कि IOPS क्रमिक लेखन पर गति का एक बड़ा माप नहीं है, लेकिन इसके साथ बस जाने देता है।

मुझे संदेह है कि डिस्क के आकार को लिखने और डिस्क के आकार के बावजूद काफी सुसंगत है। 20 साल पहले हम सभी 60GB डिस्क का उपयोग कर रहे हैं (लगभग - निश्चित रूप से रैखिक रूप से नहीं) एक ही पढ़ने / लिखने की गति।

मैं एक शिक्षित अनुमान लगा रहा हूं, लेकिन मुझे नहीं लगता कि डिस्क का घनत्व डिस्क के प्रदर्शन के साथ रैखिक रूप से संबंधित है।

उदाहरण के लिए, 10 X 100GB डिस्क के साथ एक सरणी लें।

क्रमानुसार 256kb ब्लॉक के लिए IOPS लिखता है (या कोई IOPS मैट्रिक)

चलो मान लें कि मापी गई IOPS 1000 IOPS है।

ठीक

10 X 200GB डिस्क के साथ एक के लिए सरणी बदलें। समान RAID कॉन्फ़िगरेशन, समान ब्लॉक आकार आदि के साथ प्रारूप।

क्या कोई उम्मीद करेगा कि आईओपीएस एक जैसा रहेगा, बढ़ेगा या घटेगा?

संभवतः एक दूसरे के लगभग बराबर रहते हैं।

क्या बदलाव मोटे तौर पर रैखिक होगा?

कताई मीडिया का इतिहास बताता है कि शायद कोई रिश्ता नहीं है।

इन सवालों को 10 X 50GB डिस्क के साथ दोहराएं

फिर, लगभग बराबर।

आपकी गति, इन सभी मामलों में इस तथ्य से आती है कि RAID दस लिखने वाले प्रमुखों के साथ एक एकल डिस्क की तरह काम करता है, इसलिए आप प्रत्येक डिस्क के समानांतर में 1/10 वां काम भेज सकते हैं।

जब तक मेरे पास आपको दिखाने के लिए कोई कठिन संख्या नहीं है, मेरा पिछला अनुभव बताता है कि आपकी डिस्क का प्रदर्शन बढ़ाना इतना सरल नहीं है जितना अधिक क्षमता प्राप्त करना।

मार्केटिंग के लोग जो आपको बताते हैं, वह यह है कि सस्ते (एर) ठोस राज्य की शुरुआत से पहले नवाचार है, पिछले 20 वर्षों में कताई मीडिया के प्रदर्शन में बहुत कम विकास हुआ है, संभवतः केवल इतने से ही आप जंग से बाहर निकल सकते हैं और केवल इतनी तेजी से हम जाने के लिए डिस्क सिर के हमारे मौजूदा मॉडल प्राप्त कर सकते हैं।

Comments

एक ड्राइव में बढ़ते प्लैटर्स, या प्लैटर घनत्व (प्रति बाइट कम गति) के कारण कुछ सुधार हो सकता है, लेकिन मुझे संदेह है कि यह बहुत बड़ा है।

— बिल वीस

मैं अनुमान लगाता हूं कि आपको घनत्व में क्या मिलता है जो आप सटीकता के लिए भुगतान करते हैं।

— मैथ्यू इफ

आपके पास 1994 में 60GB डिस्क थी !?

— वॉरन जूल

Answer 5

प्रदर्शन प्रत्येक धुरी के साथ भंडारण तराजू में जोड़ा गया। ड्राइव की घूर्णी गति सबसे बड़ा कारक है, इसलिए 10k RPM ड्राइव को जोड़ने से 7.2k RPM ड्राइव की तुलना में अधिक प्रदर्शन (यादृच्छिक IO या MB में स्ट्रीमिंग IO में) होगा। ड्राइव के आकार का वास्तव में कोई प्रभाव नहीं है।

लोग कहते हैं कि छोटी ड्राइव तेजी से चलती है, क्योंकि आपको प्रति टीबी अधिक स्पिन्डल्स की आवश्यकता होती है। उन स्पिंडल के ड्राइव का आकार बढ़ने से प्रदर्शन में कमी नहीं होगी, लेकिन यह आपको डिस्क पर अधिक डेटा फिट करने की अनुमति देगा, जिसके परिणामस्वरूप कार्यभार बढ़ सकता है।

Answer 6

यदि आप मानते हैं कि बाकी सभी समान हैं, तो बड़ी क्षमता के डिस्क की प्रदर्शन विशेषताओं में बहुत बदलाव नहीं होता है। 10K RPM FC ड्राइव में समान विशेषताएं हैं चाहे वह 300GB हो या 3TB। प्लैटर उसी दर से घूमते हैं, और सिर उसी गति से तलाश करते हैं।

निरंतर थ्रूपुट वैसे ही - ज्यादा अंतर नहीं। यह बहुत सारी प्रदर्शन समस्याओं की जड़ है, हालांकि, कई मामलों में, लोग टेराबाइट खरीदते हैं, वे IOP या MB / sec नहीं खरीदते हैं।

और इसे 300x ड्राइव के रूप में 3TB ड्राइव के पुनर्निर्माण / कॉपी करने में 10 गुना समय लगेगा।

हमें वास्तव में भंडारण परियोजनाओं के लिए पर्याप्त overcapacity के परिणामस्वरूप देखना पड़ा है - ड्राइव आकार अभी भी बढ़ रहा है, लेकिन उनकी प्रदर्शन क्षमता बहुत अधिक नहीं है। तो कम से कम एक मामले में, हमने 100TB की आवश्यकता को पूरा करने के लिए ~ 400TB का स्टोरेज खरीदा है, क्योंकि हमें स्पिंडल की आवश्यकता है।

Answer 7

यदि आप डिस्क (एसएसडी नहीं) घुमा रहे हैं तो बाकी सब समान है, यदि आप डिस्क के बाहरी पटरियों का उपयोग करते हैं तो स्थानांतरण गति अधिक है। यदि आप एक ऐसी डिस्क का उपयोग करते हैं जो केवल आंशिक रूप से भरी हुई है तो स्वचालित रूप से होगी। उसी समय, यदि कोई डिस्क केवल आंशिक रूप से भरी हुई है, तो आपका औसत हेड मूवमेंट कम होगा, और हेड मूवमेंट की संख्या कम होगी क्योंकि प्रति ट्रैक अधिक डेटा है।

यह सच है कि क्या आप एकल डिस्क या RAID ड्राइव का उपयोग करते हैं।

अब यदि आप 100GB और 2000GB डिस्क की तुलना कर रहे हैं, तो आप सुनिश्चित कर सकते हैं कि बाकी सब समान नहीं हैं । लेकिन अगर एक ही निर्माता 500GB, 1TB, 1.5TB और 2TB ड्राइव के साथ एक, दो, तीन और चार प्लाटर्स देता है, तो बाकी सब समान होने की संभावना है, और 4T डेटा को स्टोर करने के लिए 10 x 2TB की तुलना में 10 x 500GB धीमा होगा। (केवल 100 जीबी स्टोर करने पर कोई अंतर नहीं होगा, क्योंकि 500 ​​जीबी ड्राइव भी लगभग खाली हो जाएगा)।

लेकिन RAID ड्राइव के लिए, आप हस्तांतरण की गति से नहीं, बल्कि घूर्णी विलंबता से बहुत सीमित होंगे। तो उच्च RPM अधिक महत्वपूर्ण होगा। और आपको अक्सर कम क्षमता वाले उच्च RPM मिलेंगे। दूसरी ओर, यदि आप उच्च RPM / कम क्षमता के साथ जाते हैं, तो आप SSD ड्राइव को भी देख सकते हैं।