अविश्वसनीय रूप से धीमी स्नैपशॉट हटाने


13

मेरे पास ईएसएक्सआई बॉक्स है जिसमें एचएस लेफ्टहैंड स्टोरेज के साथ iSCSI है।

मेरे पास 1TB डिस्क के साथ एक वर्चुअल मशीन है, जिसमें से 800GB की खपत होती है। डिस्क को लेफ्टहैंड स्टोरेज पर मोटा प्रावधान किया गया है।

वीएम पर एक स्नैपशॉट खुला था (ताकि वीम बैकअप और रिकवरी अपना काम कर सके), और लगभग 6 घंटे तक खुला रहा। इस दौरान लगभग 5GB का डेल्टा डिस्क बनाया गया था।

स्नैपशॉट हटाने में अब 5 घंटे लग गए हैं, और अभी भी पूरा नहीं हुआ है। संग्रहण सरणी वस्तुतः उस सरणी पर (लगभग 600, जो पृष्ठभूमि शोर है) पर कोई IOPS रिपोर्टिंग कर रहा है, कोई थ्रूपुट (लगभग 8 एमबी / सेकंड, जो फिर से - पृष्ठभूमि शोर), 9 की औसत कतार गहराई।

दूसरे शब्दों में, स्नैपशॉट समेकन प्रक्रिया IO बाध्य प्रतीत नहीं होती है, मैं कुछ भी नहीं देख सकता है जिससे स्नैपशॉट को हटाने का इतना धीमा हो। यह है काम करना, डेल्टा फ़ाइलों को देख कर पहचानने।

कुछ और जो मुझे देखना चाहिए कि यह (अपेक्षाकृत छोटा) स्नैपशॉट इतना धीमा क्यों है?


VMWare प्रलेखन के अनुसार , मैं अभी देख रहा हूं ls -lh | grep -E "delta|flat|sesparse", और मुझे दो डेल्टा फाइलें दिखाई दे रही हैं जो बदल रही हैं:

-rw-------    1 root     root      194.0M Jun 15 01:28 EXAMPLE-000001-delta.vmdk
-rw-------    1 root     root      274.0M Jun 15 01:27 EXAMPLE-000002-delta.vmdk

मुझे लगता है कि एक स्नैपशॉट फ़ाइल समेकित किया जा रहा है जबकि अन्य एक समेकन प्रक्रिया के दौरान डेल्टा एकत्र करता है। फिर नए को समेकित किया जाता है, और उस प्रक्रिया के दौरान एक और डेल्टा बनाया जाता है।

फ़ाइल आकार प्रत्येक पुनरावृत्ति (अच्छी तरह से, अधिकांश पुनरावृत्तियों) के साथ गिर रहे हैं , इसलिए मुझे लगता है कि आखिरकार यह समेकन प्रक्रिया पूरी हो जाएगी (शायद मुझे वीएम को 30 मिनट के लिए नेटवर्क से निकालने की आवश्यकता होगी, इस बदलाव को बिना किसी बदलाव के पूरा करने के लिए) ।

इसे समेकित करने के लिए डेल्टा के प्रति सौ मेगाहर्ट्ज पर लगभग 2 मिनट लग रहे हैं। यह निश्चित रूप से पहले कभी नहीं हुआ है। एक सामान्य वीम बैकअप के तहत स्नैपशॉट हटाने में लगभग 40 मिनट लगते हैं (इसलिए निश्चित रूप से तेज़ नहीं है, लेकिन यह धीमा नहीं है)।


6 घंटे और 2 मिनट के बाद, स्नैपशॉट को आखिरकार हटा दिया जाता है। हालांकि मैं अभी भी जानना चाहता हूं कि क्या कोई ऐसा तरीका है जिससे आप सामान्य रूप से इस तरह के मुद्दे (भंडारण प्रदर्शन के बाहर) का निवारण करेंगे।


मैं यह नोटिस करने में मदद नहीं कर सकता कि 8Mbit / सेकंड 10Mbit / सेकेंड के नेटवर्क्स से कुछ ओवरहेड के करीब है। किसी भी मौका यह iSCSI लिंक पर एक नेटवर्क से संबंधित समस्या है - डोडी पैच लीड बस विफल होना शुरू हो रहा है? क्या यह एक एकल कड़ी है, एक एकल मेजबान है, क्या मेजबान अन्यथा निरंतर पठन / लेखन के लिए ठीक है? क्या आप त्रुटियों के लिए स्विच पोर्ट की जांच कर सकते हैं?
TessellatingHeckler

@TessellatingHeckler मैंने अभी कुछ परीक्षण किए हैं और मैं अभी भी सरणी से लगभग 1.5Gbit / sec अनुक्रमिक प्राप्त कर सकता हूं, जो कि मुझे सामान्य परिस्थितियों में इससे प्राप्त करने की उम्मीद है। बीती रात स्नैपशॉट हटाने ले लिया तीन मिनट है जिसके द्वारा अब तक सबसे तेजी से मैं है कभी यह देखा (सामान्य रूप से यह 10x के बारे में है कि लंबे समय से है, लेकिन इतना मुझे लगता है कि कोई भी घंटों के बाद सिस्टम का उपयोग कर रहा था यहाँ कल रात पर एक बड़ा फुटबॉल का खेल नहीं था जब बैकअप चलते हैं, तो छोटे डेल्टा और कम समय)। तो यह जल्दी से कर सकते हैं, बस एक समय यह नहीं था।
मार्क हेंडरसन

हम्म। क्या आपके पास VMware संग्रहण IO नियंत्रण चल रहा है, और क्या अन्य VM के साथ साझा किया गया डेटास्टोर है? किसी भी मौका यह कुछ थ्रॉटलिंग / सॉफ्ट सीमा मार रहा था, बिना होस्ट या SAN हार्डवेयर पर जोर दिए?
TessellatingHeckler

ESXi और vCenter संस्करण?
नेल्स

दोनों के लिए 5.5 @Nils
मार्क हेंडरसन

जवाबों:


2

यह मेरी समझ है कि ESXI स्नैपशॉट हटाने में (और आमतौर पर) एक लंबा समय लग सकता है। इससे पहले कि स्नैपशॉट को हटाया जा सके, पुराने स्नैपशॉट से होने वाले परिवर्तनों को क्रम में अगले स्नैपशॉट पर लिखा जाना चाहिए। मुझे इस प्रक्रिया को जल्द से जल्द और कुशलता से चलाने में मदद करने के लिए सबसे पुराने से सबसे हाल ही में स्नैपशॉट को हटाने के लिए सिखाया गया था।

स्वाभाविक रूप से, स्नैपशॉट के बीच अधिक बदलावों को मर्ज में अधिक समय लगेगा।


1
5GB स्नैपशॉट निकालने के लिए 6 घंटे को छोड़कर, सही नहीं है। जैसा कि मैंने उल्लेख किया है, स्नैपशॉट को हटाने में सामान्य रूप से लगभग 40 मिनट लगते हैं, और मुझे यह भी लगता है कि 40 मिनट बहुत धीमा है। यह उस वीएम पर एकमात्र स्नैपशॉट था, और ईएसएक्सआई के बाद के संस्करणों में भी स्नैपशॉट हटाने में बदल गया है कि जिस क्रम में उन्हें हटा दिया गया है वह बहुत ज्यादा मायने नहीं रखता है।
मार्क हेंडरसन

2
मैंने स्टोरेज पर पहले I / O के साथ धीमा स्नैपशॉट व्यवहार देखा है, लेकिन कभी भी इसे किसी कारण से ट्रेस नहीं किया। मुझे हमेशा लगता था कि हाइपरविजर इन-मेमरी मेमोरी को चबा रहा था। (प्रश्न में मशीनें प्रत्यक्ष-संलग्न भंडारण का उपयोग कर रही थीं या मैंने SAN मुद्दों पर भी ध्यान दिया हो सकता है, लेकिन मैंने हमेशा इसे VMWare के स्नैपशॉट सबसिस्टम में बड़े डेल्टा या अडॉप्टिमाइज्ड कोड तक चाक किया है)।
voretaq7
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.