वॉल्यूम को फॉक्स करने में कितना समय लगता है?

Question

हम एक वेबसाइट चला रहे हैं जो वर्तमान में 3-5 मिलियन पेज व्यू परोस रही है। हमारी साइट एक फ़ाइल साझाकरण साइट है और इसलिए इसमें 250,000 फाइलें और कुछ हजार प्रतीकात्मक लिंक शामिल हैं।

हार्ड डिस्क 1500GB SATA डिस्क है।

उपयोग करने से hdparmहमें पता चला कि हमारी हार्ड डिस्क की गति 15-20 एमबी / एस हो गई है, जो कि 80 एमबी / एस थी।

तो अब हम fsckडिस्क की समस्या को ठीक करने के लिए चलाना चाहते हैं ।

1. fsckइस मुद्दे को हल करेंगे ?
2. fsckपूरा करने में कितना समय लगेगा (बस हम उस डाउनटाइम की गणना करना चाहते हैं जो हमारे पास होने जा रहा है)?

Comments

आप किस फाइलसिस्टम का उपयोग कर रहे हैं? यह एक RAID सरणी, या एक सरल SATA डिस्क है?

— काइल स्मिथ

सरल SATA डिस्क और फाइल सिस्टम ext3 है

— khizar ansari

आप एक डिस्क पर एक उत्पादन वेब सर्वर क्यों चला रहे हैं? एकल डिस्क के साथ सर्वर सर्वर नहीं हैं - वे टाइम बम को टिक कर रहे हैं।

— इवान एंडरसन

ऐसा लगता है कि डिस्क मर रही है। तुरंत अपने डेटा (एक हार्डवेयर बैटरी समर्थित नियंत्रक के साथ एक वास्तविक RAID सरणी) में माइग्रेट करें।

— जोएल ई सलास

Answer 1

गति में गिरावट की उम्मीद की जा रही है क्योंकि एक साथ एक्सेस की जा रही फाइलों की संख्या बढ़ जाती है। हार्ड डिस्क ड्राइव को समानांतर में एक्सेस किया जाना पसंद नहीं है: हर बार पढ़ने / लिखने वाले सिर को सिलेंडर को स्विच करने की आवश्यकता होती है जो आप कई मिलीसेकेंड खो देते हैं। यहां तक ​​कि अगर दो फाइलें एक ही सिलेंडर पर हैं, या यहां तक ​​कि एक ही ट्रैक है, तो भी आपको एक से दूसरे में जाने के लिए रोटेशन का इंतजार करना पड़ सकता है। यदि आप प्रति सेकंड मेगाबिट्स में ड्राइव प्रदर्शन को मापते हैं, तो उम्मीद करें कि समानांतर पहुंच बढ़ने के साथ तेजी से गिरना।

fsck इसके साथ मदद नहीं करेगा: यह केवल निर्देशिका संरचना को नुकसान की मरम्मत करता है, यह कोई अनुकूलन नहीं करता है।

आदर्श समाधान ठोस-राज्य भंडारण पर स्विच करना होगा क्योंकि इसमें कताई पट्टियों की भौतिक सीमाएं नहीं हैं। लेकिन यह शायद लागत-निषेधात्मक है।

अगले सबसे अच्छा उपयोग एक RAID समानांतर उपयोग के लिए अनुकूलित होगा। ध्यान रखें कि RAID को कई अलग-अलग प्रदर्शन प्रोफाइल के लिए कॉन्फ़िगर किया जा सकता है, इसलिए आपको किसी भी दिए गए RAID हार्डवेयर और ड्राइवरों की सेटिंग्स सीखने के लिए कुछ समय लेना होगा।

आप आक्रामक फाइलसिस्टम कैशिंग का उपयोग करके समस्या को कम करने में सक्षम हो सकते हैं। यदि आपके सिस्टम में पर्याप्त रैम है, तो लिनक्स को पहले से ही काफी अच्छी तरह से करना चाहिए। topयह देखने के लिए एक प्रोग्राम चलाएं कि रैम कितनी मुफ्त है। लेकिन अगर सबसे अधिक इस्तेमाल की जाने वाली फाइलें रैम में फिट नहीं होती हैं (या कोई भी रैम जिसे आप प्राप्त करने की संभावना रखते हैं), तो यह वास्तव में मदद नहीं करेगा।

एक गरीब आदमी के काम के आसपास अपनी फ़ाइलों को कई अलग-अलग भौतिक हार्ड-ड्राइव (एक ही ड्राइव पर अलग-अलग विभाजन नहीं) में विभाजित करना होगा। यह वास्तव में एक दीर्घकालिक मापनीय समाधान नहीं है और आपको एक सभ्य RAID की तुलना में अधिक लागत आएगी। लेकिन अगर आप ड्राइव करते हैं तो यह जल्दी ठीक हो सकता है।

हार्ड डिस्क ड्राइव से जुड़े किसी भी समाधान के लिए, सुनिश्चित करें कि उनके पास एक तेज रोटेशन गति और कम तलाश की विलंबता है।

मैंने हार्ड-ड्राइव प्रदर्शन पर कुछ सामान्य पृष्ठभूमि के साथ एक लेख लिखा है:

UNIX टिप्स - फाइलसिस्टम

Comments

मैं उसके hdparmबेंचमार्क को "समानांतर पहुंच" के साथ बहुत कुछ नहीं देखता । यह मुझे और अधिक लगता है, जैसे कि उसे एक असफल डिस्क मिली है। यह अतीत में तेज था और अब यह नहीं है। शायद इसलिए क्योंकि यह सेक्टरों को स्थानांतरित कर रहा है।

— इवान एंडरसन

यह निश्चित रूप से एक संभावना है, हालांकि मुझे लगता है कि उस पैमाने पर स्थानांतरण कुछ I / O त्रुटियों का उत्पादन करेगा। 80 मेगाबिट्स प्रति सेकंड की बहुत धीमी आधार रेखा के आधार पर, मैं यह मान रहा था कि परीक्षण एक सक्रिय प्रणाली पर चलाया गया था। इसलिए ... क्या सिस्टम लॉग में I / O त्रुटियां हैं, hdparmपरीक्षण कैसे किए गए थे , और प्रति सेकंड "मेगाबिट्स" या "मेगाबाइट्स" में परिणाम थे?

— सेठ नोबल

Answer 2

मुझे fsck के पूरा होने में 5 घंटे की उम्मीद होगी।

मैं इसके बजाय विचार करूंगा (इसका अर्थ है: परीक्षण, परीक्षण और परीक्षण) रीज़रफ़्स के लिए एक माइग्रेशन।

Answer 3

1. नहीं (fsck दूषित फ़ाइल सिस्टम मेटाडेटा को ठीक कर सकता है, टूटी हुई डिस्क नहीं है, न ही यह डीफ़्रेग्मेंटेशन टूल है)।
2. फाइलसिस्टम पर निर्भर करता है। एक्सट्रू 3 के साथ, लंबे समय तक, मैं कई घंटे आरक्षित रखूंगा। अधिक आधुनिक फाइल सिस्टम जैसे ext4 या xfs आसानी से तेजी से परिमाण का क्रम बन सकते हैं।

Answer 4

hdparm एक अनुक्रमिक पढ़ता है। आपकी फ़ाइल सर्वर डिस्क को अन्य लोगों द्वारा कहे अनुसार बहुत अधिक खोज करनी चाहिए।

यदि आपको एचडी त्रुटियां मिल रही हैं, तो वे आपके / var / log / कहीं और दिखाई देनी चाहिए।

आप "smartctl -t short / dev / sda" और फिर "smartctl -t long / dev / sda" ?? क्यों नहीं आज़माते? ... नए HDD के अधिकांश के साथ, आप HD का उपयोग करते समय भी इस कमांड को जारी कर सकते हैं। । स्मार्ट आपको कुछ परिणाम देगा। आप "smartctl --all / dev / sda" का उपयोग करके अपने HDD स्वास्थ्य को पढ़ सकते हैं।

यदि आप HDD को HDD में भेज रहे हैं जो समवर्ती पहुंच के साथ मुहिम चला रहा है, तो इसका जवाब हो सकता है कि आपके परिणाम पहले की तुलना में बहुत कम क्यों हैं।

मुझे आपका डेटा RAID सेटअप asap पर ले जाना चाहिए।