एक बड़ी फ़ाइल सर्वर के लिए लिनक्स फाइल सिस्टम

Question

मैं अधिक अनुभवी लोगों से जानना चाहता हूं, 20TB से अधिक हार्ड डिस्क वाले फ़ाइल सर्वर के लिए उपयोग करने के लिए फ़ाइल सिस्टम का सबसे अच्छा विकल्प क्या होगा। व्यक्तिगत रूप से मैं हमेशा EXT3 (दिनों में वापस) और EXT4 (उपलब्ध होने के बाद से) का उपयोग करता था [और एक बार ReiserFS 3 हालांकि यह कई डेटा भ्रष्टाचार का कारण बना] अपने व्यक्तिगत कंप्यूटरों पर और "छोटे सर्वर" BOOT और रूट डिस्क पर।

हालाँकि, EXT4 टूल (हालाँकि EXT4 स्वयं नहीं) 16TB विभाजन तक सीमित है, यह मेरी सबसे अच्छी शर्त नहीं हो सकती है। वितरण डेबियन 6.0 (स्क्वीज़) और / या जेंटो (नवीनतम संस्करण) होगा, इसलिए कर्नेल बहुत हाल ही में होना चाहिए (कम से कम बैकपोर्ट के साथ डेबियन पर), जिसका अर्थ लिनक्स कर्नेल> = 2.6.32 है।

फ़ाइल सर्वर का उपयोग maily तीन उद्देश्यों (और अलग-अलग विभाजनों के रूप में अच्छी तरह से किया जाएगा, क्योंकि उद्देश्य डेटा "सुरक्षित" रखना है और वास्तव में ओवरहेड की बहुत परवाह नहीं है)। हालांकि सभी डिस्क LUKS का उपयोग करके एन्क्रिप्ट की जानी हैं :

1. मीडिया, डाउनलोड और स्थानीय डेबियन रिपॉजिटरी [मेरे पास डेबियन चलाने वाली कम से कम 6 मशीनें हैं]> 20TB (मीडिया, डाउनलोड और डेबियन रिपॉजिटरी के बीच शायद और अलगाव)
2. डेटा (दस्तावेज़, फ़ोटो, ...) ~ 4TB SAFE (अर्थ raid1 या raid6 + बैकअप डिस्क)
3. मेरे गीगाबिट लैन में अन्य कंप्यूटरों के बैकअप के लिए बैकअप = = 20 टीबी (क्या आप एक ऐसा सॉफ़्टवेयर सुझा सकते हैं जो संपूर्ण ओएस का बैकअप रखता है, भले ही यह विंडोज़ हो, बैकअपपीसी का कहना है कि यह कोई विकल्प है?)

तेज गति वास्तव में आवश्यक नहीं है (समवर्ती अभिगम: अधिकतम 2 या 3 बड़ी फाइलें, वीडियो का कहना है), भले ही यह "सिर्फ" 200MB / s एक 10 HDD RAID6 से पढ़ता है कि मैं उसके साथ रह सकता हूं।

सारांश में, मैं एक विश्वसनीय, मापनीय (आसानी से विस्तार योग्य) फाइल सिस्टम की तलाश करता हूं जो 20TB / विभाजन से अधिक का समर्थन करता है। सुरक्षित और विश्वसनीय एफएस है, बेहतर है। नियोजित हार्डवेयर कम से कम एक क्वाड कोर (amd x4 630 या Intel i5-2500k) और RAM (> 8GB, शायद> 16GB) से भरपूर होगा ताकि हार्डवेयर आवश्यकताएं पूरी हों।

मेरा पीसी / सर्वर बिजली आउटेज के मामले में एक यूपीएस (निर्बाध विद्युत आपूर्ति) से जुड़ा होगा और अलग-अलग मशीनों पर मीडिया और बैकअप भी कर सकता है (यानी दो सर्वर)।

Comments

इस पैमाने पर, आपको वास्तव में ZFS का गंभीरता से मूल्यांकन करने की आवश्यकता है। बार-बार पुनर्निर्माण और त्रुटि दर के रूप में कई डिस्क के साथ गंभीर चिंता का विषय बन जाते हैं क्योंकि आप के बारे में बात कर रहे हैं और zfs एकमात्र स्थिर एफएस है जो अब मजबूत त्रुटि की जाँच और स्टैक के माध्यम से सभी तरह से सुधार करता है।

— 14

ZFS मूल रूप से समर्थित नहीं है (केवल FUSE के साथ) या मूल पूर्व-अल्फ़ा स्थिति में मूल रूप से समर्थित है। मैं सोलारिस के विकल्प का उपयोग करने पर विचार नहीं करता। कभी भी FreeBSD की कोशिश नहीं की और एक बार रुचि हो सकती है, लेकिन मुझे अब ऐसा नहीं लगता अगर इसके सॉफ़्टवेयर में सहायता (और सामान्य हार्डवेयर समर्थन) linux के रूप में अच्छी है

— user51166

मुझे पता है, लेकिन ZFS अन्य प्लेटफार्मों पर मूल रूप से चल रहा है। जबकि हार्डवेयर समर्थन लिनक्स के समान नहीं है, यह आपकी चिंताओं से कम से कम होना चाहिए। ZFS एक पूर्ण भंडारण स्टैक है, इसलिए सॉफ्टवेयर छापे समीकरण से बाहर है। मूल्यांकन करें कि आप अपने ओएस या स्टोरेज सिस्टम को चुनने से पहले अपने डेटा को कैसे स्टोर, मैनेज, प्रोटेक्ट और बैकअप कर रहे हैं। केवल ZFS को छूट न दें क्योंकि यह लिनक्स पर मूल नहीं है, यह संभवत: सबसे उन्नत भंडारण समाधान है जो अभी मुफ्त में उपलब्ध है।

— १५

आपके उत्तर के लिए धन्यवाद, लेकिन मुझे समझ में नहीं आता है: भले ही मैं FreeBSD का उपयोग बिना समस्याओं के कर सकता हूं (इसके बारे में इतना सुनिश्चित नहीं है), क्या सॉफ्टवेयर छापे जैसी कोई चीज लागू की गई है? FreeBSD के लिए LUKS (Linux एन्क्रिप्शन) जैसी कोई चीज़? धन्यवाद। मैं जेंटू और डेबियन जीएनयू / लिनक्स से परिचित हूं। सर्वर एक होम सर्वर है ।

— user51166

या आप FreeBSD की तुलना में एक और ऑपरेटिंग सिस्टम का सुझाव दे रहे हैं?

— user51166

Answer 1

बहुत से लोग ZFS को सुझाव दे रहे हैं। लेकिन ZFS फ्यूज के माध्यम से लिनक्स के तहत मूल रूप से उपलब्ध नहीं है। मैं आपकी स्थिति के लिए इसकी अनुशंसा नहीं करूंगा जहां प्रदर्शन महत्वपूर्ण होने की संभावना है।

दुर्भाग्य से, ZFS कभी भी देशी कर्नेल मॉड्यूल के रूप में उपलब्ध नहीं होगा जब तक कि लाइसेंसिंग मुद्दों को किसी तरह हल नहीं किया जाता है।

XFS अच्छा है, लेकिन कुछ लोगों ने भ्रष्टाचार के मुद्दों की सूचना दी है और मैं वास्तव में उस पर टिप्पणी नहीं कर सकता। मैंने छोटे XFS विभाजन के साथ खेला है और इन समस्याओं में नहीं बल्कि उत्पादन में नहीं था।

ZFS के बहुत सारे फायदे और उपयोगी विशेषताएं हैं जिन्हें हालांकि नजरअंदाज नहीं किया जा सकता है। सारांश में वे हैं (देखें कि वे क्या मतलब है की एक पूर्ण विवरण के लिए ZFS विकी देखें ):

• डेटा अखंडता
• भंडारण पूल
• L2ARC
• उच्च क्षमता
• लिखने पर नकल
• स्नैपशॉट और क्लोन
• गतिशील पट्टी
• परिवर्तनीय ब्लॉक आकार
• हल्के फाइल सिस्टम का निर्माण
• कैश प्रबंधन
• अनुकूली अंतःकरण
• डिडुप्लीकेशन
• Encrypion

तो हम इसे कैसे प्राप्त कर सकते हैं? मेरा सुझाव दिया गया विकल्प जो आपकी स्थिति के अनुकूल हो सकता है, वह है नेक्सेंटा पर विचार करना । यह एक ओपन सोलारिस कर्नेल है, जिसमें शीर्ष पर चल रहे GNU यूजरलैंड टूल हैं। ओपन सोलारिस कर्नेल होने का अर्थ है कि मूल रूप से ZFS उपलब्ध होना।

Comments

उनकी साइट से "कम्युनिटी एडिशन: 18TB तक स्टोरेज के लिए अनलिमिटेड, फ्री वर्जन"। लगता है जैसे मुझे EXT4 के एक और सीमा मिल

— जाएगी

और मैं समझ गया कि ZFS "सर्वश्रेष्ठ" है जैसा कि आप सभी कह रहे हैं। बस "सर्वश्रेष्ठ" ऑपरेटिंग सिस्टम / सोलारिस वितरण का पता लगाने की कोशिश कर रहा है ताकि इसे चलाने में सक्षम हो।

— user51166

डेबियन जीएनयू / kFreeBSD ZFS का समर्थन करता है और मुझे डेबियन तरीका पसंद है, मुझे यकीन नहीं है कि मैं इसका उपयोग कर सकता हूं क्योंकि यह एक छोटा सहायक समुदाय लगता है और अभी भी कुछ प्रमुख कीड़े हैं।

— user51166

@ user51166 - यदि आपके सर्वर का भंडारण के लिए शुद्ध रूप से उपयोग किया जाता है, तो आपको FreeBSD या FreeNAS पर भी विचार करना चाहिए। दोनों को जेडएफएस सपोर्ट है।

— मैट एच

Answer 2

आपको XFS को एक कोशिश देनी चाहिए, अपनी आवश्यकताओं में अच्छी तरह से फिट होना चाहिए:

XFS 64-बिट फ़ाइल सिस्टम है। यह 8 एक्सबाइट माइनस एक बाइट की अधिकतम फ़ाइल सिस्टम साइज़ का समर्थन करता है, हालाँकि यह होस्ट ऑपरेटिंग सिस्टम द्वारा लगाई गई सीमा के अधीन है। 32-बिट लिनक्स सिस्टम पर, यह फ़ाइल और फ़ाइल सिस्टम के आकार को 16 टेबिबाइट तक सीमित करता है।

Comments

मैंने सुना है कि यह बिजली के नुकसान का सामना करने पर डेटा हानि का कारण बन सकता है और इसकी जर्नलिंग डेटा (केवल मेटाडेटा पर जर्नल) को कवर नहीं करती है। मेरे डेस्कटॉप पर एक बार इसका इस्तेमाल किया था, लेकिन बहुत सी fsck त्रुटियाँ उत्पन्न कीं, इसलिए मैंने इसे अब उपयोग नहीं करने के लिए प्राथमिकता दी। मैं दोहराता हूं: प्रदर्शन इस पसंद का मुख्य (मुख्य) क्षेत्र नहीं है: स्थिरता है।

— user51166

मुझे नहीं लगता है कि XFS अस्थिर है, मैं इसे कई फ़ाइल सर्वरों में उपयोग करता हूं और मुझे कोई समस्या नहीं है ...

— अलाटूट

नहीं, यह एक स्थिर संस्करण होने के अर्थ में स्थिर है। क्या इसका मतलब यह है कि मुझे वर्षों से डेटा हानि नहीं होगी? यदि आप प्रदर्शन की तलाश कर रहे हैं तो XFS निश्चित रूप से अच्छा है, हालांकि मुझे याद है कि नेट पर पढ़ना डेटा हानि के मुद्दे थे (हालांकि कई भाग्यशाली 3 के रूप में नहीं थे)। निर्दिष्ट करना भूल गया, लेकिन मैं एक एलयूकेएस सेटअप देख रहा हूं, इसलिए एलवीएम का उपयोग किया जाएगा , यदि वह मदद कर सकता है।

— user51166

एक आदर्श फ़ाइल सिस्टम मौजूद नहीं है ... मुझे लगता है कि आपकी आवश्यकताओं के लिए XFS सबसे उपयुक्त है। XFS पर LVM का उपयोग करने में कोई समस्या नहीं होनी चाहिए।

— अलारूट 20

पक्का नहीं। कोई विशेष "प्रतिबंध" / "विशेषताएँ"? ऑनलाइन fsck और / या डीफ़्रेग्मेंटेशन जैसे ext4 के मुद्दे?

— user51166

Answer 3

आपका सबसे आसान विकल्प XFS का उपयोग करना है। एक्सएफएस के आसपास बहुत सारे बुरे अनुभव पुराने संस्करणों और डेस्कटॉप हार्डवेयर समस्याओं पर आधारित हैं जो मुझे नहीं लगता कि मानक गुणवत्ता सर्वर हार्डवेयर पर नई तैनाती के लिए वास्तव में प्रासंगिक हैं। मैंने इस विषय के बारे में एक ब्लॉग पोस्ट लिखा है जो मौजूदा स्थिति को सुलझाने में आपकी मदद कर सकता है। सैकड़ों उपयोगकर्ताओं के साथ कई व्यस्त XFS डेटाबेस इंस्टॉलेशन हैं और जिन डेटा को मैं प्रबंधित करने में मदद करता हूं, उनके टेराबाइट्स। वे सभी डेबियन लेनी कर्नेल (2.6.26) या उसके बाद के हैं और मैंने वर्षों में उनके साथ परेशानी का संकेत नहीं सुना है। मैं इससे पहले किसी भी कर्नेल के साथ XFS का उपयोग नहीं करूंगा। मैंने अजीब XFS व्यवहार को देखकर लोगों की कुछ प्रत्यक्ष रिपोर्टें सुनी हैं जब भी सिस्टम मेमोरी या डिस्क स्थान से बाहर निकलता है; मैंने हालांकि खुद को अभी तक नहीं देखा है।

एकमात्र अन्य उचित विकल्प बड़ा फाइल सिस्टम का समर्थन करने के लिए कुछ हैकिंग के साथ ext4 का उपयोग करना है। मैं उम्मीद नहीं कर सकता कि बहुत अलग विश्वसनीयता स्तर है। मुझे कई टूटी हुई ext4 प्रणालियों से डेटा को पुनर्प्राप्त करना पड़ा है जो कर्नेल बग में भाग लेती हैं, अब तक सभी अपस्ट्रीम में हैं लेकिन उस समय वितरक के कर्नेल में नहीं। ext4 में मेटाडेटा मुद्दों का अपना सेट है जैसे विलंबित आवंटन डेटा हानि , चीजें जो ext3 पर होने की संभावना कम थीं। मुझे लगता है कि आप एक ext4 बग मार के बाधाओं को सामान्य से अधिक होगा यदि आप इसे सामान्य आकार की सीमा से अधिक कर रहे हैं, तो बस इसलिए कि यह अधिक संभावना है कि आप किसी बिंदु पर कम अच्छी तरह से परीक्षण किए गए नए कोड पथ को मारेंगे। ।

वैकल्पिक विचार सिर्फ सुरक्षित और उबाऊ ext3 का उपयोग करना है, 16TB सीमा को स्वीकार करना है, और चीजों को बेहतर ढंग से विभाजित करना है ताकि किसी भी एकल फाइल सिस्टम को इतना बड़ा न होना पड़े।

जर्नल मुद्दों से संबंधित एक ढीला अंत। आपने इस बारे में बात नहीं की कि ये सभी ड्राइव कैसे कनेक्ट होने वाले हैं। सुनिश्चित करें कि आप अपने स्टोरेज चेन के किसी भी लेखन कैशिंग के निहितार्थ को समझें। या तो इसे अक्षम करें या सुनिश्चित करें कि फ़ाइल सिस्टम कैश को बाहर निकाल रहा है। मैंने कुछ संसाधनों के बारे में विश्वसनीय लेखों में अटका दिया है, अगर ऐसा कुछ नहीं है जिसे आप अभी तक जाँच रहे हैं।

ड्राइव चूसना। RAID सरण चूसना। फाइलसिस्टम चूसते हैं। एकाधिक विफलताएँ होती हैं। मुझे यह देखकर खुशी हुई कि आप पहले से ही बैकअप के बारे में सोच रहे हैं; भंडारण पर अच्छे से महान विश्वसनीयता के लिए केवल RAID और कुछ अतिरिक्त ड्राइव की आवश्यकता होती है। अतिरेक हर स्तर पर कुछ खर्च करता है, और हार्डवेयर बनाम सॉफ्टवेयर जटिलता के लिए पैसा नेविगेट करने के लिए मुश्किल है। और अपनी प्रदर्शन उम्मीदों को देखें। जबकि एक RAID सरणी जैसा कि आप विचार कर रहे हैं आसानी से सैकड़ों MB / s करेंगे, यह सब लेता है दो समवर्ती पाठकों को डिस्क के चारों ओर लगातार मांग है कि केवल कुछ एमबी / एस के बजाय ड्रॉप करने के लिए। मैं आसानी से एक 24 डिस्क RAID10 सरणी को क्रश कर सकता हूं जैसे कि यह केवल एक बेंचमार्क वर्कलोड के खिलाफ <5MB / s बचाता है । एक चीज जो वहां मदद करती है वह यह सुनिश्चित करने के लिए है कि आप रीडहैड को ऊपर की ओर घुमाएं यदि एकाधिक स्ट्रीमिंग रीडर संभव हैं।

Comments

मैं इसे घर पर उपयोग करने जा रहा हूं, इसलिए मैं मुख्यधारा के हार्डवेयर का उपयोग करने की योजना बना रहा हूं। सर्वर हार्डवेयर का उपयोग कर सकते हैं, लेकिन मुझे अभी भी देखना है कि एसबी-ई अगले साल एक्सॉन विभाग में क्या पेशकश करने जा रहा है (मुझे वर्चुअलाइजेशन के साथ थोड़ा खेलना भी पसंद है)। यदि यह बहुत महंगा नहीं है, तो मैं सस्ते सर्वर हार्डवेयर और ईसीसी मेमोरी (इसके बहुत सारे) के साथ जा रहा हूं। प्रदर्शन-वार मुझे कुछ भी असाधारण नहीं चाहिए।

— user51166

और हां, मैं बैकअप के बारे में सोच रहा हूं, लेकिन अभी भी उन्हें लागू नहीं किया है। मैं अभी भी एक बैकअप समाधान की तलाश कर रहा हूं, जो एक सिस्टम इमेज बनाने में सक्षम है और / या आसानी से टार / जिप / ... एक मैगामेंट इंटरफेस के साथ आवश्यक फ़ोल्डर्स जो स्वचालित पुनर्स्थापना की अनुमति देते हैं। BackupPC बस एक सीमित सीमित लगता है और मुझे यकीन नहीं है कि मैं क्रेशप्लान पर भरोसा करूंगा (इसका उपयोग दूरस्थ स्थान पर बैकअप डेटा के लिए करता हूं, इसलिए अतिरेक करना चाहूंगा)। क्या मुझे स्वयं एक वेब GUI लिखना है या ऐसा कुछ पहले से मौजूद है (ओपन सोर्स सॉफ्टवेयर, या कम से कम उपयोग करने के लिए मुफ्त)

— user51166

Answer 4

FreeBSD का उपयोग करते हुए ZFS पर तैनाती एन्क्रिप्शन के लिए gbde का उपयोग करके यहां हो सकती है । ZFS खुद को RAID प्रदाता के माध्यम से सॉफ्टवेयर RAID प्रदाता होगा । ज़ूलप्स के निर्माण की भंडारण प्रबंधन की जटिलता लिनक्स से mdadm के माध्यम से आपको क्या करने जा रही है, और कुछ मामलों में वास्तव में आसान होने की तुलना में काफी अलग नहीं है। मेरा पहला ZFS इंस्टाल (3 साल पहले सोलारिस 10 पर) 48 ड्राइव पर 17TB फाइल सिस्टम था। मैं एक समस्या के बिना वहाँ कई विफलताओं से बच गया, ZFS प्रबंधन सीखते हुए।

मुख्य नकारात्मक पक्ष यह है कि ZFS का चेकसमिंग लिनक्स कैन की तुलना में बेहतर त्रुटि का पता लगाने में मदद करता है, जो कि खराब हार्डवेयर के खिलाफ विचार करने लायक है। मुख्य डाउनसाइड FreeBSD के आसपास कम लोकप्रिय हैं। आप नहीं जानते कि इसे कैसे प्रबंधित करना है, लेकिन लिनक्स की तुलना में हार्डवेयर समर्थन थोड़ा कमजोर है, और चूंकि यह एक कम लोकप्रिय मंच है, इसलिए यदि आप मुद्दों पर नहीं चलते हैं, तो कई लोग मदद के लिए पूछ सकते हैं।

एक बहुत से टेराबाइट स्टोरेज ऐरे वास्तव में हाइलाइट करता है कि जेडएफएस हालांकि क्या अच्छा है। यह गंभीरता से विचार करने के लायक है कि क्या आप कुछ नया करने की कोशिश कर रहे हैं। यदि आप सच्चे बैकअप व्यामोह का पता लगाना चाहते हैं, तो लिनक्स बग और फ्रीबीएसडी बैकअप सर्वर का निर्माण करें, ओएस बगों की बाधाओं को कम करने के लिए विफलता के एक बिंदु के रूप में।

Comments

पहले से ही फ़ाइल सर्वर के रूप में लिनक्स है और मुझे अभी भी वास्तव में इसका उपयोग शुरू करना है (मैंने केवल 6 डिस्क पर सॉफ्टवेयर RAID-6 + LUKS के कुछ परीक्षण शुरू किए हैं)। केवल समस्या यह है कि मेरे पास इसके साथ खेलने के लिए बहुत कम समय है। मुझे आपका जवाब पसंद है। यदि आप ZFS रास्ते पर जा रहे हैं तो आप ऑपरेटिंग सिस्टम के रूप में क्या सुझाव देते हैं? फ्रीबीएसडी और ओपनसोलारिस (अब और नहीं बनाए गए), ओपनइंडियाना (ओपनसोलारिस ओपनसोर्स जैसा कि मैंने इसे देखा है) और सोलारिस एक्सप्रेस 11 (ओरेकल: एस) केवल विकल्प प्रतीत होते हैं। मैं काम पर इसका उपयोग नहीं करता, घर पर इसका मेरा शौक है, लेकिन मैं वैसे भी कुछ स्थिर करना चाहूंगा और जो उपयोग करना आसान है।

— user51166

मैं वास्तव में अभिवृत्ति का उपयोग करने और उभरने के लिए विकसित हुआ हूं। Freebsd (cd / usr / ... && मेक इनस्टॉल) में आप पोर्ट को कैसे संकलित / प्रबंधित / अपडेट करते हैं, में मेरी समझ यह है कि यह सिर्फ "सही" नहीं लगता (मुझे आशा है कि इस शब्द के उपयोग के लिए शुद्धतावादी मुझे माफ कर देंगे। , लेकिन यह मेरे लिए अजीब लगता है कि यदि आप एक पैकेज को अपडेट करना चाहते हैं जो आपको करना है, तो कोई भी स्वचालित निर्भरता हल नहीं होती है [मैंने अभी फ्रीबीएसडी के मैनुअल में एक छोटा रूप लिया है])। या डेबियन या जेंटू की तरह एक साधारण पैकेज प्रबंधन प्रणाली है?

— user51166

मैं पहले से ही जानता हूं कि मैं बस rsync कर सकता हूं कि मुझे क्या चाहिए या टार / डिफरेंस आदि लेकिन मैं यह जानना चाहूंगा कि क्या कुछ अधिक व्यावहारिक पहले से मौजूद है। धन्यवाद

— user51166

Answer 5

के अनुसार विकिपीडिया के फाइल सिस्टम तुलना पेज , वहाँ कई उल्लेखनीय फाइल सिस्टम इस तरह के JFS, XFS, यूडीएफ, ZFS, GPFS और Btrfs के रूप में आपकी आवश्यकताओं के अनुरूप है कि कर रहे हैं। सॉर्ट करने के लिए अधिकतम फ़ाइल आकार पर क्लिक करें और सबसे उपयुक्त का चयन करें