संग्रहण के लिए फाइल सिस्टम

10

मेरे फाइल सिस्टम में कुछ जटिल रीड-ओनली डेटा हैं। इसमें एक svn रिपॉजिटरी के कुछ संशोधनों और प्रतिगमन परीक्षणों के आउटपुट के हजारों स्नैपशॉट शामिल हैं। स्नैपशॉट के बीच की पहचान वाली फाइलें पहले से ही हार्ड लिंक का उपयोग करके डी-डुप्लिकेट की गई हैं। इस तरह, भंडारण क्षमता बड़ी होने की आवश्यकता नहीं है, लेकिन यह अभी भी बहुत सारे इनोड्स की खपत करता है, और यह मेरे मुख्य फाइल सिस्टम के लिए fsck को दर्दनाक रूप से लंबा बनाता है।

मैं इन डेटा को किसी अन्य फ़ाइल सिस्टम में स्थानांतरित करना चाहता हूं, ताकि यह मुख्य फ़ाइल सिस्टम को बहुत अधिक प्रभावित न करे। क्या आपके पास सुझाव हैं? स्क्वाशफ्स एक संभावित विकल्प लगता है, लेकिन मुझे यह जांचना होगा कि क्या यह कड़ी कड़ी कुशलता से संभाल सकता है।

filesystems backup hard-link

— वी-यिन
स्रोत

1

कौन सा ओएस? क्या आप किसी भिन्न OS वाला फ़ाइल सर्वर सेट करने के लिए तैयार हैं?

— केविन कैंटू

5

यदि यह एब्सॉट fsck सुस्ती है, तो क्या आपने ext4 की कोशिश की? उन्होंने इसमें कुछ विशेषताएं जोड़ी हैं जो अप्रयुक्त इनोड्स को न देखकर वास्तव में त्वरित रूप से त्वरित बनाते हैं :

Fsck एक बहुत ही धीमा ऑपरेशन है, विशेष रूप से पहला कदम: फ़ाइल सिस्टम में सभी आयतों की जाँच करना। Ext4 में, प्रत्येक समूह के इनोड टेबल के अंत में अप्रयुक्त इनोड्स की सूची (एक चेकसम के साथ, सुरक्षा के लिए) संग्रहीत की जाएगी, इसलिए fsck उन आयतों की जांच नहीं करेगा। परिणाम यह है कि कुल फॉक्स का समय इस्तेमाल किए गए इनोड्स की संख्या (http://kerneltrap.org/Linux/Improving_fsck_Speeds_in_Ext4) के आधार पर 2 से 20 गुना तक सुधार होता है। यह ध्यान दिया जाना चाहिए कि यह fsck है, और Ext4 नहीं है, जो अप्रयुक्त इनोड्स की सूची का निर्माण करेगा। इसका मतलब यह है कि आपको अप्रयुक्त इनोड्स की सूची प्राप्त करने के लिए fsck चलाना होगा, और केवल अगली fsck रन अधिक तेज़ होगी (वैसे भी आप Ext3 फाइलसिस्टम को Ext4 में बदलने के लिए एक fsck पास करना होगा)। वहाँ भी एक सुविधा है कि इस fsck गति में भाग लेता है - "लचीला ब्लॉक समूह"

— tante
स्रोत

उम्मीद तो दिखती है। मै उसे करने की एक कोशिश तो करूंगा।

— वी-यिन

मैं देख रहा हूं कि आप अभी एक्सट 3 का उपयोग करते हैं। आप ext3 को ext4 में तुच्छ रूप में परिवर्तित कर सकते हैं (वहां हॉव्टोस के नाव लोड हैं, यह मूल रूप से ext3 विभाजन को एक विशेष पैरामीटर के साथ बढ़ रहा है, फिर यह ext4 हमेशा के लिए है)।

— tante

7

Btrfs में स्नैपशॉट के लिए मूल समर्थन है, इसलिए आपको कटौती के लिए हार्ड लिंक का उपयोग नहीं करना होगा। आप अपने वर्तमान सेटअप को एक btrfs फाइल सिस्टम बनाकर पुनः लोड कर सकते हैं और इसे जल्द से जल्द संशोधन के साथ लोड कर सकते हैं, और आपको स्नैपशॉट लेना होगा, और फिर रिपॉजिटरी को प्रत्येक बिंदु पर आगे लाना होगा जिसमें आपको स्नैपशॉट की आवश्यकता है और प्रत्येक पर एक स्नैपशॉट ले रहा है। कदम। यह कठिन लिंक की तुलना में अधिक कुशल होना चाहिए, और साथ ही स्थापित करने के लिए सरल होना चाहिए।

मुझे भी लगता है (हालाँकि मैं इस बात से बहुत दूर हूँ) कि स्क्वैश फ़ॉरेस फाइलों को पारदर्शी तरीके से काटता है, इसलिए भले ही यह हार्ड लिंक को हैंडल न करे, फिर भी आपको लाभ दिखाई देगा। यदि आपको फ़ाइल सिस्टम में डेटा बदलने की आवश्यकता नहीं है, तो स्क्वैशफॉल्स संभवतः जाने का रास्ता है, क्योंकि fsck को तब md5sum द्वारा प्रतिस्थापित किया जा सकता है;)

— पी स्थैतिक
स्रोत

6

मैं XFS पसंद करूंगा क्योंकि मुझे इस फाइल सिस्टम के साथ बहुत अच्छे अनुभव हैं। लेकिन मैं वास्तव में सलाह देता हूं, आप अपने डेटा और सुझाए गए सभी फाइल सिस्टम के साथ एक परीक्षण करें।

— ddeimeke
स्रोत

1

तुम्हारे सुझाव के लिए धन्यवाद। मैं अभी ext3 का उपयोग कर रहा हूं। क्या XFS एक्स 3 की तुलना में तेज़ है?

— वी-यिन

1

हां, fsck तेज है। लेकिन जैसा कि tante ने बताया है, आपको इसे ext4 पर माइग्रेट करना चाहिए।

— ddeimeke

0

मैं कई दुकानों के बारे में जानता हूं जो वास्तव में उस उद्देश्य के लिए डेटाडोमेन का उपयोग करते हैं।

आपकी अभिलेखीय स्क्रिप्ट बहुत सरल हो सकती है (उदाहरण के लिए टार या rsync और क्रोन), और आपको हार्ड लिंक, या निर्देशिकाओं को प्रबंधित करने के बारे में चिंता करने की आवश्यकता नहीं है, जो अधिकांश फाइल सिस्टम पर हार्डलिंक नहीं किया जा सकता है। बैंडविड्थ को बचाने के लिए वृद्धिशील प्रतियों की कोई आवश्यकता नहीं है। सभी जादू ब्लॉक परत के भीतर होता है। केवल वास्तविक डिस्क स्थान के 1-2TB मूल्य का उपयोग करते हुए 15-20TB वर्चुअल डेटा की मेजबानी करना असामान्य नहीं है। आप अभी भी अपने डिस्क बैकअप के लिए बहुत कुछ छोड़ चुके हैं।

डेटा NFS या iSCSI पर परोसा जाएगा, लेकिन मुझे यकीन नहीं है कि यह एक समस्या है

जब FreeBSD को ZFS v23 मिलेगा, तो बाकी सभी के लिए डिडुप्लीकेशन उपलब्ध होगा।

— स्टीफन लासिवस्की
स्रोत

डिडुप्लीकेशन का उपयोग मेमोरी महंगा (खराब साइड-इफ़ेक्ट की संभावना के साथ होता है यदि मेमोरी समाप्त हो रही है, जो अधिक बार होता है तो आप कल्पना कर सकते हैं), लेकिन यह भी केवल कुछ विशेष (शायद कॉर्पोरेट) मामलों का उपयोग करने में सहायक है। ZFS स्नैपशॉट का उपयोग हालांकि काम करेगा।

— हत्यारे