हम बैकअप के लिए rsnapshot का उपयोग कर रहे हैं। यह बैकअप की गई फ़ाइल के बहुत सारे स्नैपशॉट रखता है, लेकिन यह पुराने को हटा देता है। यह अच्छा है। हालांकि rm -rfएक विशाल निर्देशिका पेड़ पर ऐसा करने में लगभग 7 घंटे लग रहे हैं । फाइलसिस्टम XFS है। मुझे यकीन नहीं है कि कितनी फाइलें हैं, लेकिन शायद लाखों में यह संख्या है।
वहाँ वैसे भी यह गति है? क्या कोई ऐसा आदेश है जो उसी तरह rm -rfकरता है और घंटे और घंटे नहीं लेता है?
जवाबों:
नहीं।
rm -rfunlink()हर फ़ाइल पर कॉल करते हुए, आपके फ़ाइल सिस्टम की पुनरावर्ती गहराई-पहला ट्रैवर्सल करता है। प्रक्रिया के धीरे-धीरे चलने के दो कारण opendir()/ readdir()और हैं unlink()। opendir()और readdir()निर्देशिका में फ़ाइलों की संख्या पर निर्भर हैं। unlink()हटाए जा रहे फ़ाइल के आकार पर निर्भर है। इसे जल्दी पूरा करने का एकमात्र तरीका फाइलों के आकार और संख्या को कम करना है (जो मुझे संदेह नहीं है कि संभावना है) या उन कार्यों के लिए बेहतर विशेषताओं के साथ फाइल सिस्टम को एक में बदल दें। मेरा मानना है कि XFS बड़ी फाइल पर अनलिंक () के लिए अच्छा है, लेकिन बड़ी निर्देशिका संरचनाओं के लिए इतना अच्छा नहीं है। आपको लग सकता है कि ext3 + dirindex या reiserfs तेज है। मुझे यकीन नहीं है कि जेएफएस कितना अच्छा है, लेकिन मुझे यकीन है कि विभिन्न फ़ाइल सिस्टम प्रदर्शन के बहुत सारे मानक हैं।
संपादित करें: ऐसा लगता है कि XFS पेड़ों को हटाने में भयानक है , इसलिए निश्चित रूप से अपने फाइल सिस्टम को बदलें।
unlinkकि वास्तविक सामग्री के अलावा कुछ भी नहीं है, लेकिन unlinkसिस्टम कॉल करने के लिए , फ़ाइल सिस्टम कोड फिर भी अधिक काम करने के लिए है यदि हटाए गए लिंक फ़ाइल के लिए अंतिम है और यदि यह वर्तमान में खुला नहीं है। यह निश्चित रूप से फाइल सिस्टम पर निर्भर है, लेकिन तब बहुत ही अलग अंतर हो सकता है जब हटाए गए फ़ाइल बहुत बड़ा हो।
एक विकल्प के रूप में, निर्देशिका को एक तरफ ले जाएं, इसे उसी नाम, अनुमतियों और स्वामित्व के साथ पुन: बनाएँ और उस निर्देशिका के बारे में परवाह करने वाले किसी भी एप्लिकेशन / सेवाओं को पुनः आरंभ करें।
फिर आप एक विस्तारित आउटेज के बारे में चिंता किए बिना पृष्ठभूमि में मूल निर्देशिका को "अच्छा आरएम" कर सकते हैं।
सुनिश्चित करें कि आपके पास XFS के लिए सही माउंट विकल्प हैं।
उपयोग करना -ologbufs = 8, XFS के साथ logbsize = 256k शायद आपके डिलीट प्रदर्शन को तीन गुना कर देगा।
यदि आप फ़ाइल स्तर पर प्रभावी ढंग से आरएम कर रहे हैं तो इसमें लंबा समय लगेगा। यही कारण है कि ब्लॉक आधारित स्नैपशॉट बहुत अच्छे हैं :)।
आप अलग-अलग क्षेत्रों में आरएम को विभाजित करने की कोशिश कर सकते हैं और इसे समानांतर में करने की कोशिश कर रहे हैं, लेकिन मैं इसे सुधारने की उम्मीद नहीं कर सकता हूं। XFS को फ़ाइलों को हटाने के मुद्दे के लिए जाना जाता है और यदि आप जो करते हैं उसका एक बड़ा हिस्सा है, तो शायद इसके लिए एक अलग फ़ाइल सिस्टम एक विचार होगा।
मुझे पता है कि यह पुराना है, लेकिन मैंने एक सुझाव में आईडी टॉस के बारे में सोचा। आप उन फ़ाइलों को क्रमिक रूप से हटा रहे हैं, समानांतर rm संचालन को निष्पादित करने से चीजों की गति बढ़ सकती है।
http://savannah.nongnu.org/projects/parallel/ समानांतर आमतौर पर xargs के स्थान पर उपयोग किया जा सकता है
इसलिए यदि आपके डिलीट की सभी फाइलें डिलीट हो गई हैं
find -t f deletedir | parallel -j 10 rm
यह आपको हटाने के लिए सिर्फ खाली निर्देशिका संरचनाओं के साथ छोड़ देगा।
नोट: आप संभवतः ऊपर बताए अनुसार फ़ाइल सिस्टम की सीमाओं से टकराएंगे।
क्या यहां एक वैकल्पिक विकल्प डेटा को इस तरह से अलग करना होगा कि आप rm करने के बजाय वास्तविक फाइल सिस्टम को रद्दी और पुनर्निर्माण कर सकते हैं?
कमांड की नज़दीकी कम करने के बारे में कैसे? पसंद:
nice -20 rm -rf /path/to/dir/
find . -delete -name directoryऔर यह बहुत अधिक तेज हैrm -rf।