मैं लाखों फ़ाइलों के साथ हार्ड डिस्क स्थान की कल्पना कैसे कर सकता हूं?

Question

हमारे पास एक हार्ड डिस्क है जो 600 गिग्स और लगभग पूर्ण है। यह 18,501,765 फाइलों (ज्यादातर छोटी 19k छवियों) और 7,142,132 फ़ोल्डरों से भरा गया है। यह पता लगाना बहुत मुश्किल है कि वास्तव में सभी स्थान कहां गए हैं। हमारी नियमित सफाई प्रक्रियाएं पर्याप्त स्थान को साफ नहीं कर रही हैं जिसका मतलब है कि हमें इस ड्राइव को एक पूरे के रूप में देखना चाहिए और यह निर्धारित करना चाहिए कि वहां क्या है और क्या स्थानांतरित किया जा सकता है या हटाया जा सकता है। हमने कई अनुप्रयोगों की कोशिश की है और अब तक वे या तो उड़ा दिए गए हैं या बस समय की एक अद्भुत राशि को पूरा करने के लिए भाग गए हैं।

सर्वर जानकारी

• ऑपरेटिंग सिस्टम: विंडोज सर्वर 2003
• फाइल सिस्टम: NTFS

समाधान

Space ObServer 18,501,765 फाइलों और 7,142,132 फ़ोल्डरों के माध्यम से पढ़ने में सक्षम था, शायद ही कोई मेमोरी ले। मुझे यकीन है कि यह ज्यादातर इस तथ्य के कारण है कि यह सभी डेटा को संग्रहीत करने के लिए SQL बैकएंड का उपयोग करता है। दुर्भाग्य से यह सभी उत्पादों का सबसे महंगा $ 259.95 प्रति सर्वर है।

समाधान का प्रयास किया

अपने शोध के दौरान मैंने वेतन और मुफ्त दोनों में कई अलग-अलग समाधानों की कोशिश की। मैंने उन उत्पादों की एक सूची रखी जिन्हें मैंने सभी की जानकारी के लिए नीचे दिया था।

मुफ्त सॉफ्टवेयर

• JDiskReport - 10 मिलियन पर रुकता है
• WinDirStat - 10 मिलियन पर रुकता है
• स्पेसमॉन्जर - रैम स्टोरेज के उल्लेख के कारण स्किपिंग
• SpaceSniffer - अज्ञात पर रुकता है - दुर्घटना

सॉफ्टवेयर का भुगतान करें

• FolderSizes - 12 मिलियन पर स्टॉप (3 मिलियन फ़ोल्डर)
• ट्रीसाइज़ प्रोफेशनल - रैम स्टोरेज के उल्लेख के कारण लंघन

अपडेट

अद्यतन # 1 : मैं जिस सर्वर का विश्लेषण करने का प्रयास कर रहा हूं उसमें 2 जीबी रैम और अधिकांश उत्पाद हैं जो मैं कोशिश करता हूं कि कोशिश करें और फ़ाइल / फ़ोल्डर की जानकारी को स्मृति में रखें। यह 18,501,765 फाइलों और 7,142,132 फ़ोल्डरों के साथ बहुत जल्दी बाहर चला जाता है।

अपडेट # 2 : लगता है कि WinDirStat के डेवलपर्स हमें यह बताने के लिए पर्याप्त रूप से शामिल हो गए कि यह 64-बिट के तहत संकलन कर सकता है। इसके साथ काम करने के लिए यह अधिक मेमोरी देता है, लेकिन मुझे यकीन नहीं है कि यह पर्याप्त होने जा रहा है जब तक कि वे डिस्क के लिए बनी रहें।

Comments

क्या ऑपरेटिंग सिस्टम?

— वेस्ले

यह विंडोज सर्वर 2003 है। मैंने यह दिखाने के लिए पोस्ट को संपादित किया है।

— नाथन पामर

इनमें से कोई भी पूरी तरह से मुक्त, शेयरवेयर या खुला स्रोत है?

— मैस्लो

आपको इस तरह से अपडेट करने में अच्छा है कि क्या विफल, चल रहा है और लंबित है। मुझे अच्छे विचार देता है।

— वेस्ले

कोई दिक्कत नहीं है। मुझे लगा कि यह अच्छी जानकारी होगी क्योंकि मुझे लगता है कि हम एक ऐसी # फाइलों के साथ काम कर रहे हैं जो कंपनियां आमतौर पर दैनिक आधार पर काम नहीं करती हैं। इसके अलावा, मैंने अभी फ्री और पे के लिए श्रेणियों के साथ अपडेट किया है।

— नाथन पामर

Answer 1

मान लीजिए आपका OS विंडोज है ...

किसी भी तरह से आप इसे स्लाइस करते हैं, लाखों फ़ाइलों को सारणीबद्ध करना हमेशा एक लंबा समय लेने वाला है और डिस्क के I / O द्वारा ही प्रतिबंधित किया जाएगा। मैं सलाह देता हूं कि ट्रीसाइज़ प्रोफेशनल । या हो सकता है SpaceObServer । आप ट्रीसाइज के फ्रीवेयर संस्करण को भी आजमा सकते हैं।

Comments

मैं सहमत हूँ। लेकिन मैंने जिन दो उत्पादों की कोशिश नहीं की है, मैं उन पर एक नज़र डालूँगा।

— नाथन पामर

Answer 2

WinDirStat को निश्चित रूप से आज़माएँ : यह प्रत्येक फ़ाइल को पैमाने पर खींची गई आयत के रूप में चित्रित करके डिस्क के उपयोग का एक शानदार दृश्य देता है, फ़ाइल प्रकार द्वारा कोडित रंग। विज़ुअलाइज़ेशन में किसी भी आइटम पर क्लिक करें और आप इसे डायरेक्ट्री ट्री में देखेंगे।

मानक 32-बिट बिल्ड 10 मिलियन फ़ाइलों और 2 जीबी रैम उपयोग तक सीमित है, लेकिन स्रोत कोड 64-बिट एप्लिकेशन के रूप में सफलतापूर्वक निर्माण करेगा। तथ्य यह है कि प्रश्न में सर्वर में केवल 2GB रैम है, इस विशिष्ट मामले में समस्याग्रस्त हो सकता है, लेकिन अधिकांश सर्वरों में ऐसी बड़ी संख्या में अधिक रैम होंगे।

# 1 संपादित करें: मुझे पता चला है कि जब लाखों फ़ाइलों वाली 4TB मात्रा पर परीक्षण किया गया था, तो मुझे खेद है, WinDirStat पोर्टेबल लगभग 6.5 मिलियन फ़ाइलों को अनुक्रमित करने के बाद क्रैश हो गया। यह मूल प्रश्न के लिए काम नहीं कर सकता है यदि ड्राइव में 6+ मिलियन फाइलें हैं।

# 2 संपादित करें: WinDirStat का पूर्ण संस्करण 10 मिलियन फ़ाइलों पर क्रैश हो गया और 1.9GB का उपयोग किया गया

# 3 संपादित करें: मैं WinDirStat डेवलपर्स के साथ संपर्क में आया और: (1) वे इस बात से सहमत हैं कि यह x86 आर्किटेक्चर की मेमोरी उपयोग सीमाओं के कारण था, और (2) ने उल्लेख किया कि इसे बिना त्रुटियों के 64-बिट के रूप में संकलित किया जा सकता है। जल्द ही और अधिक।

# 4 संपादित करें: WinDirStat के 64-बिट बिल्ड का परीक्षण सफल रहा। 44 मिनट में, इसने 11.4 मिलियन फ़ाइलों को अनुक्रमित किया और 2.7 GB RAM का उपभोग किया।

Comments

यह नियमित संस्करण की कोशिश करने के लायक हो सकता है, क्योंकि यह संभव है कि पोर्टेबल वातावरण ने एक अप्रत्याशित प्रतिबंध बनाया। मैं खुद को परखने की स्थिति में नहीं हूं। windirstat.info

— जॉन गार्डनियर्स

दरअसल, नियमित संस्करण 10+ मिलियन फाइलों और 1.9GB रैम के उपयोग से मर जाता है। मुझे संदेह है कि यह> 2GB आवंटित करने में असमर्थ है। मुझे आश्चर्य है कि यह बहुत अधिक रैम (लगभग 200 बाइट प्रति फ़ाइल लंबा) का उपयोग करता है, लेकिन, फिर, मैं एक युग में बड़ा हुआ जब व्यक्तिगत बाइट्स आज की तुलना में कहीं अधिक कीमती थे ...

— स्काईवॉक

मैं WinDirStat का बहुत उपयोग करता हूं। दुर्भाग्य से यह सिर्फ इसे काट नहीं करता है जब आप फ़ाइलों के एक बड़े # में आते हैं।

— नाथन पामर

मुझे लगता है कि WinDirStat पर किसी भी चीज़ के साथ वापस आने पर दिलचस्पी होगी। राम 32-बिट या 64-बिट में मेरे लिए एक बाधा बनने जा रहे हैं।

— नाथन पामर

कोई आधिकारिक बिल्ड नहीं है, लेकिन मैं आपको एक अनौपचारिक भेज सकता हूं - जाहिर है, अगर आपके पास विजुअल स्टूडियो नहीं है, तो यह अपने आप को रोल करने के लिए मुश्किल होगा! ([e-mail] मुझ तक पहुँचता है)

— स्काईवॉक

Answer 3

मैं नियमित रूप से कई समस्याओं के साथ कई फ़ाइलों के साथ 1TB ड्राइव पर FolderSizes का उपयोग करता हूं ।

Comments

बहुत बढ़िया। उस एक के बारे में पता नहीं था।

— वेस्ले

महान। मै उसे करने की एक कोशिश तो करूंगा।

— नाथन पामर

Answer 4

TreeSize उत्पादों के लिए +1, लेकिन ...

"पर्याप्त स्थान की सफाई न करने" के बारे में आपका वाक्य मुझे आश्चर्यचकित करता है: क्या आप NTFS MFT आरक्षित स्थान से भाग सकते थे? यदि फ़ाइल सिस्टम प्रारंभ में आवंटित किए गए से अधिक MFT स्थान पकड़ लेता है, तो इसे नियमित फाइलस्पेस पर नहीं लौटाया जाता है, और इसे बचाव कार्यों में नहीं दिखाया जाता है।

http://support.microsoft.com/kb/174619

"अपेक्षाकृत बड़ी फ़ाइलों के साथ वॉल्यूम पहले अनारक्षित स्थान को समाप्त करते हैं, जबकि बड़ी संख्या में अपेक्षाकृत छोटी फ़ाइलों के साथ वॉल्यूम पहले एमएफटी ज़ोन स्थान को समाप्त करते हैं। या तो मामले में, एमएफटी का विखंडन एक क्षेत्र या एक स्थान पर होने लगता है। अन्य पूर्ण हो जाता है। यदि अनारक्षित स्थान पूर्ण हो जाता है, तो उपयोगकर्ता फ़ाइलों और निर्देशिकाओं के लिए स्थान एमएफटी क्षेत्र से आवंटन के लिए एमएफटी के साथ प्रतिस्पर्धा करना शुरू कर देता है। यदि एमएफटी क्षेत्र पूर्ण हो जाता है, तो नए एमएफटी प्रविष्टियों के लिए स्थान शेष से आवंटित किया जाता है। डिस्क, अन्य फ़ाइलों के साथ फिर से प्रतिस्पर्धा। "

Comments

जो देखने में कुछ अच्छा लगता है। दुर्भाग्य से हम एमएफटी आकार नहीं देख सकते हैं क्योंकि डीफ़्रैग सीएचकेडीएसके के बिना विश्लेषण नहीं करेगा और सीएचकेडीएसके वर्तमान में "अनिर्दिष्ट त्रुटि के साथ" विफल हो रहा है।

— नाथन पामर

Answer 5

1. सीडी \ _
2. dir / s> out.txt
3. poof! जादू होता है; या एक पर्ल हैकर दिखाता है
4. परिणाम!

गंभीरता से। मैंने 5 या 6 मिलियन फाइलों के साथ ऐसा किया है; सुनिश्चित नहीं हैं कि आप क्या देख रहे हैं, लेकिन एक अच्छी स्क्रिप्टिंग भाषा इसे खा जाएगी।

Comments

सू ... # 3 चरण में क्या होता है .. एक प्रति हैकर मानकर नहीं दिखाता है?

— नाथन पामर

क्या आप अपनी आवश्यकता के बारे में अधिक जानकारी पोस्ट कर सकते हैं? सबसे बड़ी फाइलें? सबसे बड़ी निर्देशिका? क्या आपको तारीख / समय की जानकारी चाहिए? यह एक बार की जरूरत है, या आवर्ती है?

— SqlACID

अभी के लिए यह एक समय है। मुझे यह जानने की आवश्यकता है कि कौन सी निर्देशिकाएं सबसे बड़ी हैं (dir + बच्चे) लेकिन मुझे उस जानकारी से पहले कुछ निर्देशिकाओं को मान्य करने की आवश्यकता होगी। फिर मुझे तारीखों तक फ़ाइलों का ब्रेक-अप करना होगा ताकि मैं हाल की पुरानी फ़ाइलों को देख सकूं।

— नाथन पामर

Answer 6

मैं आमतौर पर एक विंडोज उपयोगकर्ता नहीं हूं, लेकिन मैं साइगविन के अस्तित्व से अवगत हूं। :-)

अगर यह काफी अच्छा काम करता है, तो कुछ पसंद है

du -m /your/path | sort -nr | head -n 50

या शायद सिग्विन में

du C:\ | sort -nr | head -n 50

वैसे भी, आपको 50 सबसे बड़ी निर्देशिकाओं (मेगाबाइट में आकार) को प्रिंट करना चाहिए।

Answer 7

मुझे स्पेसमॉन्जर के साथ कुछ मुद्दे मिले और एक उपयोगिता की तलाश में मैं आसानी से यूएसबी स्टिक से ट्रांसफर या रन कर सकता था - स्पेस स्निफर उस संबंध में बहुत बहुमुखी था, और आसानी से मल्टी-टेराबाइट वॉल्यूम को संभाला।

Comments

मल्टी-टेराबाइट कितनी फाइलों के साथ चलती है? ऐसा लगता है कि हमारा प्रमुख मुद्दा यह नहीं है कि कितनी जगह का उपयोग किया जाता है, लेकिन कार्यक्रम कितनी फ़ाइलों को संभाल सकता है। अधिकांश 10 मिलियन पर घुट रहे हैं।

— नाथन पामर

मैं experiement पर कुछ मिलियन से अधिक फ़ाइलों के साथ एक सर्वर नहीं है, तो मैं विश्वास के साथ अपने 10million फ़ाइल सवाल का जवाब नहीं कर सकता - मेरा एकमात्र सुझाव यह होगा कि इन उपकरणों के साथ आप निर्देशिका गहराई सेट कर सकते हैं जिस पर विज़ुअलाइज़ेशन है - खोजें खुश माध्यम और फिर आपको उस फ़ोल्डर में गहराई से जाना चाहिए, जो विज़ुअलाइज़ेशन करने के साथ ही समय भी बचाए।

Answer 8

du -s एक चुटकी में इस्तेमाल किया जा सकता है, और जब तक आवश्यक हो तब तक चलेगा।

Comments

धन्यवाद। अगली बार जांच करूंगा कि मैं * ix सिस्टम पर हूं।

— नाथन पामर

... हुह? gnuwin32.sourceforge.net/packages/coreutils.htm

— इग्नासियो

यह एहसास नहीं था कि यह विंडोज़ पर उपलब्ध था। मैं इसे देख लूँगा। धन्यवाद।

— नाथन पामर

Answer 9

Windows पर मैं SpaceMonger (या पुराने मुक्त संस्करण ) का उपयोग करता हूं । OSX पर मैं डिस्क इन्वेंटरी एक्स का उपयोग करता हूं ।

Answer 10

GetFoldersize पर एक नज़र डालें

Answer 11

मैं अपने सिर के पीछे से mft टेबल को संकेंद्रित करता हूं, मुझे लगता है कि jkdefrag, मूल ओपनसोर्स संस्करण को याद करना प्रतीत होता है, इसने बहुत सटीक डिस्क दृश्य दिया जिसमें mft क्षेत्रों के लिए differet रंग शामिल है। मुझे लगता है कि मैंने पहले एक बार mft आकार और विखंडन के अंगूठे के नियम के लिए इस्तेमाल किया था।

इसके अलावा chdsk की परवाह नहीं करता है।

कोशिश कर सकते हैं कि?

Comments

मैंने इसे एक कोशिश दी। जब मैं विश्लेषण चलाता हूं तो यह उसी तकलीफ से ग्रस्त होता है, जो इनमें से अधिकांश कार्यक्रमों में होता है। बहुत सारी फाइलें / फोल्डर मेमोरी में संग्रहीत।

— नाथन पामर

क्षमा करें कि पढ़ने के लिए। एक मंच की समस्या की तरह लगता है। मेरे पास एक और सुझाव है: डिस्क को मिरर (बिट इमेज, इमेजिंग सॉफ्ट या हार्डवेयर मिरर) कोई फर्क नहीं पड़ता कि कैसे, मिरर को तोड़ें और फोरेंसिक के तहत कॉपी को दूसरे प्लेटफॉर्म पर रखें। linux / nix। इसने आपके कार्य समय के निवेश की मात्रा के विषय में मिरर ड्राइव की लागत के वारंट के लिए पर्याप्त समय का उपभोग किया है।

— १४

Answer 12

http://www.freshney.org/xinorbis/

एक और संभावित विकल्प

Answer 13

मैंने डिस्क उपयोग विश्लेषक का उपयोग किया है - विंडोज सर्वर पर रिमोट स्कैन फ़ंक्शन का उपयोग करके लिनक्स पर बाओबाब । मैं नहीं जानता कि यह क्या सीमाएं हैं।

फेडोरा लाइवसीडी में बाओबाब होता है। इसे अपने LAN में किसी भी कंप्यूटर पर बूट करें।

यह सब मुफ्त है - बीयर में और भाषण में। व्यावसायिक उपयोग के लिए भी।