मैं एक संग्रहकर्ता प्रोग्राम की तलाश कर रहा हूं जो संग्रहीत की जा रही फाइलों पर डिडुप्लीकेशन (घटा) कर सके। संग्रह को अनपैक करने पर, सॉफ़्टवेयर संपीड़न प्रक्रिया के दौरान हटा दी गई किसी भी फ़ाइल को वापस रख देगा।
अब तक मैंने पाया है:
किसी को भी किसी भी अन्य के बारे में पता?
यह शायद 7-ज़िप के लिए एक बढ़िया अतिरिक्त होगा।
जवाबों:
लगभग सभी आधुनिक आर्काइव वास्तव में ऐसा करते हैं, एकमात्र अंतर यह है कि वे इसे "ठोस" संग्रह के रूप में संदर्भित करते हैं, जैसा कि सभी फाइलों में संपीड़न एल्गोरिदम को खिलाए जाने से पहले एक एकल स्ट्रीम में समाप्त किया जाता है। यह मानक ज़िप संपीड़न से अलग है जो प्रत्येक फ़ाइल को एक-एक करके संपीड़ित करता है और प्रत्येक संपीड़ित फ़ाइल को संग्रह में जोड़ता है।
7-ज़िप अपने स्वभाव से प्रभावी ढंग से डी-डुप्लीकेशन को प्राप्त करता है। उदाहरण के लिए 7-ज़िप फाइलों की खोज करेगा, उन्हें समान फ़ाइल प्रकारों और फ़ाइल नामों से सॉर्ट करेगा और इसलिए एक ही प्रकार और डेटा की दो फ़ाइलों को कंप्रेसर एल्गोरिदम पर जाने वाली धारा में कंधे से कंधा मिलाकर रखा जाएगा। कंप्रेसर तब बहुत सारे डेटा को देखेगा जो उसने हाल ही में देखा है और उन दो फ़ाइलों को एक-एक करके फ़ाइलों को संपीड़ित करने की तुलना में संपीड़न दक्षता में बड़ी वृद्धि दिखाई देगी।
लिनक्स ने अपने ".tgz" प्रारूप (या ".tar.gz" के प्रचलन के माध्यम से लंबे समय तक एक समान व्यवहार देखा है) इसका पूर्ण रूप से उपयोग करना है क्योंकि टार बस सभी फ़ाइलों को एक ही स्ट्रीम में विलय कर रहा है (यद्यपि इसके बिना छँटाई और फ़ाइलों का समूह) और फिर gzip के साथ संपीड़ित करना। यह क्या याद आती है कि 7-ज़िप है जो छँटाई कर रहा है, जो दक्षता को थोड़ा कम कर सकता है, लेकिन अभी भी बहुत बेहतर है कि बस जिस तरह से ज़िप करता है, उसमें बहुत सारे व्यक्तिगत रूप से संकुचित फ़ाइलों को एक साथ ब्लब करना है।
.tar.gzकेवल एक-दूसरे से पूरी तरह से स्वतंत्र रूप से एक समय में अपेक्षाकृत छोटे ब्लॉकों (जैसे 900KB) को संपीड़ित करने के साथ गज़िप नहीं होता है और इस तरह दो बड़ी लेकिन समान फ़ाइलों (जैसे, एक जोड़े 4 एमबी छवियों) को कम करने की क्षमता नहीं है?
कम्प्रेशन प्रक्रिया के साथ डिडुप्लीकेशन का उपयोग करने का कोई मतलब नहीं है। अधिकांश संपीड़न एल्गोरिदम एक 'डिक्शनरी' कहते हैं जो डेटा के सबसे आम या पुन: उपयोग किए जाने वाले बिट्स के लिए दिखेगा। वहाँ से यह केवल फिर से पूरे "शब्द" लिखने के बजाय शब्दकोष प्रविष्टि का संदर्भ देगा। इस तरह से अधिकांश कंप्रेशन प्रक्रियाएं पहले से ही सभी फाइलों से अनावश्यक या डुप्लिकेट डेटा को काट देती हैं।
उदाहरण के लिए यदि आप 1 एमबी की फ़ाइल लेते हैं और इसे हर बार एक अलग नाम से 100 बार कॉपी करते हैं (कुल 100 एमबी डिस्क स्थान), तो आप इसे 7zip या ज़िप फ़ाइल में संपीड़ित करते हैं, आपके पास 1 MB कुल ज़िप फ़ाइल होगी। ऐसा इसलिए है क्योंकि आपके सभी डेटा को एक शब्दकोश प्रविष्टि में डाल दिया गया था और 100 बार संदर्भित किया गया था, जो बहुत कम जगह लेता है।
यह क्या होता है की एक बहुत ही सरल व्याख्या है, लेकिन बिंदु अभी भी अच्छी तरह से अवगत कराया गया है।
7-ज़िप, ज़िप, गज़िप और अन्य सभी अभिलेखागार समान क्षेत्रों का पता नहीं लगाते हैं जो प्रत्येक अभिजन से बहुत दूर हैं, जैसे कि बस कुछ मेगाबाइट्स या ऊपर, एक ही फ़ाइल के अंदर या अलग-अलग फ़ाइलों के अंदर अलग-अलग पदों पर रखे गए।
तो नहीं, कुछ अभिलेखों में सामान्य धनुर्धरों के साथ-साथ निर्वासन और दूसरों का भी प्रदर्शन नहीं किया जाता है। आप इसे देख सकते हैं यदि आप कुछ आभासी मशीनों या अन्य सामान को संपीड़ित करते हैं।