मैं लिनक्स के तहत दो पहचान आकार की फाइलों पर एक द्विआधारी अंतर कैसे कर सकता हूं?

Question

मेरे पास दो पहचान आकार की फाइलें हैं, और मुझे यह जाँचने के लिए एक द्विआधारी भिन्न करने की आवश्यकता है कि क्या वे समान हैं।

मैं फिलहाल रननिग कर रहा हूं, diff file1.img file2.imgलेकिन मेरी 4 जीबी फाइलों को प्रोसेस करने में काफी समय लग रहा है। क्या ऐसा करने का यह सबसे कुशल तरीका है?

Answer 1

cmpद्विआधारी फ़ाइलों में अंतर खोजने के लिए डिज़ाइन किया गया है। आप चेकसममिंग ( sum) की भी कोशिश कर सकते हैं और हैश की तुलना कर सकते हैं।

Answer 2

यह निर्धारित करने के सबसे सामान्य तरीकों में से एक है कि यदि दो फाइलें समान हैं (उनके आकार मैच का मान लें ) एक फ़ाइल का " हैश " (अनिवार्य रूप से एक फिंगरप्रिंट) बनाने के लिए एक प्रोग्राम का उपयोग कर रहा है । सबसे आम हैं md5sumऔर sha1sum।

उदाहरण के लिए:

$ md5sum file1 file2
e0e7485b678a538c2815132de7f9e878  file1
4a14aace18d472709ccae3910af55955  file2

आप कई फाइलों है कि आप की जाँच करने के, उदाहरण के लिए की जरूरत है अगर आप एक से दूसरे सिस्टम से एक निर्देशिका फ़ाइलों का पूरा स्थानांतरित कर रहे हैं है, तो आप एक फाइल करने के लिए मूल प्रणाली से उत्पादन अनुप्रेषित कर सकते हैं, तो md5sum/ sha1sumस्वचालित रूप से उस फ़ाइल का उपयोग कर सकते हैं बताने के लिए आप कौन सी फाइलें अलग हैं:

$ md5sum file1 file2 > MD5SUMS
... copy file1, file2, MD5SUMS across
$ md5sum --check MD5SUMS
file1: OK
file2: OK

Comments

MD5 हमेशा इसके लिए विश्वसनीय नहीं है: digg.com/security/…

— जॉन केज

वास्तव में, MD5 है बुनियादी अखंडता जांच के लिए विश्वसनीय। जैसा कि हमने सोचा था कि यह अभी क्रिप्टोग्राफिक रूप से मजबूत नहीं माना जाता है। यदि आप हैकर्स के बारे में चिंतित हैं, तो एमडी 5 का उपयोग न करें, लेकिन यदि आप बस यह जानना चाहते हैं कि क्या सीडी से कॉपी की गई कुछ फाइलें दूषित हो गई हैं, या यदि आपका कंपाइलर हर बार समान फाइलों से बाहर निकलता है, तो एमडी 5 पर्याप्त से अधिक है।

— एडम बाटकिन

Answer 3

एक समाधान मिला - सीएमपी उपकरण जो अधिकांश लिनक्स जायके के साथ आता है।

Answer 4

अगर मैं सिर्फ यह जानना चाहता हूं कि क्या वे समान हैं, तो मैं sha1sum का उपयोग करना पसंद करता हूं यदि यह उपलब्ध है, या एक गिरावट के रूप में md5 है ।

अगर मैं जानना चाहता हूं कि वे कितने अलग हैं, या जहां वे अलग हैं, तो एक चीज जो काम करती है, उन दोनों को ओआरडी ('ऑक्टल डंप', जो आमतौर पर हेक्स विकल्प होता है) के माध्यम से क्रैंक करना है ताकि अस्थायी फाइलें बनाई जा सकें और फिर उन्हें अलग किया जा सके।

Comments

यदि आप यह जानना चाहते हैं कि क्या वे दो फाइलें समान हैं, तो मुझे नहीं लगता कि sha1sum (या उस मामले के लिए md5sum) का उपयोग करना केवल भिन्नता से अधिक कुशल हो सकता है (जैसा कि यह मूल प्रश्न था), क्योंकि भले ही दोनों ( बड़ी) फ़ाइलें बहुत शुरुआत में भिन्न होती हैं), आप दोनों को अलग-अलग जानने से पहले पूरी तरह से पढ़ लेंगे।

— पियरे

@Pierre BUT, हैशिंग और क्रिप्टो-हस्ताक्षर दूरस्थ उपकरणों पर काम करता है।

— वास्यानोविकोव

Answer 5

मैंने सिर्फ 100+ एमबी फ़ाइल पर कुछ बेंचमार्क चलाए। सबसे तेज़ था, जबकि cmp दूसरे स्थान पर आया था, और md5sum का उपयोग करते हुए आखिरी में आया था।

# time diff file1 file2; echo $?

real    0m0.122s
user    0m0.009s
sys 0m0.113s
0
# time cmp file1 file2; echo $?

real    0m0.213s
user    0m0.097s
sys     0m0.117s
0
# time md5sum file1 > /tmp/test; time md5sum file2 > /tmp/test2; diff /tmp/test /tmp/test2; echo $?

real    0m0.279s
user    0m0.211s
sys     0m0.066s

real    0m0.316s
user    0m0.225s
sys     0m0.073s
0

मैं एक 4.3 जीबी फ़ाइल के साथ अभ्यास को फिर से चलाता हूं, और रैम को कैशिंग के बाद से फ़ाइल को हटाना और फिर से बनाना पड़ा क्योंकि परिणामों को बहुत प्रभावित कर रहा था।

$time diff file1 file2; echo $?

real    0m19.325s
user    0m0.995s
sys 0m5.280s
0

$time cmp file1 file2; echo $?

real    0m36.106s
user    0m4.399s
sys 0m6.147s
0

$time md5sum file1 > /tmp/test; time md5sum file2 > /tmp/test2; diff /tmp/test /tmp/test2; echo $?

real    0m10.441s
user    0m8.054s
sys 0m2.357s

real    0m24.682s
user    0m8.027s
sys 0m3.442s
0

इन परिणामों के आधार पर, मैं फ़ाइलों को RAMFS माउंट पर ले जाने की सलाह दूंगा, और अंतर के साथ चिपका रहूंगा।

Comments

मुझे पसंद है कि आपने वास्तव में एक बेंचमार्क किया था, लेकिन 100 एमबी ओपी के मामले के प्रतिनिधि नहीं हैं। 1,000Mb ज्यादा बेहतर होगा।

— jpaugh

सहमत है कि क्यों मैं कुछ महीनों बाद 4.3 गिग परीक्षण भाग गया। यह वास्तव में ओएस कैशिंग को बायपास करने का प्रयास किया।

— forbidder

मुझे लगता है कि यह करता है। मैं आपके उत्तर के बीच में पढ़ने को नहीं पढ़ने के लिए माफी माँगता हूँ। (मुझे अभी भी लगा कि यह अपग्रेड करने के लिए काफी अच्छा है, यहां तक ​​कि केवल पहले बेंचमार्क को देखकर।) FWIW, फ़ाइल कैशिंग को अक्षम करने के लिए कुछ कर्नेल जादू है । मुझे यह देखने के लिए स्वयं बेंचमार्क करना होगा कि वास्तव में कौन से कार्य हैं या आवश्यक हैं।

— jpaugh