large-files पर टैग किए गए जवाब

मान लें कि मेरे पास एक विशाल पाठ फ़ाइल है (> 2GB) और मैं बस catलाइनों Xको Y(जैसे 57890000 से 57890010) चाहता हूँ। मैं क्या समझ से मैं पाइप करके ऐसा कर सकते headमें tailया viceversa, यानी head -A /path/to/file | tail -B या वैकल्पिक रूप से tail -C /path/to/file …

132 tail  cat  large-files  head 

मेरे पास एक विशाल (70GB), एक पंक्ति , पाठ फ़ाइल है और मैं इसमें एक स्ट्रिंग (टोकन) को बदलना चाहता हूं। मैं टोकन को बदलना चाहता हूं <unk>, एक और डमी टोकन ( दस्ताने का मुद्दा )। मैंने कोशिश की sed: sed 's/<unk>/<raw_unk>/g' < corpus.txt > corpus.txt.new लेकिन आउटपुट फ़ाइल …

126 text-processing  sed  large-files 

मेरी एक विशाल (2 GiB तक) की टेक्स्ट फाइल में हर लाइन की लगभग 100 डुप्लिकेट डुप्लिकेट हैं (मेरे मामले में बेकार है, क्योंकि फाइल CSV जैसी डेटा टेबल है)। जबकि (अधिमानतः, लेकिन यह महत्वपूर्ण प्रदर्शन को बढ़ावा देने के लिए बलिदान किया जा सकता है) मूल अनुक्रम क्रम को …

126 files  text-processing  large-files 

मेरे पास काफी बड़ी फ़ाइल (35Gb) है, और मैं इस फ़ाइल को सीटू में फ़िल्टर करना चाहूंगा (अर्थात मेरे पास किसी अन्य फ़ाइल के लिए पर्याप्त डिस्क स्थान नहीं है), विशेष रूप से मैं कुछ पैटर्न को पकड़ना और अनदेखा करना चाहता हूं - क्या कोई तरीका है किसी अन्य …

54 text-processing  grep  large-files 

मेरे पास दो बड़ी फाइलें (6GB प्रत्येक) हैं। वे अनियंत्रित होते हैं, \nविभाजक के रूप में लाइनफीड ( ) के साथ। मैं उन्हें कैसे अलग कर सकता हूं? इसे 24 ह के तहत लेना चाहिए।

32 performance  diff  large-files 

मैंने इसे एससीपी के साथ आज़माया, लेकिन यह "नकारात्मक फ़ाइल आकार" कहता है। >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size एसएफटीपी का उपयोग करने की भी कोशिश की गई, तब तक ठीक काम किया जब तक कि 2 जीबी फ़ाइल स्थानांतरित नहीं हुई, फिर रुक गई: sftp> put matlab.iso Uploading …

27 scp  sftp  large-files 

मेरे पास 25GB टेक्स्ट फ़ाइल है जिसे केवल कुछ लाइनों पर प्रतिस्थापित स्ट्रिंग की आवश्यकता है। मैं sedसफलतापूर्वक उपयोग कर सकता हूं लेकिन इसे चलाने में वास्तव में लंबा समय लगता है। sed -i 's|old text|new text|g' gigantic_file.sql क्या ऐसा करने का कोई तेज़ तरीका है?

25 sed  replace  large-files 

मेरे पास एक ext4(चुंबकीय) हार्ड ड्राइव पर 900 जीबी का विभाजन है जिसमें कोई दोष नहीं है और कोई बुरा क्षेत्र नहीं है। विभाजन एक खाली lost+foundनिर्देशिका को छोड़कर पूरी तरह से खाली है । विभाजन को डिफ़ॉल्ट मापदंडों का उपयोग करके स्वरूपित किया गया था, सिवाय इसके कि मैंने …

19 filesystems  ext4  large-files 

मेरे पास लगभग 100000 छोटी फ़ाइलों के साथ एक निर्देशिका है (प्रत्येक फ़ाइल 1-3 लाइनों से है, प्रत्येक फ़ाइल एक पाठ फ़ाइल है)। आकार में निर्देशिका बहुत बड़ी नहीं है (<2GB)। यह डेटा पेशेवर रूप से प्रशासित NFS सर्वर में रहता है। सर्वर लिनक्स चलाता है। मुझे लगता है कि …

19 filesystems  large-files 

मेरे पास कुछ फ़ाइलें हैं> 1 GB प्रत्येक। मुझे फ़ाइलों से अंतिम कुछ बाइट्स निकालने की आवश्यकता है। मैं यह कैसे कर सकता हूं? मैं डिस्क स्थान को बचाने के लिए फ़ाइल को संपादित करना पसंद करता हूं। मैं एचपी-यूएक्स पर हूं।

18 files  editors  hp-ux  large-files 

वीडियो के रूप में बड़ी फ़ाइलों के साथ एक विभाजन के लिए एक फ़ाइल-सिस्टम बनाने के लिए -T लार्जफाइल ध्वज का उपयोग करना उपयोगी है , और flac प्रारूप में ऑडियो? मैंने उस झंडे के साथ और इसके बिना एक ही विभाजन का परीक्षण किया, और ट्यून 2 एफ-एल [विभाजन] …

17 filesystems  ext4  ext3  large-files  ext2 

इस अन्य प्रश्न के रूप में एक ही भावना में: बिल्ली एक बड़ी फाइल पर लाइन वाई के लिए एक्स लाइन : वहाँ खोलने के लिए एक रास्ता है Emacs के भीतर से (और एक बफर पर दिखाई देते हैं) लाइनों (जैसे लाइन के बीच सभी लाइनों की एक दिए …

10 emacs  large-files 

मेरे पास 250 एमबी टेक्स्ट फ़ाइल है, सभी एक पंक्ति में। इस फ़ाइल में मैं aवर्णों के साथ bवर्ण बदलना चाहता हूँ : sed -e "s/a/b/g" < one-line-250-mb.txt इसके साथ विफल रहता है: sed: couldn't re-allocate memory यह मुझे लगता है कि इस तरह के कार्य को बहुत अधिक मेमोरी …

10 text-processing  sed  performance  large-files  out-of-memory