एक ही समय में एससीपी और सेक, कोई मध्यवर्ती बचत नहीं


63

विहित तरीका क्या है:

  • scp एक दूरस्थ स्थान पर एक फ़ाइल
  • फ़ाइल को ट्रांज़िट में संपीड़ित करें ( tarया नहीं, एकल फ़ाइल या संपूर्ण फ़ोल्डर, 7zaया कुछ और भी अधिक कुशल)
  • मध्यवर्ती फ़ाइलों को सहेजे बिना ऊपर करें

मैं इस तरह से शेल पाइप से परिचित हूं:

tar cf - MyBackups | 7za a -si -mx=9 -ms=on MyBackups.tar.7z

अनिवार्य रूप से:

  • एक एकल में एक पूरे फ़ोल्डर रोलिंग tar
  • कंप्रेसिंग प्रोग्राम के माध्यम stdoutसे डेटा पास करेंstdin
  • आक्रामक संपीड़न लागू करें

sshदूरस्थ फ़ाइल सिस्टम पर फ़ाइल लैंडिंग के साथ एक लिंक पर ऐसा करने का सबसे अच्छा तरीका क्या है ?


मैं sshfsमाउंट नहीं करना पसंद करता हूं ।


यह काम नहीं करता:

scp <(tar cvf - MyBackups | 7za a -si -mx=9 -so) localhost:/tmp/tmp.tar.7z

चूंकि:

/dev/fd/63: not a regular file

जवाबों:


102

कई तरीके हैं जो आप चाहते हैं। सबसे आसान एक pìpe का उपयोग करना है:

tar zcvf -  MyBackups | ssh user@server "cat > /path/to/backup/foo.tgz"

यहाँ, संपीड़न को tarकॉल gzip( zध्वज) द्वारा नियंत्रित किया जा रहा है । आप compress( Z) और bzip( j) का भी उपयोग कर सकते हैं । इसके लिए 7z, यह करें:

tar cf - MyBackups | 7za a -si -mx=9 -ms=on MyBackups.tar.7z | 
   ssh user@server "cat > /path/to/backup/foo.7z"

सबसे अच्छा तरीका है, हालांकि, शायद है rsync

   Rsync is a fast and extraordinarily versatile  file  copying  tool.   It  can  copy
   locally, to/from another host over any remote shell, or to/from a remote rsync dae‐
   mon.  It offers a large number of options that control every aspect of its behavior
   and  permit  very  flexible  specification of the set of files to be copied.  It is
   famous for its delta-transfer algorithm, which reduces the amount of data sent over
   the network by sending only the differences between the source files and the exist‐
   ing files in the destination.  Rsync is widely used for backups and  mirroring  and
   as an improved copy command for everyday use.

rsyncहै जिस तरह से भी कई विकल्प हैं। यह वास्तव में उनके माध्यम से पढ़ने लायक है लेकिन वे पहली नजर में डरावने हैं। हालांकि आप इस संदर्भ में इसकी परवाह करते हैं:

    -z, --compress              compress file data during the transfer
        --compress-level=NUM    explicitly set compression level

   -z, --compress
          With this option, rsync compresses the file data as it is sent to the desti‐
          nation machine, which reduces the amount of data being transmitted --  
          something that is useful over a slow connection.

          Note  that this option typically achieves better compression ratios than can
          be achieved by using a compressing remote shell or a  compressing  transport
          because  it takes advantage of the implicit information in the matching data
          blocks that are not explicitly sent over the connection.

तो, आपके मामले में, आप कुछ इस तरह चाहते हैं:

rsync -z MyBackups user@server:/path/to/backup/

फ़ाइलों को संप्रेषित करते समय संपीड़ित किया जाएगा और गंतव्य पर विघटित हो जाएगा।


कुछ और विकल्प:

  • scp खुद ही डेटा को कंप्रेस कर सकता है

     -C      Compression enable.  Passes the -C flag to ssh(1) to
             enable compression.
    
    $ scp -C source user@server:/path/to/backup
    
  • हो सकता है कि अच्छा पाने rsyncऔर 7zaखेलने का एक तरीका हो लेकिन ऐसा करने का कोई मतलब नहीं है। इसका लाभ rsyncयह है कि यह केवल उन बिट्स की नकल करेगा जो स्थानीय और दूरस्थ फ़ाइलों के बीच बदल गए हैं। हालाँकि, एक छोटे से स्थानीय परिवर्तन का परिणाम बहुत अलग संपीड़ित फ़ाइल हो सकता है, इसलिए इसका उपयोग करने का कोई मतलब नहीं है rsync। यह सिर्फ लाभ के साथ मामलों को जटिल करता है। sshजैसा कि ऊपर दिखाया गया है वैसे ही डायरेक्ट इस्तेमाल करें । यदि आप वास्तव में ऐसा करना चाहते हैं, तो आप एक तर्क के रूप में एक उपधारा देकर कोशिश कर सकते हैं rsync। मेरे सिस्टम पर, मुझे यह काम करने के लिए नहीं मिला 7zaक्योंकि यह आपको एक टर्मिनल पर संपीड़ित डेटा लिखने की अनुमति नहीं देता है। शायद आपका कार्यान्वयन अलग है। ऐसा कुछ करने की कोशिश करें ( यह मेरे लिए काम नहीं करता है ):

    rsync $(tar cf - MyBackups | 7za a -an -txz -si -so) \
      user@server:/path/to/backup
    
  • एक अन्य बिंदु यह है कि 7z लिनक्स पर बैकअप के लिए उपयोग नहीं किया जाना चाहिए । जैसा कि 7zमैन पेज पर कहा गया है :

    लिनक्स / यूनिक्स पर बैकअप उद्देश्य के लिए 7-ज़िप प्रारूप का उपयोग न करें क्योंकि:
    - 7-ज़िप फ़ाइल के स्वामी / समूह को संग्रहीत नहीं करता है।


3
जोड़ने के लिए एक अच्छा नोट यह है कि जब तक आप आम तौर पर धीमी गति से नेटवर्क पर स्थानांतरित नहीं कर रहे हैं, इंटरनेट का कहना है, यह संपीड़ित से बचने के लिए सबसे अच्छा है क्योंकि यह स्थानांतरण दर को धीमा कर देता है। LAN पर, -zकम से कम दो बार धीमा है। Ssh पर rsyncing से भी अधिक गति के लिए, -Wझंडा का उपयोग करके rsync डेमॉन और rsync की स्थापना करें (प्रतियां पूरी (w / o डेल्टा-xfer एल्गोरिथ्म फ़ाइलें)।
laebshade

2
धन्यवाद! मैं इस महान जवाब को स्वीकार करने जा रहा हूं, लेकिन कृपया, एक पूर्ण, स्टैंड-अलोन कमांड लाइन जो दोनों का उपयोग करता है rsync और 7za अंतिम फाइल सिस्टम के लिए अंतिम आउटपुट के साथ जोड़ें। मुझे पसंद आया -zलेकिन मैं सम्पीडन चरण को कम करना चाहूंगा .. तो rsyncउस स्थिति में मैं कैसे उपयोग करूंगा ?
रॉबटीनोसिनो

2
@Robottinosino अपडेटेड उत्तर देखें। के rsyncसाथ प्रयोग करने का कोई मतलब नहीं है 7z। इसे rsync और एक उपखंड के साथ काम करना चाहिए जैसा कि दिखाया गया है लेकिन मैं यह पता नहीं लगा सका कि कैसे।
terdon

4
के लिए +1 scp -C। दूरस्थ डिस्क पर संपीड़ित फ़ाइल रखने के लिए पर्याप्त जगह नहीं थी, इसलिए मैं स्थानांतरण से पहले संपीड़ित नहीं कर सका। एक छोटी कमांड लाइन विकल्प ने मेरी समस्या को दूर कर दिया।
user37931

1
@knutole बस फ़ाइल को पहले ज़िप करें, फिर उसे rsync करें। यदि आपको अधिक विवरण की आवश्यकता है, तो कृपया एक नया प्रश्न पूछें।
terdon

13

मुझे लगता है कि यह कमांड ट्रिक करेगा

ssh user@host "cd /path/to/data/;tar zc directory_name" | tar zx 

संपादित करें: पहले वाला संस्करण दो गलत "एफ" विकल्पों के साथ था।

अब, सबसे पहले आपको टारगेट होस्ट से इस कमांड को निष्पादित करना है। और विवरण की व्याख्या करने के लिए:

  1. ssh user @ होस्ट होस्ट मशीन से कनेक्शन खोलेगा, जहां से डेटा ट्रांसफर किया जाना है।
  2. cd / path / to / data उस डायरेक्टरी में ले जाएगा जहाँ आवश्यक डेटा स्टोर किया जाता है
  3. tar zc * संपीड़न आरंभ करेगा और इसे STDOUT में रखेगा
  4. अब पाइप (!) स्रोत के STDOUT को उस गंतव्य के STDIN तक पाइपलाइन करेगा जहां "tar zx" चल रहा है और स्रोत से लगातार विघटन डेटा स्ट्रीम आ रहा है।

जैसा कि आप देख सकते हैं कि यह कमांड-ऑन-द-फ्लाई संपीड़ित करता है और बैंडविड्थ बचाता है। आप बेहतर परिणाम के लिए अन्य कंप्रेशन्स का उपयोग कर सकते हैं, लेकिन याद रखें, संपीड़न और विघटन के लिए सीपीयू चक्र की आवश्यकता होती है।

संदर्भ


tar: पुराने विकल्प 'f' के लिए एक तर्क की आवश्यकता है।
दिमित्री कोपरिवा

7

Dkbhadeshiya के उत्तर के लिए छोटा सुधार : आपको ऐसा करने की आवश्यकता नहीं है cd dir, बस tarइसके बजाय कार्यशील निर्देशिका निर्दिष्ट करें :

ssh user@host "tar -C /path/to/data/ -zc directory_name" | tar zx 

आप इसी तरह डायरेक्टरी भी अपलोड कर सकते हैं:

tar zc directory_name/ | ssh user@host "tar zx -C /new/path/to/data/"
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.