एक साथ कई scp थ्रेड चलाना:
पृष्ठभूमि:
मैं अक्सर अपने आप को सर्वर फ़ाइलों के एक सेट को बहुत प्रतिबिंबित कर रहा हूं, और इन सर्वर फ़ाइलों में शामिल हजारों छोटी 1kb-3kb फाइलें हैं। सभी सर्वर 1 जीबीपीएस पोर्ट से जुड़े होते हैं, जो आमतौर पर विभिन्न डेटा-सेंटरों में फैलते हैं।
मुसीबत:
एससीपी इन छोटी फाइलों को एक-एक करके स्थानांतरित करता है, और इसमें उम्र लगती है, और मुझे लगता है कि मेरे पास मौजूद खूबसूरत नेटवर्क संसाधनों को बर्बाद कर रहा हूं।
समाधान?:
मेरे पास एक विचार था; एक स्क्रिप्ट बनाना, जो फाइलों को समान मात्रा में विभाजित करता है, और 5-6 स्कैप थ्रेड शुरू करता है, जो सैद्धांतिक रूप से 5-6 गुना तेजी से हो जाएगा, नहीं? लेकिन मेरे पास कोई लिनक्स स्क्रिप्टिंग का अनुभव नहीं है!
प्रशन):
- क्या उल्लेखित समस्या का बेहतर समाधान है?
- क्या ऐसा कुछ है जो पहले से मौजूद है?
- यदि नहीं, तो क्या कोई है जो मुझे एक शुरुआत देगा, या मेरी मदद करेगा?
- यदि 2, या 3 नहीं है, तो लिनक्स स्क्रिप्टिंग सीखने की तलाश शुरू करने के लिए एक अच्छी जगह कहां होगी? बैश की तरह, या अन्य।
दो सर्वरों के बीच बड़ी संख्या में फ़ाइलों को जल्दी से कॉपी करने के लिए
—
स्कॉट पैक