बैश में समानांतर में कर्ल अनुरोधों को निष्पादित करें

Question

बैश स्क्रिप्ट से 5 curlअनुरोधों को निष्पादित करने का सबसे अच्छा तरीका क्या है parallel? मैं प्रदर्शन कारणों से उन्हें धारावाहिक में नहीं चला सकता।

Comments

क्या आपने अपने समाधान के कुछ हिस्सों को खोजने की कोशिश की है? एक और SF प्रश्न ठीक वही लगता है जो आप पूछ रहे हैं: serverfault.com/questions/248143/…

— Theuni

stackoverflow.com/questions/8634109/…

— Ciro Santilli 改造 .com/ est est 六四 六四

Answer 1

एक प्रक्रिया की पृष्ठभूमि के लिए एक आदेश के बाद 'और' का उपयोग करें, और उनके समाप्त होने के लिए प्रतीक्षा करने के लिए 'प्रतीक्षा करें'। यदि आपको उप-शेल बनाने की आवश्यकता है, तो कमांड के चारों ओर '()' का उपयोग करें।

#!/bin/bash

curl -s -o foo http://example.com/file1 && echo "done1" &
curl -s -o bar http://example.com/file2 && echo "done2" & 
curl -s -o baz http://example.com/file3 && echo "done3" &

wait

Comments

पहले कदम के लिए सरल, लेकिन प्रभावी। जब चीजें बदलने की आवश्यकता होती है, तो जल्दी से हैक हो जाता है, जैसे होस्टनाम या पुनरावृत्ति की संख्या। धन्यवाद।

— क्रिस

Answer 2

समानांतर में प्रक्रियाओं को चलाने के लिए xargs का "-P" पैरामीटर है। उदाहरण के लिए:

wget -nv http://en.wikipedia.org/wiki/Linux -O- | egrep -o "http://[^[:space:]]*.jpg" | xargs -P 10 -r -n 1 wget -nv

संदर्भ: http://www.commandlinefu.com/commands/view/3269/parallel-file-downloading-wat-wget

Answer 3

मैं इस तरह के कार्यों के लिए ग्नू समानांतर का उपयोग करता हूं ।

Comments

क्या आप कॉल curlकरने के लिए एक उदाहरण प्रदान कर सकते हैं gnu parallel?

— m13r

हां, समानांतर बहुत अच्छा लगता है और एक ही अनुरोध को 100 बार भेजना आसान है। लेकिन 100 अलग-अलग कर्ल अनुरोध भेजने के साथ समानांतर का उपयोग करने के तरीके पर एक उदाहरण इस उत्तर को बेहतर बना देगा।

— рüффп

उदाहरण के लिए: gist.github.com/CMCDragonkai/5914e02df62137e47f32

— दर्पण

Answer 4

यहाँ एक curlउदाहरण है xargs:

$ cat URLS.txt | xargs -P 10 -n 1 curl

उपरोक्त उदाहरण को curlएक समय में 10 के समानांतर, प्रत्येक URL में होना चाहिए । ऐसा -n 1है कि xargsकेवल निष्पादन के लिए URLS.txtफ़ाइल से 1 पंक्ति का उपयोग करता है curl।

प्रत्येक xargs पैरामीटर क्या करते हैं:

$ man xargs

-P maxprocs
             Parallel mode: run at most maxprocs invocations of utility at once.
-n number
             Set the maximum number of arguments taken from standard input for 
             each invocation of utility.  An invocation of utility will use less 
             than number standard input arguments if the number of bytes 
             accumulated (see the -s option) exceeds the specified size or there 
             are fewer than number arguments remaining for the last invocation of 
             utility.  The current default value for number is 5000.