फ़ाइल सर्वर से फ़ाइलों की सूची कैसे डाउनलोड करें?

Question

मैं इस तरह से एक फ़ाइल सर्वर से फ़ाइलों की एक सूची कैसे डाउनलोड करूंगा http://www.apache.org/dist/httpd/binaries/ ?

मुझे लगता है कि मैं wget का उपयोग कर सकता हूं, लेकिन फिर यह सभी लिंक और HTML फ़ाइल भी प्राप्त करने की कोशिश करता है। क्या इसे पूरा करने के लिए एक बेहतर उपकरण है?

Comments

बस अपने प्रश्न को स्पष्ट करने के लिए: आप बस उन फाइलों की सूची चाहते हैं, जिन्हें सर्वर से डाउनलोड किया जा सकता है, न कि फाइलों को (अभी तक)?

— अकीरा

किस तरह से 'wget --no-verbose --spider --no-directory --recursive --level = 2 apache.org/dist/httpd/binaries ' जैसी कमांड आपके लिए काम नहीं कर रही है? यदि आप और अधिक विशिष्ट हो सकते हैं जो मदद कर सकता है

— डेवपैरिलो

Answer 1

आप यह बता सकते हैं कि wgetपृष्ठों को क्रॉल करते समय कौन से फ़ाइल एक्सटेंशन डाउनलोड होंगे:

wget -r -A zip,rpm,tar.gz www.site.com/startpage.html

इस के साथ एक पुनरावर्ती खोज और केवल डाउनलोड फ़ाइलों प्रदर्शन करेंगे .zip, .rpmऔर .tar.gzएक्सटेंशन।

Answer 2

आप वास्तव में सिर्फ उन्हें (अभी तक) लाने के बिना सर्वर पर फ़ाइलों की एक सूची चाहते हैं:

%> wget -r -np --spider http://www.apache.org/dist/httpd/binaries/ 2> & 1 | awk -f filter.awk | uniq

जबकि 'filter.awk' ऐसा दिखता है

/^--.*-- http: \ / \ /.* [^ \ /] $ / {u = $ 3; }
/ ^ लंबाई: [[: अंक:]] + / {प्रिंट यू; }

फिर आपको संभवतः कुछ प्रविष्टियों को फ़िल्टर करना होगा

"http://www.apache.org/dist/httpd/binaries/?C=N;O=D"

Answer 3

रेफरी: http://blog.incognitech.in/download-files-from-apache-server-listing-directory/

आप निम्न आदेश का उपयोग कर सकते हैं:

wget --execute="robots = off" --mirror --convert-links --no-parent --wait=5 <website-url>

प्रत्येक विकल्प के साथ स्पष्टीकरण

• wget: CURL अनुरोध करने के लिए सरल कमांड और हमारे स्थानीय मशीन में रिमोट फाइल डाउनलोड करें।
• --execute="robots = off": यह पृष्ठों के माध्यम से क्रॉल करते समय robots.txt फ़ाइल को अनदेखा करेगा। यदि आप सभी फ़ाइलों को प्राप्त नहीं कर रहे हैं तो यह उपयोगी है।
• --mirror: यह विकल्प मूल रूप से दिए गए URL के लिए निर्देशिका संरचना को प्रतिबिंबित करेगा। यह एक शॉर्टकट है -N -r -l inf --no-remove-listingजिसका मतलब है:
  • -N: जब तक स्थानीय से नया नहीं होता है तब तक फ़ाइलों को पुनः प्राप्त न करें
  • -r: पुनरावर्ती डाउनलोड निर्दिष्ट करें
  • -l infअधिकतम पुनरावृत्ति गहराई (अनंत के लिए inf या 0)
  • --no-remove-listing: '.listing' फ़ाइलों को न निकालें
• --convert-links: डाउनलोड किए गए HTML या CSS बिंदुओं को स्थानीय फ़ाइलों में लिंक करें
• --no-parent: मूल निर्देशिका पर चढ़ना नहीं है
• --wait=5: पुनः प्राप्ति के बीच 5 सेकंड प्रतीक्षा करें। ताकि हम सर्वर को थ्रैश न करें।
• <website-url>: यह फाइल डाउनलोड करने के लिए वेबसाइट यूआरएल है।

हैप्पी डाउनलोडिंग: स्माइली: