मैं पूरी वेबसाइट कैसे डाउनलोड कर सकता हूं?

81

मैं एक पूरी वेबसाइट (उप-साइटों के साथ) डाउनलोड करना चाहता हूं। क्या उसके लिए कोई उपकरण है?

software-recommendation

— UAdapter
स्रोत

1

वास्तव में आप क्या हासिल करने की कोशिश कर रहे हैं? शीर्षक और आपके प्रश्न की सामग्री संबंधित नहीं है, और सामग्री विशिष्ट नहीं है।

— रोलैंडएक्सॉर

एनबी, केवल निम्नलिखित लिंक (उदाहरण के लिए, --convert-linkswget में उपयोग ) उन साइटों को प्रकट नहीं करेंगे जो केवल अन्य चीजों के बीच एक फॉर्म सबमिट करके प्रकट होते हैं।

— स्टीवन

140

यहाँ से 10 उदाहरण का प्रयास करें :

wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL

–mirror : मिररिंग के लिए उपयुक्त विकल्पों को चालू करें।
-p : दिए गए HTML पृष्ठ को ठीक से प्रदर्शित करने के लिए आवश्यक सभी फाइलें डाउनलोड करें।
--convert-links : डाउनलोड के बाद, स्थानीय देखने के लिए दस्तावेज़ में लिंक परिवर्तित करें।
-P ./LOCAL-DIR : निर्दिष्ट निर्देशिका के लिए सभी फ़ाइलों और निर्देशिकाओं को बचाएं।

— shellholic
स्रोत

क्या केवल कुछ पृष्ठों को डाउनलोड करने का कोई तरीका है (उदाहरण के लिए, लेखों के कई हिस्से जो कई HTML दस्तावेजों में फैले हैं)?

— don.joey

@ मुख्य हां, हालांकि पृष्ठों को पाने के लिए (लेआउट / यूआरएल के आधार पर) अजगर या किसी चीज का उपयोग करना आसान है। यदि पृष्ठों की url लगातार बढ़ती संख्या से भिन्न होती है या आपके पास पृष्ठों की सूची होती है, तो आप संभवतः bash स्क्रिप्ट में wget का उपयोग कर सकते हैं।

— 22

2

--wait=secondsयदि आप साइट के लिए अधिक अनुकूल होना चाहते हैं तो आप तर्क का उपयोग करने पर विचार कर सकते हैं; यह पुनर्प्राप्ति के बीच निर्दिष्ट सेकंड की प्रतीक्षा करेगा।

— बेलाक्वा

उपरोक्त काम करता है, लेकिन जूमला के लिए पैरामीटरयुक्त url ऐसी फाइलें बनाता है जो स्थानीय स्तर पर जुड़ी नहीं हैं। मेरे लिए काम करने वाला wget -m -k -k -K -E your.domain.com यहाँ से है: vaasa.hacklab.fi/2013/11/28/…

— M.Hefny

1

इसके अलावा --no-parentसे लिया "मूल निर्देशिका के लिए चढ़ना कभी नहीं" के लिए यहाँ ।

— डेनियल

38

क्रैक वह उपकरण है जिसे आप खोज रहे हैं।

HTTrack आपको इंटरनेट से एक स्थानीय निर्देशिका में वर्ल्ड वाइड वेब साइट डाउनलोड करने की अनुमति देता है, जो कि सभी निर्देशिकाओं का पुनरावर्ती निर्माण करता है, जिससे HTML, चित्र और सर्वर से अन्य फाइलें आपके कंप्यूटर पर मिलती हैं। HTTrack मूल साइट के सापेक्ष लिंक-संरचना की व्यवस्था करता है।

— सिड
स्रोत

7

साथ wgetआप किसी संपूर्ण वेबसाइट डाउनलोड कर सकते हैं, तो आप का उपयोग करना चाहिए -rएक के लिए स्विच पुनरावर्ती डाउनलोड। उदाहरण के लिए,

wget -r http://www.google.com

— आर्थर नॉपर
स्रोत

6

WEBHTTRACK WEBSITE COPIER ऑफलाइन ब्राउजिंग के लिए आपकी हार्ड डिस्क पर पूरी वेबसाइट डाउनलोड करने का एक आसान टूल है। Ubuntu सॉफ़्टवेयर केंद्र लॉन्च करें और खोज बॉक्स में उद्धरण के बिना "वेबहट्रैक वेबसाइट कॉपियर" टाइप करें। अपने सिस्टम पर सॉफ़्टवेयर केंद्र से इसे चुनें और डाउनलोड करें। वेबचैट को लॉचर या स्टार्ट मेन्यू में से शुरू करें, वहां से आप अपने शानदार डाउनलोड के लिए इस बेहतरीन टूल का आनंद लेना शुरू कर सकते हैं।

— frizeR
स्रोत

3

मुझे उप डोमेन के बारे में नहीं पता है, अर्थात, उप-साइटें, लेकिन पूरी साइट को हथियाने के लिए विग का उपयोग किया जा सकता है। इस सुपरसुअर प्रश्न पर एक नज़र डालें । यह कहता है कि आप -D domain1.com,domain2.comएक स्क्रिप्ट में विभिन्न डोमेन डाउनलोड करने के लिए उपयोग कर सकते हैं । मुझे लगता है कि आप उप-डोमेन को डाउनलोड करने के लिए उस विकल्प का उपयोग कर सकते हैं-D site1.somesite.com,site2.somesite.com

— binW
स्रोत

1

मैं बर्प का उपयोग करता हूं - मकड़ी का उपकरण, विग की तुलना में बहुत अधिक बुद्धिमान है, और यदि आवश्यक हो तो वर्गों से बचने के लिए कॉन्फ़िगर किया जा सकता है। बर्प सूट अपने आप में परीक्षण में सहायता के लिए उपकरणों का एक शक्तिशाली सेट है, लेकिन मकड़ी उपकरण बहुत प्रभावी है।

— रोरी अलसॉप
स्रोत

1

केवल बर्प विंडोज नहीं है? बर्प के लिए बंद स्रोत लाइसेंस समझौता भी काफी भारी है। मूल्य का उल्लेख नहीं करने के लिए $ 299.00:

— कैट एम्स्टर्डम

लाइसेंस से: चेतावनी: BURP SUITE मुफ़्त संस्करण सुरक्षा फ्लैट्स के लिए परीक्षण करने के लिए डिज़ाइन किया गया है और इसके लिए सिस्टम फ़ंक्शंस की आवश्यकता के अनुसार सिस्टम को पूरा करने में सक्षम हो सकता है। नॉन-स्टेंडर्ड वे में जो कि कुछ अलग-अलग टैरिफ में शामिल हो सकते हैं, के साथ इंटरेक्टिव फ्लाइट्स का परीक्षण करना, जिसमें गैर-मानक तरीके शामिल हैं। आप सॉफ़्टवेयर का उपयोग करना चाहते हैं, जब आप उपयोग करना चाहते हैं, तो आपको उपयोग किए जाने वाले सभी दस्तावेज़ों का उपयोग करना होगा, आप उपयोग किए जाने वाले सिस्टमों के उपयोग से पहले ही वापस कर देंगे और आप उपयोग किए जाने वाले सिस्टम या अन्य प्रणालियों का उपयोग नहीं करेंगे, जो डैमेज के जोखिम के लिए अन्य प्रणालियों का उपयोग नहीं करते हैं। ।

— कैट एम्स्टर्डम 18

यह क्या करता है के लिए, मूल्य टैग आश्चर्यजनक रूप से सस्ता है - मैं इसे सुरक्षा परीक्षण की एक विस्तृत श्रृंखला के लिए खरीदने की सलाह दूंगा। और इसे ठीक से परीक्षण करने के लिए कॉन्फ़िगर करना बहुत आसान है जैसा आप चाहते हैं - कुछ उदाहरणों में ऐपस्कैन से अधिक सुरक्षित :-)

— रोरी अलसोप

1

@KatAm एम्स्टर्डम विशेष रूप से संगतता प्रश्न के बारे में: विकिपीडिया के अनुसार , बर्प सूट एक जावा अनुप्रयोग है, इसलिए इसे उबंटू पर ठीक चलना चाहिए ।

— एलिया कगन

कैट - यह लिनक्स के विभिन्न स्वादों पर ठीक चलता है। लाइसेंस पर चेतावनी किसी भी उपकरण के समान है जिसे आप सुरक्षा आकलन के लिए उपयोग कर सकते हैं।

— रोर अलसॉप

1

आप संपूर्ण वेबसाइट कमांड डाउनलोड कर सकते हैं:

wget -r -l 0 website

उदाहरण :

wget -r -l 0 http://google.com

— हरीश कोटिकापुडी
स्रोत

क्या आप बता सकते हैं कि यह कमांड कैसे काम करता है? यह क्या करता है?

— काज वोल्फ

0

यदि गति एक चिंता है (और सर्वर की भलाई नहीं है), तो आप puf की कोशिश कर सकते हैं , जो कि wget की तरह काम करता है लेकिन समानांतर में कई पृष्ठों को डाउनलोड कर सकता है। यह, हालांकि, एक तैयार उत्पाद नहीं है, बनाए रखा नहीं है और बहुत ही अनिर्दिष्ट है। फिर भी, बहुत सारी और बहुत सी छोटी फाइलों के साथ एक वेब साइट डाउनलोड करने के लिए, यह एक अच्छा विकल्प हो सकता है।

— loevborg
स्रोत