मैं उबंटू के लिए एक वेब स्पाइडर की तलाश कर रहा हूं जैसे यह एक वेबरीपर - कैलुना सॉफ्टवेयर । आप पूरी साइट डाउनलोड कर सकते हैं जैसे आप कर सकते हैं
wget -r -m example.com
लेकिन जिस सुविधा की मुझे तलाश है वह यह है कि आप "लिनक्स" जैसे खोज शब्द को इनपुट कर सकते हैं और यह वेब खोज करता है और उन्हें डाउनलोड करता है। क्या उबंटू में इस तरह का कोई कार्यक्रम है?
जवाबों:
आप फ़ीड में दिए गए खोज पृष्ठ को बनाने के लिए Google अलर्ट का उपयोग कर सकते हैं और फिर उन्हें पढ़ने के लिए RSS रीडर या थंडरबर्ड का उपयोग कर सकते हैं।
मैं आरएसएस के लिए थंडरबर्ड का उपयोग करता हूं। मुझे नहीं पता कि क्या कोई RSS पाठक हैं जो सरल html को फ़ीड निर्यात कर सकते हैं।
नॉट्रैक (सीएलआई) या वेबहट्रैक (वेब इंटरफेस) को एक शॉट दें, यह ब्रह्मांड रेपो में है। मैं आपके द्वारा वर्णित खोज-अवधि-सुविधा के बारे में निश्चित नहीं हूं, लेकिन यह आसानी से कॉन्फ़िगर करने योग्य विकल्पों का एक गुच्छा प्रदान करता है।
http://packages.ubuntu.com/de/oneiric/webhttrack
HTTrack वेबसाइट कॉपियर - मुफ्त सॉफ्टवेयर ऑफ़लाइन ब्राउज़र (GNU GPL)
आप http रिपर को आजमा सकते हैं।
यहाँ कुछ विशेषताएं वेबसाइट पर पोस्ट की गई हैं:
Free Software (GPL 3) Generic (works with almost every website) Runs on GNU/Linux and Windows Nearly undetectable / blockable by servers Built with python and pygtk
स्क्रीन शॉट
Httpripper के डेवलपर से एक ट्यूटोरियल देखें:
डाउनलोड लिंक:
इसने मेरे लिए Ubuntu 11.10 x64 के तहत काम किया
पर्ल के CPAN में पर्याप्त मॉड्यूल हैं। आपको बस पर्ल स्क्रिप्टिंग की थोड़ी जरूरत है।
विशेष रूप से, WWW पर एक नज़र डालें: WWW पर मैकेनाइज मॉड्यूल: मैकेनाइज मॉड्यूल ।