मैं एक वेब साइट को मकड़ी * और डिस्क पर सामग्री डाउनलोड करने के लिए एक कार्यक्रम की तलाश कर रहा हूं। हालांकि मुझे निम्नलिखित आवश्यकताएं हैं जो उन कार्यक्रमों की यात्रा करने के लिए दिखाई देती हैं जो मैंने कोशिश की हैं:
- साइट की लॉगऑन प्रक्रिया कई पृष्ठों के बीच वितरित की जाती है, इसलिए मुझे अपने वेब ब्राउज़र के साथ मैन्युअल रूप से सत्र शुरू करने में सक्षम होना चाहिए, प्रमाणित करना चाहिए, फिर मकड़ी को लॉन्च करना और कुकीज़ तक पहुंच प्रदान करना चाहिए।
- कई लिंक जावास्क्रिप्ट को निष्पादित करते हैं और फिर सामग्री वापस करते हैं।
- कई लिंक पीडीएफ दस्तावेज़ों को वापस कर देते हैं (कुछ मकड़ियाँ इसका समर्थन करती हैं)।
अब तक मैं एक मकड़ी को खोजने में असमर्थ हूं जो # 1 और # 2 को संभाल सकती है।
* साइट एक बिल भुगतान सेवा है और इसमें मेरा बिल इतिहास है। मैं सेवा का उपयोग बंद करना चाहता हूं, लेकिन मैं इतिहास रखना चाहता हूं।