internet-archive पर टैग किए गए जवाब

क्या किसी साइट पर इंटरनेट आर्काइव अभिलेखागार को नियंत्रित करने के लिए कोई तंत्र हैं? मैं उन सभी पृष्ठों को अस्वीकार करना जानता हूं जिन्हें मैं जोड़ सकता था : User-agent: ia_archiver Disallow: / क्या मैं बॉट को बता सकता हूं कि मैं चाहता हूं कि वे महीने में एक …

13 cache  internet-archive 

मेरे पास एक वेबसाइट है जिसे मैं ज्यादातर सर्च इंजनों द्वारा अनुक्रमित नहीं करना चाहता, लेकिन मैं इसे आर्काइव डॉट ओआरजी पर अनंत काल के लिए संरक्षित करना चाहता हूं। तो मेरी robots.txtशुरुआत इसके साथ होती है: User-agent: * Disallow: / आज, आर्कियो.ऑर्ग के अनुसार मुझे robots.txtअपने बॉट की अनुमति …

10 web-crawlers  robots.txt  internet-archive