नोट : यह उत्तर तेजी से पुराना है।
इंटरनेट आर्काइव के वेब संग्रह में सबसे बड़ा योगदान एलेक्सा इंटरनेट का रहा है। एलेक्सा अपने उद्देश्यों के लिए क्रॉल करती सामग्री कुछ महीनों बाद आईए को दान कर दी गई है। प्रश्न में उल्लिखित अस्वीकरण नियम को जोड़ने से उन क्रॉलों पर कोई असर नहीं पड़ता है, लेकिन वेकबैक उन्हें 'सम्मानपूर्वक' सम्मान देगा (पहुँच से इनकार करते हुए, सामग्री अभी भी संग्रह में होगी - आपको एलेक्सा के रोबोट को बाहर करना चाहिए यदि आप वास्तव में अपनी सामग्री को बाहर रखना चाहते हैं इंटरनेट आर्काइव का)।
एलेक्सा के क्रॉल को प्रभावित करने के तरीके हो सकते हैं, लेकिन मैं इससे परिचित नहीं हूं।
चूंकि आईए ने अपना क्रॉलर (हेरिट्रिक्स) विकसित किया है, इसलिए उन्होंने अपने क्रॉल करना शुरू कर दिया है, लेकिन वे लक्षित क्रॉल करते हैं (वे लाइब्रेरी ऑफ कांग्रेस के लिए चुनाव क्रॉल करते हैं और फ्रांस और ऑस्ट्रेलिया आदि के लिए राष्ट्रीय क्रॉल करते हैं)। वे उस तरह के निरंतर विश्व स्तर पर संलग्न नहीं होते हैं जो Google और एलेक्सा आचरण करते हैं। IA का सबसे बड़ा क्रॉल 2 बिलियन पृष्ठों को क्रॉल करने वाला एक विशेष प्रोजेक्ट था।
चूंकि ये क्रॉल शेड्यूल पर संचालित होते हैं, जो प्रोजेक्ट विशिष्ट कारकों से प्राप्त होते हैं, आप प्रभावित नहीं कर सकते हैं कि वे कितनी बार आपकी साइट पर आते हैं या यदि वे आपकी साइट पर आते हैं।
IA आपकी साइट को कैसे और कब क्रॉल करता है, इसे सीधे प्रभावित करने का एकमात्र तरीका उनकी आर्काइव-इट सेवा का उपयोग करना है । यह सेवा आपको कस्टम क्रॉल निर्दिष्ट करने की अनुमति देती है। परिणामी डेटा (अंततः) आईए के वेब संग्रह में शामिल किया जाएगा। हालांकि यह एक पेड सब्सक्रिप्शन सेवा है।