मैं <head>वर्षों से अपनी साइटों के लिए निम्नलिखित पंक्ति का उपयोग कर रहा हूं :
<meta name="revisit-after" content="3 days" />
मुझे हाल ही में पता चला है कि यह उन मेटा टैग्स में से एक नहीं है जिन्हें Google समझता है, जिसका मतलब है कि मुझे इसका कोई मतलब नहीं है, और यह भी है कि यह सालों से अच्छा नहीं रहा है।
कितनी बार खोज इंजन डिफ़ॉल्ट रूप से एक वेबसाइट को क्रॉल करते हैं, और उस आवृत्ति को बढ़ाने या घटाने के लिए क्या विश्वसनीय तरीके हैं?
जवाबों:
आप यह नियंत्रित कर सकते हैं कि Google Google वेबमास्टर टूल्स में आपकी साइट को कितनी तेजी से क्रॉल करता है ।
आपकी साइट के लिए क्रॉल दर Googlebot द्वारा प्रत्येक विज़िट पर आपकी साइट को क्रॉल करने के लिए उपयोग किए जाने वाले समय को निर्धारित करती है। हमारा लक्ष्य आपकी साइट को अच्छी तरह से क्रॉल करना है (ताकि आपके पृष्ठ आपके सर्वर के बैंडविड्थ पर ध्यान देने योग्य प्रभाव पैदा किए बिना खोज परिणामों में अनुक्रमित और वापस आ सकें)। जबकि अधिकांश वेबमास्टर्स डिफ़ॉल्ट क्रॉल सेटिंग (यानी नीचे और अधिक परिवर्तन की आवश्यकता नहीं) का उपयोग करते हुए ठीक हैं, कुछ वेबमास्टरों की अधिक विशिष्ट आवश्यकताएं हो सकती हैं।
Googlebot परिष्कृत एल्गोरिदम नियुक्त करता है जो यह निर्धारित करता है कि प्रत्येक साइट पर यह कितना क्रॉल करता है। अधिकांश साइटों के लिए, संभवतः "क्रॉल दर का निर्धारण Google को मेरी क्रॉल दर" चुनने के लिए करना सबसे अच्छा है, जो कि डिफ़ॉल्ट है। हालाँकि, यदि आप एक उन्नत उपयोगकर्ता हैं या यदि आप अपने सर्वर के साथ बैंडविड्थ समस्याओं का सामना कर रहे हैं, तो आप अपने क्रॉल दर को अपने वेब सर्वर (एस) के लिए सबसे इष्टतम गति के लिए अनुकूलित कर सकते हैं। कस्टम क्रॉल दर विकल्प आपको Googlebot को प्रति सेकंड अधिकतम संख्या में अनुरोध और आपके द्वारा महसूस किए गए अनुरोधों के बीच सेकंड की संख्या प्रदान करने की अनुमति देता है।
Googlebot आपको वेबमास्टर टूल में उपलब्ध क्रॉल दर मानों की सीमा निर्धारित करता है। यह आपके सर्वर की क्षमताओं के बारे में हमारी समझ पर आधारित है। यह सीमा कई कारकों के आधार पर एक साइट से दूसरी और अलग-अलग समय पर भिन्न हो सकती है। क्रॉल दर को निम्न-से-डिफ़ॉल्ट मान पर सेट करने से Google के खोज परिणामों में आपकी साइट की कवरेज और ताजगी प्रभावित हो सकती है। हालाँकि, डिफ़ॉल्ट से अधिक मूल्य पर सेट करने से आपकी कवरेज या रैंकिंग में सुधार नहीं होगा। यदि आप एक कस्टम क्रॉल दर निर्धारित करते हैं, तो नई दर 90 दिनों के लिए प्रभावी होगी, जिसके बाद यह Google के अनुशंसित मूल्य पर रीसेट होता है।
आप इस सेटिंग का उपयोग केवल मूल स्तर की साइटों और ब्लॉगस्पॉट.कॉम जैसे बड़े डोमेन पर होस्ट न किए जाने के लिए कर सकते हैं (हमारे पास उनके लिए विशेष सेटिंग असाइन की गई हैं)। क्रॉल दर सेटिंग की जाँच करने के लिए, वेबमास्टर टूल में साइन इन करें और सेटिंग टैब पर जाएँ। यदि आपके पास अतिरिक्त प्रश्न हैं, तो Google के बारे में अधिक जानने के लिए वेबमास्टर सहायता केंद्र पर जाएँ कि Google आपकी साइट को कैसे क्रॉल करता है या अपने प्रश्नों को वेबमास्टर सहायता फ़ोरम में पोस्ट करता है।
अन्य तो यह है कि आपको संभवतः अपना स्वयं का फ़िल्टरिंग सिस्टम बनाना होगा जो अपने उपयोगकर्ता एजेंटों को सूँघता है और या तो अपने उपयोगकर्ता-एजेंट में स्थित खोज इंजन बॉट की अनुमति देता है या इनकार करता है। लेकिन यह केवल उनकी आवृत्ति को कम करने को प्रभावित करेगा।
अपने प्रश्न के दूसरे भाग का उत्तर देने के लिए, आप Google को वेबमास्टर टूल्स का उपयोग करके बता सकते हैं
क्रॉल दर बदलने के लिए:
Webmaster Tools होम पेज पर, इच्छित साइट पर क्लिक करें।
साइट कॉन्फ़िगरेशन के तहत, सेटिंग्स पर क्लिक करें।
क्रॉल दर अनुभाग में, इच्छित विकल्प का चयन करें।
https://www.google.com/support/webmasters/bin/answer.py?answer=48620&hl=en_GB
पर बिंग पूछे जाने वाले प्रश्न यह को संदर्भित करता है इस पोस्ट जो की स्थापना की सिफारिश Crawl-Delay: Xजहां एक्स सेकंड की संख्या प्रत्येक अनुरोध के बीच प्रतीक्षा करने के लिए है।
बेशक साइटमैप यह दर्शाता है कि पृष्ठ कितनी बार बदलते हैं।