मैंने जनवरी '11 में अपनी वेबसाइट लॉन्च की और यह Google में अनुक्रमित है जो कि महान है - अब तक लगभग 300 पृष्ठों की सामग्री। मैं समझने की कोशिश कर रहा हूं कि जून के अंत और जुलाई की शुरुआत के आसपास क्रॉल आँकड़े क्या हुआ। बड़े पैमाने पर चढ़ाई का कारण क्या है? आगे बढ़ने का क्या मतलब है? क्या मुझे कुछ और करना चाहिए?
जवाबों:
यदि आपको लगता है कि वे आपकी साइट को रेंग रहे हैं (शायद इससे भी गहरी सामग्री गायब है) तो आपको यह सुनिश्चित करना चाहिए कि आपके एचटीटीपी हेडर 'अंतिम बार' जैसी चीजों के लिए अच्छे मान लौटा रहे हैं। यह हो सकता है कि Googlebot आपकी साइट को कितना बदल दे। । एक बोनस के रूप में आपकी साइट कैशिंग के संबंध में बेहतर व्यवहार करेगी (यह प्रॉक्सी या ब्राउज़र आधारित हो) और इस तरह थोड़ा तेज महसूस करें।
आप अच्छी तरह से अध्ययन करेंगे कि URL क्या क्रॉल किए जा रहे हैं (आपके सर्वर लॉग की समीक्षा करके)। यदि वे एक ही यूआरएल को बार-बार रिकवर कर रहे हैं, तो आपको निश्चित रूप से एक समस्या है। इस पर एक सामान्य संस्करण है यदि आपके पास एक पृष्ठ है जिसे अनुरोध चर का उपयोग करके कई अलग-अलग तरीकों से प्रदर्शित किया जा सकता है। Googlbot उन चरों के हर संभव संयोजन को क्रॉल करने का प्रयास कर सकता है ।
एक उदाहरण जो मैंने क्रॉल ऑपरेटर के रूप में सामना किया है, वह एक पृष्ठ था जिसमें बीस शीर्षकों की सूची थी, जिनमें से किसी भी संयोजन का विस्तार किया जा सकता था। असल में, उस पेज में 2 ^ 20 अलग-अलग URL थे!
सुनिश्चित करें कि Googlebot मूल रूप से एक ही पृष्ठ पर बार-बार तुच्छ विभिन्न मापदंडों के साथ रेंगता हुआ नहीं है (मैंने देखा है कि यह इस में फंस गया है)
मुझे लगता है कि Google की साइट की उम्र, लोकप्रियता (आपकी साइट के लिंक), मार्कअप और हेडर, उचित साइट मैप्स आदि के साथ क्रॉल दर में बदलाव होता है, उन्होंने थोड़ी देर पहले अपने क्रॉलर को भी बदल दिया था, इसलिए अब सामग्री खोज परिणामों की तुलना में बहुत तेज़ी से दिखाई दे सकती है। (परिवर्तन से कम से कम 2 सप्ताह पहले)।
इसलिए जब मैंने 2 साल पहले अपना ब्लॉग जारी किया था तो नई सामग्री पोस्ट करने के लिए सभी सामग्री और सप्ताहों को अनुक्रमित करने में Google महीने लग गए थे। अब मैं खोज परिणामों में किसी भी पोस्ट को उसी दिन देखता हूं जब मैं उसे प्रकाशित करता हूं।
यह सरल है, Google नई साइटों को पसंद नहीं करता है लेकिन बड़ों का सम्मान करता है।