मैं Google को नई robots.txt फ़ाइल पढ़ने के लिए कैसे प्रोत्साहित कर सकता हूं?

22

मैंने अभी एक नई साइट पर अपनी robots.txt फ़ाइल अपडेट की है; Google वेबमास्टर टूल ने मेरे अंतिम अपडेट से 10 मिनट पहले मेरे robots.txt को पढ़ा।

क्या ऐसा कोई तरीका है जिससे मैं Google को अपने robots.txt को जल्द से जल्द पढ़ने के लिए प्रोत्साहित कर सकूँ?

अद्यतन: साइट विन्यास के तहत | क्रॉलर एक्सेस | Robots.txt का परीक्षण करें:

होम पेज एक्सेस शो:

Googlebot को http://my.example.com/ से अवरुद्ध किया गया है

FYI करें: Google द्वारा पढ़ा जाने वाला robots.txt ऐसा दिखता है:

User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /

क्या मैंने अपने आप को पैर में गोली मार ली है, या यह अंततः पढ़ेगा: http: ///robots.txt (जैसा कि पिछली बार इसे पढ़ा था)?

मुझे क्या करना है पर कोई विचार?

google robots.txt google-webmaster-tools

— qxotk
स्रोत

FYI करें: साइट नई है, और यह संदेश सेटिंग्स में दिखाई देता है। क्रॉल दर: "आपकी साइट को विशेष एलएलटी दर सेटिंग्स सौंपी गई हैं। आप क्रॉल दर को बदलने में सक्षम नहीं होंगे।"

— qxotk

FYI करें: मुझे Google समूहों में एक पोस्टिंग मिली, जिसमें कहा गया था कि Google robots.txt को "दिन में कम से कम एक बार" पढ़ेगा - क्या कोई इसकी पुष्टि कर सकता है? [Google समूह पोस्टिंग यहाँ है: groups.google.com/group/google_webmaster_help-indexing/... ]

— qxotk

FYI करें: 1 दिन बीत चुका है, और Google ने अभी तक मेरे अपडेट किए गए robots.txt को नहीं पढ़ा है।

— qxotk

यहाँ एक ही मुद्दा, यह एक "सुविधा" नहीं है ...

— mate64

25

यदि कोई और इस समस्या में चलता है, तो google-bot को robots.txt फ़ाइल को फिर से डाउनलोड करने के लिए बाध्य करने का एक तरीका है।

स्वास्थ्य पर जाएं -> Google [1] के रूप में प्राप्त करें और इसे /robots.txt प्राप्त करें

यह फ़ाइल को फिर से डाउनलोड करेगा और Google फ़ाइल को फिर से पार्स भी करेगा।

[१] पिछले Google UI में यह 'डायग्नोस्टिक्स -> गूगलबॉट के रूप में प्राप्त हुआ' था।

— मैट
स्रोत

11

यदि आपका robots.txt सेट है तो दुर्भाग्य से यह काम नहीं करेगा Disallow: /। इसके बजाय लाने की सूचना "robots.txt द्वारा अस्वीकृत": /।

— स्टडजेक

3

अगली बार इस लाइन को जोड़ें। अनुमति दें: /robots.txt

— jrosell

मुझे 'डायग्नोस्टिक्स' नहीं मिल रहा है, शायद यूआई बदल गया है?

— डेविड रिकिटेल्ली

2

ठीक है, यह अब स्वास्थ्य है> Google के रूप में प्राप्त करें।

— डेविड रिकिटेल्ली

जब मैं robots.txt लाने की कोशिश करता हूं तो मेरे लिए काम नहीं कर रहा है। त्रुटि: "पृष्ठ को इस समय क्रॉल नहीं किया जा सका क्योंकि यह सबसे हालिया robots.txt फ़ाइल द्वारा अवरुद्ध है। Googlebot ने डाउनलोड किया है। ध्यान दें कि यदि आपने हाल ही में robots.txt फ़ाइल को अपडेट किया है, तो इसे ताज़ा होने में दो दिन तक का समय लग सकता है। आप robots.txt के बारे में सहायता केंद्र के लेख में अधिक जानकारी पा सकते हैं। "

— Indrek

4

मुझे पता है कि यह बहुत पुराना है, लेकिन ... यदि आपने गलत robots.txt अपलोड किया है (सभी पृष्ठों को छोड़कर), तो आप निम्नलिखित प्रयास कर सकते हैं:

पहले सही पृष्ठों की अनुमति देने के लिए अपने robots.txt को ठीक करें, फिर
अपने पृष्ठों के साथ साइटमैप अपलोड करें

जैसा कि Google xml साइटमैप को पढ़ने की कोशिश करता है, यह फिर से robots.txt की जाँच करेगा, जिससे Google को आपके एंड्रॉइड .xt को फिर से पढ़ने के लिए मजबूर किया जाएगा।

— Hussam
स्रोत

यह मेरे लिए काम नहीं किया। यह कहता है कि साइटमैप को robots.txt

— James

1

ठीक है। यहाँ मैंने क्या किया है, और कुछ घंटों के भीतर, Google ने मेरे robots.txt फ़ाइलों को फिर से पढ़ा।

हमारे पास चलने वाली प्रत्येक 1 साइट के लिए 2 साइटें हैं। चलो उन्हें विहित साइट (www.mysite.com) और नंगे डोमेन साइट (mysite.com) कहते हैं।

हमारे पास हमारी साइटें हैं ताकि mysite.com हमेशा www.mysite.com पर 301 रीडायरेक्ट करता रहे।

एक बार जब मैंने Google वेबमास्टर टूल में दोनों साइटों को सेटअप किया, तो यह बताया कि www.mysite.com कैनोनिकल साइट है, यह जल्द ही कैनोनिकल साइट पर robots.txt फ़ाइल को पढ़ लेता है।

मैं वास्तव में नहीं जानता कि क्यों, लेकिन यही हुआ है।

— qxotk
स्रोत

3

मैं जानता हूँ कि यह पुराना है, लेकिन अपने स्वयं के जवाब को स्वीकार करने के लिए 100% वैध है

— मार्क हेंडरसन

0

कुछ दिनों के लिए Google स्कैन अंतराल छोटा करें।

इसके अलावा, मैंने आपके robots.txt को सत्यापित करने के लिए वहाँ नितंब देखा है, यह इसे Google को मजबूर कर सकता है, लेकिन मुझे यकीन नहीं है।

— BarsMonster
स्रोत

क्या आप अधिक विशिष्ट हो सकते हैं? मैं देख रहा हूँ: साइट कॉन्फ़िगरेशन | क्रॉलर एक्सेस | Robots.txt का परीक्षण करें, लेकिन यह आपके द्वारा बॉक्स में चिपकाए गए पाठ का परीक्षण करता है, न कि आपकी लाइव robots.txt फ़ाइल का - यह भी, यह वह जगह है जो मुझे बताती है कि यह आखिरी बार कब डाउनलोड हुई थी। आपके द्वारा बोला गया "सत्यापित" बटन कहां है?

— qxotk