यह मेरा robots.txt है :
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://www.example.org/sitemap.xml.gz
लेकिन Google वेबमास्टर टूल्स ने मुझे बताया कि रोबोट साइटमैप तक पहुंच को रोक रहा है:
आपके साइटमैप तक पहुँचने का प्रयास करते समय हमें एक त्रुटि का सामना करना पड़ा। कृपया सुनिश्चित करें कि आपका साइटमैप हमारे दिशानिर्देशों का पालन करता है और आपके द्वारा प्रदान किए गए स्थान पर पहुँचा जा सकता है और फिर पुनः सबमिट करें: robots.txt द्वारा प्रतिबंधित URL ।
मैंने पढ़ा कि Google वेबमास्टर टूल robots.txt को कैश करता है , लेकिन फ़ाइल को 36 घंटे से अधिक समय पहले अपडेट किया गया है।
अपडेट करें:
TEST साइटमैप को हिट करने के कारण Google को नया साइटमैप प्राप्त नहीं करना पड़ता है। केवल SUBMIT साइटमैप ही ऐसा करने में सक्षम था। (BTW, मुझे नहीं लगता कि 'टेस्ट साइटमैप' में क्या बात है जब तक आप अपने वर्तमान साइटमैप को वहां पेस्ट नहीं करते हैं - यह उस पते से साइटमैप की एक नई प्रतिलिपि प्राप्त नहीं करता है जो आपको परीक्षण से पहले दर्ज करने के लिए कहता है - लेकिन वह एक और दिन के लिए एक सवाल।)
सबमिट करने (परीक्षण के बजाय) के बाद एक नया साइटमैप बदल गया। अब मुझे " robots.txt द्वारा URL को अवरुद्ध कर दिया गया है । साइटमैप में URL शामिल हैं जो robots.txt द्वारा अवरुद्ध हैं ।" 44 URL के लिए। साइटमैप में कुल 44 URL हैं। इसका मतलब यह है कि Google नए साइटमैप का उपयोग कर रहा है, लेकिन यह अभी भी पुराने रोबोट नियम (जो कि सब कुछ को सीमित रखता है) के द्वारा जा रहा है , 44 URL में से कोई भी नहीं है ( /wp-admin/या /wp-includes/जो किसी भी तरह का असंभव है, क्योंकि robots.txt पर बनाया गया है उसी प्लगइन द्वारा उड़ान भरें जो साइटमैप बनाता है)।
अपडेट 2:
यह बदतर हो जाता है: Google खोज परिणाम पृष्ठ पर, मुखपृष्ठ के लिए विवरण पढ़ता है: "इस परिणाम का वर्णन इस साइट के robots.txt के कारण उपलब्ध नहीं है - अधिक जानें"। अन्य सभी पृष्ठों में ठीक वर्णन है। वहाँ कोई robots.txt या रोबोट मेटा मुखपृष्ठ के अनुक्रमण को अवरुद्ध करता है।
मैं फँस गया हूँ।
