मैं इस प्रश्न के उत्तर पढ़ता हूं, लेकिन वे अभी भी मेरे प्रश्न को खुला छोड़ देते हैं: क्या Google cache robots.txt है?
मुझे Google Webmaster Tools में अपने robots.txt का पुनः डाउनलोड करने का एक तरीका नहीं मिला ।
कुछ त्रुटि के माध्यम से, मेरे robots.txt को बदल दिया गया था:
User-agent: *
Disallow: /
और अब मेरी सभी सामग्री Google खोज परिणामों से हटा दी गई थी।
जाहिर है, मैं इसे जल्द से जल्द सही करने में दिलचस्पी रखता हूं। मैंने पहले से ही robots.txt को बदल दिया है , लेकिन मुझे Google को कैश्ड संस्करण को अपडेट करने का तरीका नहीं मिल रहा है।
1
Robots.txt में आपके सभी पेजों को बंद करना आम तौर पर Google के परिणामों से पूरी तरह से हटाने के लिए पर्याप्त नहीं होना चाहिए , जब तक कि अन्य साइटें अभी भी उनसे लिंक नहीं करती हैं।
—
इल्मरी करोनन
हम्म इसकी एक मुश्किल। ZenCart URL, robots.txt वेब क्रॉलर बॉट को भ्रमित करते हैं और इससे पहले कि आप इसे जानते हैं, आपने URL को ब्लॉक कर दिया है जिसे आप ब्लॉक नहीं करना चाहते हैं। मेरा अनुभव है कि आप robots.txt के बिना बेहतर हैं, लेकिन सिर्फ एक साफ वेब साइट रखते हैं। मान्य URL को ब्लॉक करने वाले इस robots.txt त्रुटि के कारण मैंने कई वेब रैंक स्थान खो दिए हैं। क्योंकि ZenCart डायनामिक URL का उपयोग करता है, ऐसा लगता है कि robots.txt वेब क्रॉलर को भ्रमित करता है जिसके परिणामस्वरूप वे URL अवरुद्ध हो जाते हैं जिनकी आपको अवरुद्ध होने की उम्मीद नहीं है। यकीन नहीं होता है कि यह