मुझे यह पसंद नहीं है कि मैं अपने वेब सर्वर के access.log में बहुत सारी 404 त्रुटियां देखूं । मुझे वे त्रुटियां हो रही हैं क्योंकि क्रॉलर एक robots.txt फ़ाइल खोलने का प्रयास करते हैं , लेकिन कोई भी नहीं खोज सका। इसलिए मैं एक सरल robots.txt फ़ाइल रखना चाहता हूँ जो 404 त्रुटियों को मेरी लॉग फ़ाइल में दिखाई देने से रोके।
न्यूनतम वैध robots.txt फ़ाइल क्या है जो साइट पर सब कुछ क्रॉल करने की अनुमति देगा?
जवाबों:
जैसा कि यहां बताया गया है , अपने वेब सर्वर के शीर्ष-स्तरीय निर्देशिका में robots.txt नामक एक पाठ फ़ाइल बनाएं । आप इसे खाली छोड़ सकते हैं, या जोड़ सकते हैं:
User-agent: *
Disallow:
अगर आप रोबोट को सब कुछ क्रॉल करना चाहते हैं । यदि नहीं, तो अधिक उदाहरणों के लिए उपरोक्त लिंक देखें।
सबसे कम न्यूनतम robots.txtएक पूरी तरह से खाली फ़ाइल है।
कोई अन्य "अशक्त" निर्देश जैसे कि खाली Disallowया Allow: *न केवल बेकार है क्योंकि वे बिना ऑप्स हैं, लेकिन अनावश्यक जटिलता जोड़ें।
यदि आप फ़ाइल को पूरी तरह से खाली नहीं करना चाहते हैं - या आप इसे और अधिक मानव-पठनीय बनाना चाहते हैं - तो बस #चरित्र के साथ शुरू होने वाली टिप्पणी जोड़ें , जैसे कि # blank file allows all। क्रॉलर शुरू होने वाली रेखाओं की उपेक्षा करते हैं #।
मैं यह कहूंगा;
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
यह Google को सब कुछ क्रॉल करने की अनुमति देगा लेकिन Google को आपके aadminn पैनल को क्रॉल करने की अनुमति देगा। जो आपके लिए एक आदर्श स्थिति है।