जहां तक मुझे पता है, कोई भी बॉट या ऐप साइटमैप को रिक्वेस्ट नहीं करता है। बिना बताए उसे वहां होना चाहिए। अधिकांश साइटों में शायद यह नहीं होता है, और जो साइटें होती हैं, उनमें से कई गज़िप का उपयोग करती हैं, और कई फाइल को कुछ और कहते हैं या साइटमैप को एक सबफ़ोल्डर में डालते हैं।
यहाँ सभी मेरे बारे में जानते हैं:
- favicon.ico
आपके पृष्ठों को टैब, बुकमार्क आदि में एक आइकन देता है।
- robots.txt
उपयोगी है यदि आपको खोज इंजन से किसी भी पृष्ठ को ब्लॉक करने की आवश्यकता है, लेकिन सब कुछ तक पहुंच की अनुमति देने के लिए रिक्त हो सकता है। इसमें आपके साइटमैप के लिए स्थान भी हो सकता है।
- वेबमास्टर उपकरण सत्यापन फ़ाइलें सत्यापन
की सबसे आसान विधि (आपके HTML कोड में बेकार मेटा टैग होने से बचाता है)। वहाँ google[hash].html
और है BingSiteAuth.xml
। मेरे पास रूट में याहू के लिए भी एक है लेकिन शायद अब इसकी जरूरत नहीं है।
- crossdomain.xml
इस फ़ाइल को Adobe Flash द्वारा किसी भी समय फ्लैश करने के लिए आपकी साइट से कनेक्ट करने की आवश्यकता है। आप शायद किसी छोटी साइट पर अपने लॉग में इस फ़ाइल को नहीं देख पाएंगे, लेकिन मेरे पास एक साइट पर इसके लिए अनुरोधों का एक गुच्छा था। आप केवल एक खाली फ़ाइल बना सकते हैं क्योंकि डिफ़ॉल्ट बाहरी साइटों तक पहुंच को रोकना है।
- .htaccess (Apache)
स्पष्ट रूप से ब्राउज़र / बॉट द्वारा अनुरोधित नहीं है, लेकिन अधिकांश साइटों के लिए महत्वपूर्ण है।
अंत में, उन आइकनों के बारे में जो iPhone अनुरोध करने पर जोर देता है: कई आकार हैं जो अनुरोधित हो सकते हैं। मेरा iPhone 3G (iOS 5) 57x57 संस्करण का अनुरोध करता है और मुझे अपनी त्रुटि लॉग में 72x72 और 114x114 (सबसे आम) दिखाई देता है। इसलिए यदि आप अपने लॉग से सभी 404 को खत्म करना चाहते हैं, तो मन-ही-मन आपको इन सभी को प्रदान करना होगा:
/apple-touch-icon-57x57-precomposed.png
/apple-touch-icon-57x57.png
/apple-touch-icon-72x72-precomposed.png
/apple-touch-icon-72x72.png
/apple-touch-icon-114x114-precomposed.png
/apple-touch-icon-114x114.png
/apple-touch-icon-precomposed.png
/apple-touch-icon.png