साइटमैप सीमाएँ:
साइटमैप फ़ाइलों की सीमा 50,000 URL और 10 मेगाबाइट प्रति साइटमैप है। बैंडविड्थ को कम करके, जीज़िप का उपयोग करके साइटमैप को संकुचित किया जा सकता है। एकाधिक साइटमैप फ़ाइलों का समर्थन किया जाता है, जिसमें साइटमैप सूचकांक फ़ाइल होती है, जो कुल 1000 साइटमैप के प्रवेश बिंदु के रूप में कार्य करती है।
ध्यान दें कि आप अपने robots.txt फ़ाइल में कई साइटमैप निर्दिष्ट कर सकते हैं :
यदि आप सीमा में टकरा रहे हैं, तो शायद अपने उपयोगकर्ताओं को किसी भी तरह से विभाजित करें। मान लें कि आपके प्रत्येक उपयोगकर्ता के पास 10,000 से अधिक यूआरएल नहीं हैं, तो आप इसे फ़ाइलों में तोड़ सकते हैं और इसे अपनी robots.txt
फ़ाइल में जोड़ सकते हैं:
Sitemap: http://www.example.com/sitemaps/users-001-005.xml
Sitemap: http://www.example.com/sitemaps/users-006-010.xml
Sitemap: http://www.example.com/sitemaps/users-011-015.xml
Sitemap: http://www.example.com/sitemaps/users-016-020.xml
Sitemap: http://www.example.com/sitemaps/users-021-025.xml
Sitemap: http://www.example.com/sitemaps/users-026-030.xml
Sitemap: http://www.example.com/sitemaps/users-031-035.xml
Sitemap: http://www.example.com/sitemaps/users-036-040.xml
Sitemap: http://www.example.com/sitemaps/users-041-045.xml
Sitemap: http://www.example.com/sitemaps/users-046-050.xml
अब, आपको अभी भी प्रत्येक व्यक्ति के साइटमैप के लिए 10MB सीमा से सावधान रहना होगा, लेकिन यह "बहुत अधिक" urls समस्या को संभालने के लिए एक दृष्टिकोण है।
कार्रवाई में कई साइटमैप देखने के लिए CNN और Google robots.txt
फ़ाइलों को देखें।