क्या मुझे साइटमैप या केवल नई सामग्री में सब कुछ शामिल करना चाहिए?

Question

डायनामिक कंटेंट वाली वेबसाइट के लिए (नई सामग्री को लगातार जोड़ा जा रहा है), क्या मुझे साइटमैप में केवल नई सामग्री शामिल करनी चाहिए या क्या मुझे सब कुछ शामिल करना चाहिए (साइटमैप इंडेक्स के साथ)? साइटमैप एस्प के लिए सर्वोत्तम अभ्यास क्या हैं। बड़ी साइटों के लिए?

इसके अलावा, क्या गूगल (और अन्य खोज इंजन) बनाने के लिए केवल साइटमैप में पृष्ठों को क्रॉल करना है?

धन्यवाद

अद्यतन:
इसके अलावा, किसी भी विचार कैसे stackoverflow इसे संभाल? मैं जानना चाहता हूं लेकिन दुर्भाग्य से (बहुत समझदारी से ) उन्होंने अपने साइटमैप तक पहुंच को अवरुद्ध कर दिया है।

Comments

साइट कितनी बड़ी है? Robots.txt और साइटमैप दोनों के लिए एक आकार सीमा है। आश्चर्यजनक रूप से, कई लोग दोनों से अधिक हैं, यही वजह है कि मैं पूछ रहा हूं।

— टिम पोस्ट

@ टिम, यह वास्तव में अब के लिए बड़ा नहीं है (सब कुछ एक साइटमैप में फिट हो सकता है), लेकिन मैं आगे की योजना बनाने की कोशिश कर रहा हूं।

— Mee

Answer 1

सभी पेज शामिल करें। XML साइटमैप का उद्देश्य खोज इंजन को आपकी सभी सामग्री के बारे में बताना है। सिर्फ नया सामान नहीं।

Sitemaps.org वेबसाइट (जोर मेरा) से:

साइटमैप खोज इंजन के लिए एक आसान तरीका है, जो खोज इंजन को उन साइटों के पन्नों के बारे में सूचित करता है जो रेंगने के लिए उपलब्ध हैं ।

यदि आपके पास बहुत सी सामग्री है तो आप कई XML साइटमैप का उपयोग कर सकते हैं ।

यदि आपके पास ऐसी सामग्री है जिसे आप क्रॉल या अनुक्रमित नहीं करना चाहते हैं तो आपको विशेष रूप से उन पृष्ठों को क्रॉल और इंडेक्स नहीं करने के लिए खोज इंजन को बताने की आवश्यकता है। किसी भी ऐसे पेज या निर्देशिका को ब्लॉक करने के लिए robots.txt फ़ाइल का उपयोग करें जिसे आप क्रॉल नहीं करना चाहते हैं। आप इसके लिए एक मेटा टैग का भी उपयोग कर सकते हैं । लेकिन आप एक्सएमएल साइटमैप में निर्दिष्ट पेजों को क्रॉल नहीं करने के लिए निर्दिष्ट नहीं कर सकते।

Comments

आपके उत्तर के लिए धन्यवाद, मैं साइटमैप में सब कुछ शामिल करूँगा।

— Mee

क्या आपके पास एक ऐसा कार्य है जो पृष्ठों के 50 + k को संभाल सकता है?

क्या डेटाबेस में वे 50k + पृष्ठ हैं?

— जॉन कॉनडे

आपको साइट के प्रत्येक पृष्ठ को साइटमैप में रखने की आवश्यकता नहीं है। एक साइटमैप खोज इंजन को उन पृष्ठों के बारे में सूचित करने के लिए उपयोगी है जो क्रॉलिंग के लिए उपलब्ध हैं। यदि खोज इंजन पहले से ही प्रत्येक क्रॉल करने योग्य पृष्ठ देख सकता है, और आप "अंतिम संशोधित" के बारे में जानकारी नहीं जोड़ रहे हैं, तो एक होने का शून्य कारण है।

— Django रेनहार्ड्ट

यह उत्तर वेबमास्टर्स के साथ कुछ विरोधाभासी लगता है ।stackexchange.com/a/5151/ 30596 । Google से @John म्यूलर का हवाला देते हुए,Using a Sitemap file won't reduce our normal crawling of your site. It's additional information, not a replacement for crawling. Similarly, not having a URL in a Sitemap file doesn't mean that it won't be indexed.

— उपयोगकर्ता