XML साइटमैप को Google खोज परिणामों में दिखाने से रोकें

23

मैं Google खोज परिणामों में अपनी XML साइटमैप फ़ाइलों को दिखाने से कैसे रोक सकता हूं जैसे site:खोज क्वेरी के परिणाम

खोज परिणामों में साइटमैप

मुझे समझ में नहीं आता है कि Google खोज परिणामों में साइटमैप फ़ाइलों को दिखाना क्यों शुरू करेगा। ये फाइलें मानव उपभोग के लिए नहीं हैं।

Google को इसे संसाधित करने में सक्षम होने के लिए क्रॉल करने की आवश्यकता है, इसलिए मैं इसे robots.txt में अस्वीकार नहीं कर सकता । मैं बस यह नहीं चाहता कि वे इसे संसाधित करने के बाद खोज परिणामों में डालें।

— स्टीफन ओस्टरमिलर
स्रोत

1

हुह। दिलचस्प। मेरे पास एकमात्र विचार यह है कि यदि आपके पास आपकी साइट पर इसका लिंक है, या यह आपकी साइटमैप फ़ाइल में दिखाई देता है। साथ ही, मुझे यकीन नहीं है कि यदि आप इसे अपने robots.txt फ़ाइल में देखें तो यदि यह एक कारक हो सकता है। मैं ऐसा नहीं सोचूंगा, सिर्फ कुछ पर विचार करने के लिए। मैं केवल Google WMT के माध्यम से अपने साइटमैप की आपूर्ति करता हूं और इस मुद्दे को नहीं देखा है- कम से कम अभी तक नहीं। मैं समझ सकता हूं कि आपका साइटमैप सार्वजनिक नहीं होना चाहिए। मुझे मेरा सार्वजनिक नहीं चाहिए। बहुत से हैकर्स / स्क्रेपर्स वहाँ से बाहर।

— क्लोसेट्नोक

3

इस विशेष साइट पर मैंने robots.txt/sitemap.xml में सूचीबद्ध किया है और फिर अन्य साइटमैप जैसे और के एक अलग सेट से लिंक किया है । मैं हर दिन साइटमैप को पुनः प्राप्त करता हूं और संख्याएं रोज बदलती हैं। जो अनुक्रमणित है वह काफी पुराना है। मैं अपनी साइट पर इसे कहीं भी लिंक नहीं करता, लेकिन यह संभव है कि किसी अन्य साइट का लिंक कहीं और हो। /sitemap-123.xml/sitemap-124.xml

— स्टीफन Ostermiller

1

यदि इसका उपयोग नहीं किया जाता है, तो सुनिश्चित करें कि इसे हटा दिया गया है, फिर इसे अपनी robots.txt फ़ाइल में बाहर कर दें और यह SERPs से काफी जल्दी गिर जाएगा। अजीब तरह से, Google WMT में हटाए गए URL चीज़ को हमेशा के लिए (मेरे लिए महीने) ले जाता है, जबकि robots.txt काफी त्वरित है।

— क्लोजनेटॉक

1

क्या आपने अपने जीडब्ल्यूएमटी खाते में एक्सएमएल साइटमैप जमा किया था ?

— ओलेग

3

साइटमैप फ़ाइल आज भी मौजूद है। मैंने इसे हटा दिया और अब /sitemap.xml मैं यह मानता हूं कि यह विशेष साइटमैप अब सूचकांक से बाहर हो जाएगा। मैं Google को भविष्य में भी उपयोगकर्ताओं को खोजने के लिए उन्हें दिखाने से रोकना चाहूंगा।

— स्टीफन Ostermiller

18

Google XML साइटमैप को इंडेक्स करता है (किसी भी XML फ़ाइल की तरह)। यदि Google URL से अवगत है और यह एक वैध प्रतिक्रिया देता है तो यह Google के शामिल किए जाने के नियमों को पारित करने वाला है और अनुक्रमित हो सकता है। व्यक्तिगत रूप से, मैं केवल GWT के माध्यम से साइटमैप जमा करता हूं और Sitemap:robots.txt में एक संदर्भ शामिल करता हूं और यह निश्चित रूप से इसे अनुक्रमित करने के लिए पर्याप्त है।

Google द्वारा अनुक्रमित होने से इन फ़ाइलों को रोकने के लिए अनुशंसित विधि X-Robots-TagXML साइटमैप की सेवा करते समय HTTP प्रतिक्रिया हेडर को शामिल करना है । उदाहरण के लिए:

X-Robots-Tag: noindex

जैसे HTML फ़ाइलों में रोबोट META टैग शामिल है, X-Robots-Tagहेडर का उपयोग किसी भी प्रकार की फ़ाइल के लिए किया जा सकता है।

संदर्भ: यह दस्तावेज (नवंबर 2008 से!) XML साइटमैप के साथ काम करते समय प्रतिक्रिया के उपयोग के संबंध में हमारे अपने जॉन मुलर (Google) को उद्धृत करता है X-Robots-Tag।
हां, Google आपकी XML साइटमैप फ़ाइल को अनुक्रमित और रैंक करेगा

अधिक जानकारी के लिए Google के डेवलपर गाइड देखें:
रोबोट मेटा टैग और एक्स-रोबोट-टैग HTTP हेडर विनिर्देश

— मिस्टर वाइट
स्रोत

मैं X-Robots-Tag: noindexहेडर कोड कहां लिखूं ? अंदर sitemap.xmlया robots.txt?

— xameeramir

1

@student यह एक HTTP प्रतिसाद शीर्ष लेख है, इसलिए इसे उन फ़ाइलों (HTTP प्रतिसाद शीर्ष लेख के भाग के रूप में) परोसने से पहले सेट किया जाना चाहिए - इसे "अंदर" सेट नहीं किया जा सकता है। आप इन फ़ाइलों की सेवा कैसे कर रहे हैं, इसके आधार पर आप इसे अपने सर्वर-साइड कोड (जैसे PHP में header('X-Robots-Tag: noindex',true)) में सेट कर सकते हैं या, यदि आप Apache का उपयोग कर रहे हैं तो अपनी .htaccess फ़ाइल या सर्वर कॉन्फ़िगरेशन में। उदाहरण कोड के लिए स्टीफन का जवाब देखें । इसके अलावा ऊपर से Google का डेवलपर गाइड देखें।

— MrWhite

8

X-Robots-Tag का उपयोग करने के बारे में MrWhite का जवाब ऐसा करने का सही तरीका प्रतीत होता है।

यहां ऐसा कोड है जिसे ऐसा करने के लिए .htaccess या Apache कॉन्फ़िगरेशन फ़ाइलों में उपयोग किया जा सकता है। (संदर्भ: वेबमास्टरवर्ल्ड - SERP में दिखाए जा रहे साइटमैप - इसे कैसे रोका जाए? )

<Files ~ "sitemap.*\.xml(\.gz)?$">
  Header append X-Robots-Tag "noindex"
</Files>

Nginx के तहत विन्यास इस प्रकार होगा। (संदर्भ: योस्ट एक्स-रोबोट-टैग उदाहरण )

location ~* sitemap.*\.xml(\.gz)?$ {
    add_header X-Robots-Tag "noindex";
}

— स्टीफन ओस्टरमिलर
स्रोत

2

इससे क्या फर्क पड़ता है?

यदि आप वास्तव में SERP में अपना साइटमैप खोज सकते हैं तो आपको बड़ी समस्याएं हैं।

मैं इसके बजाय उपयोगी सामग्री वाले पृष्ठों को प्राप्त करने पर अधिक ध्यान केंद्रित करूंगा। इस तरह, आपके पास साइटमैप ढूंढने में भी बहुत कठिन समय होगा। ऐसा नहीं है कि आप वैसे भी उस बिंदु पर परवाह करेंगे।

पुनश्च

बहुत ज्यादा हर एक एक ही जगह पर साइटमैप रखता है। तो अगर कोई यह खोजना चाहता है कि आप इसे कहाँ रखेंगे तो वे :)

— dasickle
स्रोत

4

मैं साइट खोज के लिए Google का उपयोग करता हूं और इसका उपयोग करते समय मैं एक साइटमैप पर ठोकर खाई हूं। यदि वे उस पर क्लिक करते हैं तो यह मेरे उपयोगकर्ताओं के लिए बहुत भ्रमित करने वाला होगा।

— स्टीफन Ostermiller

आपके कितने उपयोगकर्ता आपके लिए साइट खोज के लिए Google का उपयोग करते हैं?

— डसिकल

3

वे सभी उपयोगकर्ता जो मेरे पृष्ठों के शीर्ष पर खोज बॉक्स में खोज शब्दों में लिखते हैं।

— स्टीफन Ostermiller

उस स्तिथि में। क्या आपने अपनी साइट खोज के लिए स्विफ्टाइप.कॉम जैसी किसी चीज़ का उपयोग करने पर विचार किया है ? दूसरों के एक शीर्ष आप उपयोग कर सकते हैं। आप फिर से आदेश दे सकते हैं, परिणाम निकाल सकते हैं और जोड़ सकते हैं। तुम भी महान आँकड़े और आदि

— dasickle

-6

निम्नलिखित को robots.txt में डालें

User-agent: *
Disallow: /sitemap.xml

इसके बजाय Google वेबमास्टर टूल के माध्यम से अपना साइटमैप सबमिट करें।

— konghou
स्रोत

1

क्या आप कृपया अपने तर्क को स्पष्ट कर सकते हैं - आपका पहला वाक्य आपके अंतिम के साथ संघर्ष करता है?

— MrWhite

5

क्या Google अभी भी एक साइटमैप को क्रॉल करेगा जो कि robots.txt में अवरुद्ध है? क्या आपके पास दावे का समर्थन करने के लिए एक संदर्भ है?

— स्टीफन Ostermiller

4

यदि आप साइटमैप को अस्वीकार करते हैं, तो मुझे पूरा यकीन है कि यह अब क्रॉल नहीं किया जाएगा। कुछ ऐसा नहीं जो आप करना चाहते हैं!

— मैक्स

2

Google द्वारा किसी भी डॉक्टर को क्रॉल नहीं किया जाएगा। वैसे भी, नहीं ... साइट के नक्शे शामिल थे।