Robots.txt में "Noindex:" कैसे काम करता है?

Question

मैंने अपने एसईओ समाचार में आज इस लेख को चलाया । ऐसा लगता है कि आप robots.txt में Noindex:मानक Disallow:निर्देशों के अलावा निर्देशों का उपयोग कर सकते हैं ।

Disallow: /page-one.html
Noindex: /page-two.html

ऐसा लगता है कि यह खोज इंजनों को पृष्ठ एक को क्रॉल करने से रोकेगा, और उन्हें पृष्ठ दो को अनुक्रमित करने से रोकेगा।

क्या यह robots.txt निर्देश Google और अन्य खोज इंजन द्वारा समर्थित है? क्या यह काम करता है? क्या यह प्रलेखित है?

Comments

मुझे पता नहीं ... यह कुछ के लिए बहुत उपयोगी हो सकता है। साथ ही, मैं चाहूंगा कि साइटमैप को और अधिक संप्रेषणीय होने के लिए विस्तारित किया जाए। रोबोट और साइटमैप के बीच, यह खोज इंजन और अन्य को किसी साइट के बारे में संवाद करने का एक सुनहरा अवसर होना चाहिए। मैं खोज इंजन को साइट के बारे में अलग-अलग तरीके से सूचित करने के लिए एक पाठ आधारित अवसर के पक्ष में हूं, जो खोज के बारे में अलग-अलग तरीके से उपलब्ध है जैसे कि पृष्ठ के बारे में जैसे कि आपको सीधे Google साइट समीक्षक से बात करने का मौका मिला हो। यह कुछ दिल के दर्द और गलतफहमी को बचा सकता है। ओउप्प्प्स्स्स कहने का मौका मिला, मैं हंस कर बोला- सॉरी।

— क्लिटनेटॉक

मैं इस धारणा के तहत हूं कि disallowयदि कोई मौजूद है तो माता-पिता और बाल पृष्ठों पर Google खोज लिंक को रोकता है। जबकि noindexपृष्ठ को सूचीबद्ध किया जा रहा है बस रोक देता है, यह डिस्कॉल करते समय खोज को नहीं रोकता है।

— साइमन हैटर

@SimonHayter मुझे पता है कि nofollowमेटा टैग के लिए कैसे काम करता है। यह जानना अच्छा होगा कि क्या यह भी robots.txt के मामले में है ।

— स्टीफन Ostermiller

अरे @StephenOstermiller केवल मेटा टैग ही नहीं, इसके लिए <a rel="no-follow">भी वही है। मुझे कोई कारण नहीं दिखता कि इसका कोई अलग इलाज क्यों किया जाएगा। जाहिर है कि यह आधिकारिक नहीं है और इसकी सिफारिश भी जॉन मुलर ने रोबोट्स में इस्तेमाल नहीं की है। इसके अलावा, लेकिन उनके ट्वीट के अलावा मैं इसके बारे में ज्यादा जानकारी हासिल नहीं कर पाया।

— साइमन हैटर

यह ध्यान देने योग्य है कि Google अब फाइलों के Noindexभीतर निर्देश को robots.txtत्रुटि के रूप में नहीं देखता है।

— अरन

Answer 1

Google ने अनौपचारिक रूप Noindexसे robots.txt में एक निर्देश का समर्थन किया था , हालांकि 2019 में, उन्होंने घोषणा की कि निर्देश अब काम नहीं करेगा।

यहाँ Google के जॉन मुलर ने robots.txt के बारे Noindex:में क्या कहा है :

हम एक प्रयोगात्मक सुविधा के रूप में robots.txt में नो-इंडेक्स निर्देश का समर्थन करते थे। लेकिन यह कुछ ऐसा है जिस पर मैं भरोसा नहीं करूंगा। और मुझे नहीं लगता कि अन्य खोज इंजन इसका उपयोग कर रहे हैं।

Google द्वारा यह घोषणा करने से पहले कि सुविधा बंद कर दी गई है, deepcrawl.com ने इस सुविधा का कुछ परीक्षण किया और पाया कि:

• 2019 से पहले, यह अभी भी Google के साथ काम करता था
• इसने URL को खोज इंडेक्स में प्रदर्शित होने से रोका
• यूआरएल है कि में noindexed दिया है robots.txt Google खोज कंसोल में इस तरह के रूप में चिह्नित किया गया

यह देखते हुए कि Google ने इस सुविधा को बंद कर दिया है, अब इसका उपयोग नहीं किया जाना चाहिए।

इसके बजाय, अनुक्रमण को रोकने के लिए अच्छी तरह से समर्थित और प्रलेखित रोबोट मेटा टैग का उपयोग करें :

<meta name="robots" content="noindex" />