मैं robots.txt के साथ पूरी निर्देशिका को कैसे समाप्त करूं?

Question

मेरे पास दो साइट हैं जिन पर मैं वर्तमान में काम कर रहा हूं जो एक शॉपिंग कार्ट और एक अन्य दुकानदार है। उदाहरण के लिए दोनों एक ही डोमेन नाम के तहत हैं

http://example.com/first_url 
http://example.com/second_url 

इन दोनों यूआरएल में उनके नीचे कई पेज हैं

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

मैं मुख्य URL /first_urlऔर /second_urlभी और सभी उपपृष्ठों और उप निर्देशिकाओं को कैसे अस्वीकृत करूं ? मैं ऐसा कुछ सोच रहा था, लेकिन मुझे नहीं पता कि यह काम करता है या नहीं और क्या यह सही वाक्यविन्यास था

Disallow: /first_url/*/
Disallow: /second_url/*/

Comments

मुझे लगता है कि आपका वाक्यविन्यास सही है लेकिन

Answer 1

आपको उन निर्देशिकाओं को अवरुद्ध करने के लिए अनुगामी स्लेश की आवश्यकता नहीं है। यह काम करेगा:

Disallow: /first_url/*
Disallow: /second_url/*

यह Google सहायता पृष्ठ इसे काफी अच्छी तरह से कवर करता है।

Comments

आप बस "अस्वीकृत करें: / first_url" कर सकते हैं। अनुगामी वाइल्डकार्ड की उपेक्षा की जाती है। Developers.google.com/webmasters/control-crawl-index/docs/… के

— Evgenii

आप की अनुमति रद्द की जरूरत: / यूआरएल / * जैसी चीजों से मिलान करने के example.com/url/test?test=1

— गैरेथ Daine

Answer 2

आप इसे अपने डिफ़ॉल्ट के रूप में उपयोग कर सकते हैं robots.txt:

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

तारा उस श्रेणी के अंतर्गत आने वाली हर चीज को अस्वीकृत कर देगा। तुम भी उस विशिष्ट यूआरएल टाइप करके उस श्रेणी के तहत एक विशेष बात को अस्वीकार कर सकते हैं।

Comments

यह स्वीकार किए गए उत्तर से अलग नहीं है, जब आप शुरुआती स्लैश को याद नहीं कर रहे हैं। Robots.txt में नियमों को अस्वीकार करें। सभी को एक स्लैश के साथ शुरू करना चाहिए। इसी तरह सभी उदाहरणों में हो रहा है प्रलेखन

— स्टीफन Ostermiller