Robots.txt में उपयोगकर्ता-एजेंटों को मिलाएं


11

क्या उपयोगकर्ता-एजेंटों को एक साथ सूचीबद्ध किया जा सकता है, इसके बाद उनके सामान्य नियम जैसे कि robots.txt में हैं ?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

1
वहाँ एक कारण है कि आप user-agent: *अस्वीकृति का पालन क्यों नहीं करते हैं ? क्या "अनुमत" उपयोगकर्ता-एजेंटों की सूची उस सूची से अधिक लंबी है जिसे आप अस्वीकार करना चाहते हैं?
माइक हडसन

जवाबों:


10

हाँ। यह मानते हुए कि आपके एजेंट नाम सही ढंग से निर्दिष्ट हैं, ऐसा लगता है कि यह काम करना चाहिए। यदि आप अधिक पढ़ना चाहते हैं तो यहां एक संसाधन है। https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt


1
मूल robots.txt कल्पना मानते हैं: "यदि एक से अधिक उपयोगकर्ता-एजेंट क्षेत्र वर्तमान रिकॉर्ड एक से अधिक रोबोट के लिए एक समान पहुँच नीति का वर्णन करता है।"
इल्मरी करोनें
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.