क्या उपयोगकर्ता-एजेंटों को एक साथ सूचीबद्ध किया जा सकता है, इसके बाद उनके सामान्य नियम जैसे कि robots.txt में हैं ?
User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/
—
अंक
user-agent: *
अस्वीकृति का पालन क्यों नहीं करते हैं ? क्या "अनुमत" उपयोगकर्ता-एजेंटों की सूची उस सूची से अधिक लंबी है जिसे आप अस्वीकार करना चाहते हैं?