जवाबों:
कोई बॉट जो ईमेल कटाई नहीं कर रहा है या कमजोरियों के लिए आपकी साइट का परीक्षण कर रहा है, वह आपके robots.txt का सम्मान करेगा। वास्तव में ये दुर्भावनापूर्ण बॉट आपकी साइट को बेहतर मैप करने के लिए robots.txt पर देखते हैं। यदि आपके पास इसका कोई बिंदु है, तो Disallow:इसका उपयोग आपकी साइट पर बेहतर हमला करने के लिए किया जाएगा। एक हैकर जो आपकी साइट को मैन्युअल रूप से देख रहा है, को किसी भी फाइल / निर्देशिका की जांच करने के लिए अतिरिक्त समय बिताना चाहिए जिसे आप अस्वीकार करने का प्रयास कर रहे हैं।
robots.txt आपकी वेबसाइट की सुरक्षा नहीं बढ़ाएगा या ई-मेल एड्रेस कटाई को नहीं रोकेगा। robots.txt आपकी वेबसाइट के अनुभागों को छोड़ने के लिए खोज इंजन के लिए एक गाइड है। इन्हें अनुक्रमित नहीं किया जाएगा और इनका उपयोग उन सभी वर्गों के लिए किया जाना चाहिए जिन्हें आप सार्वजनिक खोज इंजन में दिखाना नहीं चाहते हैं।
हालांकि, यह किसी भी तरह से किसी अन्य बॉट को सुरक्षा बढ़ाने या ई-मेल कटाई को रोकने के लिए आपकी पूरी साइट को डाउनलोड करने से नहीं रोकेगा। सुरक्षा बढ़ाने के लिए आपको प्रमाणीकरण जोड़ने की आवश्यकता है और केवल सुरक्षित उपयोगकर्ताओं को सुरक्षित अनुभागों से परे जाने की अनुमति दें। ई-मेल एड्रेस कटाई को रोकने के लिए एक वेबसाइट पर सादे पाठ (या आसानी से समझने योग्य पाठ) में ई-मेल न डालें।
Robots.txt फ़ाइल केवल एक अनुरोध के रूप में कार्य करती है जो बॉट्स और स्पाइडर सामग्री के कुछ टुकड़ों को अकेले छोड़ देती है; यह वास्तव में उनकी पहुंच को रोक नहीं सकता है। "अच्छे" बॉट इसका सम्मान करेंगे, लेकिन "बुरे" वाले (शायद आप जिसे ब्लॉक करना चाहते हैं) इसे अनदेखा करेंगे और वैसे भी भविष्यवाणी करेंगे।
Robots.txt के बजाय, शायद आपको कैप्चा कोड का उपयोग करना होगा।