मेरे पास एक साइट है, जो नियामक कारणों से, स्वचालित रूप से अनुक्रमित या खोजी नहीं जा सकती है। इसका मतलब है कि हमें सभी रोबोटों को दूर रखने और उन्हें साइट को फैलाने से रोकने की आवश्यकता है।
जाहिर है कि हमारे पास एक robots.txt फ़ाइल है जो शुरू से ही सही है। हालाँकि, robots.txt फ़ाइल का अवलोकन कुछ ऐसा है जो केवल अच्छी तरह से व्यवहार किए गए रोबोट करते हैं। हाल ही में हमारे पास कम व्यवहार वाले रोबोट के साथ कुछ मुद्दे हैं। मैंने कुछ उपयोगकर्ता-एजेंटों को प्रतिबंधित करने के लिए अपाचे को कॉन्फ़िगर किया है, लेकिन इसके आसपास प्राप्त करना बहुत आसान है।
तो, सवाल यह है कि क्या अपाचे को कॉन्फ़िगर करने का कोई तरीका है (शायद कुछ मॉड्यूल स्थापित करके?) रोबोट जैसे व्यवहार का पता लगाने और प्रतिक्रिया करने के लिए? कोई अन्य विचार?
फिलहाल मैं केवल इतना कर सकता हूं कि लॉग के मैनुअल निरीक्षण के आधार पर आईपी पते पर प्रतिबंध लगा दिया जाए और यह केवल एक दीर्घकालिक दीर्घकालिक रणनीति नहीं है।