महान सवाल है, और एक कई वेबमास्टर्स रुचि हो सकती है क्योंकि Baidu मकड़ी बेहद आक्रामक है और सर्वर से संसाधनों को झपकी ले सकता है ...
जैसा कि Baidu की वेब खोज समाचार में संकेत दिया गया है, Baidu मकड़ी क्रॉल-देरी अधिसूचना सेटिंग का समर्थन नहीं करती है , और इसके बजाय आपको अपनी साइट पर अपने Baidu वेबमास्टर टूल प्लेटफ़ॉर्म के साथ पंजीकृत और सत्यापित करने की आवश्यकता होती है, जैसा कि यहां बताया गया है । यह सीधे Baidu के साथ क्रॉलिंग आवृत्ति को नियंत्रित करने का एकमात्र विकल्प प्रतीत होता है।
समस्या यह है कि अन्य स्पैम बॉट Baidu के उपयोगकर्ता के एजेंट (सूचीबद्ध का उपयोग है यहाँ , नंबर 2 के अंतर्गत) अपनी साइट मकड़ी में अपने अकसर किये गए सवाल है संकेत के रूप में यहाँ संख्या 4. तहत तो Baidu के साथ एक धीमा क्रॉल दर का अनुरोध सब कुछ हल नहीं कर सकता है।
इसलिए, यदि आप Baidu के वेबमास्टर टूल का उपयोग करने का निर्णय लेते हैं, तो यह बॉट बनाम ब्राउजर डेटाबेस जैसे संसाधन का उपयोग करके या रिवर्स डीएनएस लुकअप का उपयोग करके आईपी के साथ ज्ञात अपने उपयोगकर्ता-एजेंटों की तुलना करना भी बुद्धिमान हो सकता है।
केवल अन्य विकल्प या तो सभी Baidu उपयोगकर्ता-एजेंटों को ब्लॉक करने के लिए हैं, और इस प्रकार Baidu से संभावित ट्रैफ़िक का त्याग करते हैं, या Apache के लिए mod_qos जैसे कुछ का उपयोग करके अत्यधिक अनुरोधों को सीमित करने का प्रयास करते हैं , जो प्रबंधन करने का दावा करता है:
- किसी स्थान / संसाधन (URL) या वर्चुअल होस्ट के समवर्ती अनुरोधों की अधिकतम संख्या।
- बैंडविड्थ की सीमा जैसे किसी URL के लिए प्रति सेकंड अधिकतम अनुमत संख्या या डाउनलोड किए गए kbytes की अधिकतम / न्यूनतम सीमा।
- प्रति सेकंड अनुरोध घटनाओं की संख्या (विशेष अनुरोध की स्थिति) को सीमित करता है।
- यह बहुत महत्वपूर्ण व्यक्तियों (वीआईपी) का भी "पता लगा सकता है" जो कम प्रतिबंधों के बिना या बिना वेब सर्वर तक पहुंच सकता है।
- जेनेरिक अनुरोध लाइन और हेडर फिल्टर अनधिकृत संचालन से इनकार करने के लिए। शरीर डेटा सीमा और फ़िल्टरिंग का अनुरोध करें (mod_parp की आवश्यकता है)।
- टीसीपी कनेक्शन स्तर पर सीमाएं, उदाहरण के लिए, एकल आईपी स्रोत पते या डायनामिक कीपिंग-कंट्रोल से अधिकतम अनुमत कनेक्शन की संख्या।
- जब ज्ञात सर्वर मुफ्त टीसीपी कनेक्शन से बाहर निकलता है, तो ज्ञात आईपी पते को प्राथमिकता देता है।
मुझे Baidu वेबमास्टर टूल के साथ रिपोर्ट किए गए अनुभव नहीं मिले हैं, जो लोड करने में धीमा है और इसमें अनुवाद के मुद्दे (कोई भी अंग्रेज़ी संस्करण नहीं है)। यह मददगार हो सकता है, लेकिन राय-आधारित जरूर हो सकता है।