क्यों बिडू मेरी साइट को पागलों की तरह क्रॉल करता है

12

जब मैं अपने अपाचे लॉग की जांच कर रहा हूं तो मैं देख सकता हूं कि पिछले 2 हफ्तों से दिन में 10 बार मेरी वेबसाइट रेंग रही है।

ऐसा नहीं है कि मुझे इसकी बहुत परवाह है लेकिन मैं वास्तव में उत्सुक हूं कि वह ऐसा क्यों कर रहा है। यह वास्तव में एक छोटी सी एकल पृष्ठ वेबसाइट है जिसमें बहुत अधिक आवक लिंक नहीं हैं।

क्या इसके पीछे कोई कारण है?

220.181.108.169 [10/Mar/2012:10:41:29 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
180.76.5.197 [10/Mar/2012:11:02:02 +0100] "GET / ...robots.txt +(+http://www.baidu.com/search/spider.htm)"
123.125.71.100 [10/Mar/2012:11:33:15 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.167 [10/Mar/2012:11:33:52 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.116 [10/Mar/2012:12:24:48 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.172 [10/Mar/2012:12:25:05 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.111 [10/Mar/2012:13:33:22 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.167 [10/Mar/2012:13:34:03 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.168 [10/Mar/2012:14:12:05 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.107 [10/Mar/2012:14:23:41 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.176 [10/Mar/2012:14:23:58 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.94 [10/Mar/2012:15:25:59 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.183 [10/Mar/2012:15:26:21 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.92 [10/Mar/2012:17:45:55 +0100] "GET / ...robots.txt +http://www.baidu.com/search/spider.html)"
123.125.71.71 [10/Mar/2012:17:45:57 +0100] "GET / ...robots.txt +http://www.baidu.com/search/spider.html)"
123.125.71.79 [10/Mar/2012:17:46:04 +0100] "GET / ...robots.txt +http://www.baidu.com/search/spider.html)"
123.125.71.103 [10/Mar/2012:17:47:32 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.179 [10/Mar/2012:17:48:37 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.108 [10/Mar/2012:18:37:21 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.185 [10/Mar/2012:18:38:13 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.96 [10/Mar/2012:19:25:50 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.169 [10/Mar/2012:19:25:59 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.101 [10/Mar/2012:20:25:51 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.176 [10/Mar/2012:20:26:09 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.105 [10/Mar/2012:21:33:38 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.178 [10/Mar/2012:21:34:15 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
180.76.5.170 [10/Mar/2012:21:57:39 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.98 [10/Mar/2012:22:26:13 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.175 [10/Mar/2012:22:26:33 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.104 [10/Mar/2012:23:34:09 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.169 [10/Mar/2012:23:34:48 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.171 [10/Mar/2012:23:52:22 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.168 [10/Mar/2012:23:52:22 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.110 [11/Mar/2012:00:33:52 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.184 [11/Mar/2012:00:34:27 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.103 [11/Mar/2012:02:37:21 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.177 [11/Mar/2012:02:37:58 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.97 [11/Mar/2012:03:34:30 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.172 [11/Mar/2012:03:35:07 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.107 [11/Mar/2012:04:35:33 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.178 [11/Mar/2012:04:36:16 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.115 [11/Mar/2012:05:34:31 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.187 [11/Mar/2012:05:35:12 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.97 [11/Mar/2012:06:24:17 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.181 [11/Mar/2012:06:24:32 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.112 [11/Mar/2012:07:40:27 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.187 [11/Mar/2012:07:41:17 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.95 [11/Mar/2012:08:29:42 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.175 [11/Mar/2012:08:30:07 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.105 [11/Mar/2012:09:35:23 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.184 [11/Mar/2012:09:36:05 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.106 [11/Mar/2012:10:39:32 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.165 [11/Mar/2012:10:40:11 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.171 [11/Mar/2012:11:23:57 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
seo  web-crawlers  baidu 
— yokoloko
स्रोत
क्या आपको Baidu.com से कोई कार्बनिक ट्रैफ़िक प्राप्त हुआ है? यदि नहीं तो मैं मकड़ी को रोक देता अगर वह आपके बैंडविड्थ को इस तरह खा रही होती।
— आंगियो
कार्बनिक ट्रैफ़िक से आपका क्या तात्पर्य है, इस बारे में निश्चित नहीं है, लेकिन यदि आप उपयोगकर्ताओं से बडू सर्च इंजन का उपयोग करते हैं, तो इसका उत्तर नहीं है। यह ज्यादा बैंड-बाजे या बारात नहीं ले रहा है। यह सिर्फ इतना है कि मैं उत्सुक हूं कि क्यों नायडू इसे इतना क्रॉल कर रहे हैं।
— योकोलोको
1
हां, मेरा यही मतलब है। अगर यह ज्यादा बैंडविड्थ नहीं ले रहा है तो मैं चिंता नहीं करूंगा जब तक कि यह जारी न हो। आप हमेशा उन्हें ईमेल कर सकते हैं। "यदि आपको बैडस्पीडर से कोई अनुचित जानकारी मिलती है, तो कृपया हमें spiderhelp@baidu.com पर सूचित करें"
— Anagio
1
यदि आप कभी भी उनसे कोई खोज ट्रैफ़िक प्राप्त नहीं करना चाहते हैं, तो मैं केवल एक खोज इंजन मकड़ी को अवरुद्ध कर दूंगा, न कि केवल इसलिए कि आप वर्तमान में कोई प्राप्त नहीं करते हैं - विशेष रूप से यह देखते हुए कि Baidu बाज़ार के मामले में दुनिया का तीसरा सबसे बड़ा खोज इंजन है शेयर।
— लेज़ माज़े
3
Baidu तब तक बहुत आक्रामक होता है जब तक कि यह आपकी साइट को पर्याप्त रूप से अनुक्रमित नहीं कर देता। वहाँ बाहर स्क्रैपर्स हैं जो Baidu होने का दावा करते हैं, मैं उन्हें पहचानने और चीजों को हाथ से बाहर निकलने पर प्रतिबंध लगाने के लिए botsvsbrowsers.com का उपयोग करता हूं । यैंडेक्स एक ही तरह का ट्रैफ़िक उत्पन्न कर सकता है।
— फियास्को लैब्स

जवाबों:

7

यह ऐसा कुछ नहीं लगता है जिसे आपको बहुत अधिक चिंता करनी चाहिए, Google ने मेरी कुछ साइटों को इसी तरह से क्रॉल किया है, लेकिन यह एक नकली बॉट हो सकता है, इसलिए नीचे दिए गए लिंक देखें ...

Baidu स्पाइडर पूछे जाने वाले प्रश्न के (क्रोम अनुवाद में बनाया गया है) यह कहना है: -

4. बैडस्पीडर मेरी साइट को लगातार क्रॉल क्यों करता है? नवीनतम जानकारी प्रस्तुत करने के लिए, Baiduspider नए पृष्ठों या पृष्ठों को अक्सर आपकी साइट पर नवीनीकृत करता है। कृपया यह देखने के लिए लॉग की जाँच करें कि क्या बैडस्पीडर से रेंगना उचित है।

स्पैमर या अन्य परेशानी निर्माताओं द्वारा अतिरिक्त क्रॉलिंग से बचने के लिए जो बैडस्पीडर होने का दिखावा करते हैं, आप लॉग की जांच कर सकते हैं। जब आपको कोई असामान्य रेंगते हुए पाया जाता है, तो कृपया हमें spiderhelp@baidu.com पर सूचित करें और बैडस्पीडर का लॉग प्रदान करें।

Baidu यह वेबमास्टर टूल का अपना संस्करण प्रदान करता है (क्रोम के अनुवाद फ़ंक्शन की आवश्यकता होगी, जब उपकरण स्वयं एक्सेस कर रहे हों) शायद उनके लिए साइन अप करने से कुछ उत्तर मिल सकते हैं। Google WMT क्रॉल दर को प्रबंधित करने की सीमित क्षमता प्रदान करता है, शायद उनका टूल कुछ इसी तरह की कार्यक्षमता प्रदान करता है।

— toomanyairmiles
स्रोत
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.