हमारे पास अतीत में याहू के (अविश्वसनीय) बुरी तरह से लिखे गए मकड़ी के साथ कुछ गंभीर मुद्दे थे , और परिणामस्वरूप हमने उन्हें अवरुद्ध कर दिया। Tumblr के Marco Arment ने भी हमारे साथ 8/31-2009 को अपनी कुंठा साझा की, जो हमें अवरुद्ध करने वाला कारक था।
[याहू स्पाइडर] के बारे में 5:30 पूर्वाह्न ईएसटी के बाद से 70-200 अनुरोधों / सेकंड के साथ हमें भर रहा है। मैंने कभी भी ऐसा कुछ नहीं देखा है, यहां तक कि उनके दुष्ट "प्रायोगिक" क्रॉलर से भी, जिन्होंने अतीत में हमारे साथ दुर्व्यवहार किया है। Robots.txt प्रतिबंध पर्याप्त नहीं है: मुझे लोड-बैलेंसर स्तर पर आईपी द्वारा उन्हें ब्लॉक करने की आवश्यकता है। चूंकि उन्होंने अतीत में स्टैक ओवरफ्लो का दुरुपयोग किया है, मुझे लगा कि आप जानना चाहते हैं।
ऐसा लगता है कि याहू की वेब खोज "पावर्ड बाई बिंग!" अभी व। यह अच्छा है, क्योंकि हमें बिंग के मकड़ी (उर्फ एमएसएनबीओटी) के साथ कोई समस्या नहीं है।
तो, क्या याहू की खोज अब बिंग खोज के समान है, या क्या हमें संभावित रूप से उन्हें अनब्लॉक करना चाहिए अगर उन्हें किसी भी तरह से, सभी बाधाओं के खिलाफ, इतनी मेहनत से चूसना बंद कर दिया जाए?