मेरे लॉग बॉट आगंतुकों से भरे हुए हैं, अक्सर पूर्वी यूरोप और चीन से। बॉट्स की पहचान अहेरेफ्स, सेज़नाम, LSSRocketCrawler, Yandex, Sogou इत्यादि के रूप में की जाती है। क्या मुझे अपनी साइट से इन बॉट्स को ब्लॉक करना चाहिए और क्यों?
मेरी साइट पर ट्रैफ़िक बढ़ाने में कौन से लोगों का वैध उद्देश्य है? उनमें से कई एसईओ हैं।
मुझे कहना है कि अगर बॉट्स बड़ी संख्या में आए हैं तो मुझे कम ट्रैफ़िक दिखाई देगा।
इनको ब्लॉक करना ज्यादा मुश्किल नहीं होगा क्योंकि ये सभी अपने यूजर एजेंट को मानते हैं कि वे बॉट हैं।
जवाबों:
आप बॉट्स को ब्लॉक कर सकते हैं लेकिन यह इस बात पर निर्भर करता है कि आप अपनी वेबसाइट के लिए क्या चाहते हैं।
यदि आप अपनी वेबसाइट को किसी विशेष खोज इंजन में अनुक्रमित नहीं देखना चाहते हैं, तो आप खोज इंजन बॉट्स को ब्लॉक कर सकते हैं।
उदाहरण: Yandex रूसी खोज इंजन है। यदि आपका व्यवसाय रूस को लक्षित नहीं कर रहा है तो आप इसके बॉट को ब्लॉक कर सकते हैं।
यदि आप अपने वेब विश्लेषिकी समाधान का उपयोग नहीं करना चाहते हैं तो आप एसईओ बॉट्स को ब्लॉक कर सकते हैं।
उदाहरण: Ahrefs वेब एनालिटिक्स समाधान है। यदि आप इस वेब विश्लेषिकी समाधान का उपयोग नहीं करते हैं तो आप इसके बॉट को ब्लॉक कर सकते हैं।
बॉट्स को ब्लॉक करने का कारण:
बॉट्स को ब्लॉक नहीं करने का कारण:
आप robotstxt.org के FAQ पढ़कर बॉट्स के बारे में अधिक जान सकते हैं ।
यदि आप ब्लॉक करने के लिए कई रोबोट निर्धारित करना चाहते हैं, तो आप इस वेबसाइट robots.txt से प्रेरणा ले सकते हैं ।
सावधान रहें, कुछ बॉट robots.txt को अनदेखा कर सकते हैं , अधिक जानकारी यहां ।
निष्कर्ष : आप यह निर्धारित करने के लिए इंटरनेट रोबोट फ़ंक्शन पर खोज कर सकते हैं कि उन्हें अवरुद्ध करना उपयोगी हो सकता है।
बॉट्स को ब्लॉक करने का प्रयास संसाधनों को मुक्त करने में मदद कर सकता है और आपके लॉग्स को साफ करने में मदद करता है यह ध्यान रखें कि robots.txt और यहां तक कि पेजों पर मेटा टैग का उपयोग करके वास्तव में आपकी साइट पर जाने वाले बॉट को रोकना नहीं है। वे अभी भी कभी-कभी आपकी साइट को क्रॉल कर सकते हैं यह देखने के लिए कि क्या रोबोट से इनकार कर दिया गया है। बहुत सारे बॉट भी उपयोगकर्ता एजेंट का उपयोग नहीं करते हैं और एक मानक उपयोगकर्ता एजेंट का उपयोग करेंगे। मैं जिन बॉट्स का जिक्र कर रहा हूं, वे आमतौर पर SEO हार्वेस्टिंग बॉट्स होते हैं जो बैकलिंक्स के लिए स्कैन करते हैं और सामान्य नहीं जिन्हें आप सर्च इंजनों से पाते हैं।
बॉट्स को ब्लॉक करने के बजाय आपको अपने बोट्स को काउंट करते समय इन बॉट्स में सिर्फ फैक्टर होना चाहिए, अपनी साइट को सक्रिय रूप से मॉनिटर करने के बाद आपकी रफ फिगर जो आपके बॉट्स हैं, को स्थापित करती हैं। अधिकांश लोग अद्वितीय यात्राओं की परवाह करते हैं और यह नियम बॉट को बाहर निकालते हैं क्योंकि वे लगातार लौट रहे हैं। इस दिन और उम्र में बहुत सारे सर्वर हैं, साझा होस्टिंग जो इन बॉट्स को पेजों के अलावा इतना संभाल सकती है कि आप अनुक्रमित नहीं करना चाहते हैं मुझे कोई कारण नहीं दिखता है कि इन प्रकार के बॉट्स को ब्लॉक क्यों करें। बेशक आपके पास हानिकारक बॉट हैं, लेकिन ये निश्चित रूप से उपयोगकर्ता एजेंट का उपयोग नहीं करेंगे;)।
व्यक्तिगत रूप से मेरा मानना है कि रोबोट को रोकना समय की बर्बादी है क्योंकि वे उस संसाधनों का बिल्कुल भी उपयोग नहीं करते हैं, एसईओ रोबोट आपकी साइट को PR0 पृष्ठों पर सूचीबद्ध करने में मदद कर सकते हैं जो निश्चित रूप से आपके पेजरैंक को बढ़ाता है और वहां स्वचालित रूप से आपको दंडित नहीं किया जाएगा। उनके द्वारा।
लॉग जारी करता है
आपको एक उचित लॉग दर्शक का उपयोग करना चाहिए जो आपको कुछ अनुरोधों को फ़िल्टर करने में सक्षम बनाता है, इससे आपके लॉग की समीक्षा करते समय यह आसान हो जाता है। अच्छे दर्शक बहुत सी चीजों को छान सकते हैं जैसे सामान्य दौरे, 404 'और इसके बाद।