web-crawlers पर टैग किए गए जवाब

मैं जिस वेबसाइट का प्रबंधन करता हूं, उसके लिए लॉग्स Bingbot द्वारा गैर-मौजूद फ़ाइल के लिए एक अनुरोध दिखाते हैं। अनुरोध का विवरण है पथ: /trafficbasedsspsitemap.xml उपयोगकर्ता: "मोज़िला / 5.0 (संगत; बिंगबॉट / 2.0; + http://www.bing.com/bingbot.htm )" IP पता: 65.55.213.244 (रिवर्स लुकअप msnbot-65-55-213-244.search.msn.com पर हल होता है ) बिंगबॉट इस …

28 bing  logging  web-crawlers 

एक वेबसर्वर पर मुझे अब यह स्वीकार करना होगा कि मैंने देखा कि robots.txt खाली है। मुझे आश्चर्य हुआ कि क्या खाली robots.txt और कोई फ़ाइल के बीच कोई अंतर है। क्या क्रॉलर इन दो मामलों में अलग-अलग व्यवहार करते हैं? तो, क्या सिर्फ एक खाली robots.txt को हटाना सुरक्षित …

28 web-crawlers  robots.txt  webserver 

एक छोटी साइट के प्रभारी एक वेबमास्टर के रूप में, जिसके पास एक मंच है, मुझे नियमित रूप से उपयोगकर्ताओं से शिकायत मिलती है कि दोनों आंतरिक खोज इंजन और बाहरी खोज (जैसे कि Google का उपयोग करते समय) मेरे उपयोगकर्ताओं के हस्ताक्षरों द्वारा पूरी तरह से प्रदूषित हैं (वे …

28 html  search-engines  forum  web-crawlers 

हमारे पास अतीत में याहू के (अविश्वसनीय) बुरी तरह से लिखे गए मकड़ी के साथ कुछ गंभीर मुद्दे थे , और परिणामस्वरूप हमने उन्हें अवरुद्ध कर दिया। Tumblr के Marco Arment ने भी हमारे साथ 8/31-2009 को अपनी कुंठा साझा की, जो हमें अवरुद्ध करने वाला कारक था। [याहू स्पाइडर] …

25 user-agent  bing  yahoo  web-crawlers 

यह सवाल स्टैक ओवरफ्लो से माइग्रेट किया गया था क्योंकि इसका जवाब वेबमास्टर्स स्टैक एक्सचेंज पर दिया जा सकता है। 9 साल पहले पलायन कर गए । क्या Google मकड़ी को पता है कि जावास्क्रिप्ट, या केवल HTML को कैसे प्रस्तुत करना है?

22 javascript  google  seo  web-crawlers 

बन्द है। यह सवाल ऑफ टॉपिक है । यह वर्तमान में उत्तर स्वीकार नहीं कर रहा है। इस प्रश्न को सुधारना चाहते हैं? अद्यतन करें तो यह वेबमास्टर्स स्टैक एक्सचेंज के लिए विषय पर है । 6 साल पहले बंद हुआ । मेरे पास एक बहुत बड़ी विरासत वाली साइट …

21 site-maintenance  web-crawlers  dead-links 

बहुत कुछ Baidu मकड़ी क्रॉल आवृत्ति से बना है। यह सच है: "बैडस्पीडर पागल की तरह रेंगता है।" मैंने उन साइटों पर इस घटना का अनुभव किया है जिनके साथ मैं काम करता हूं। कम से कम एक उदाहरण में, मैंने पाया है कि बैडस्पीडर Googlebot के समान आवृत्ति के …

18 seo  search-engines  googlebot  web-crawlers 

आस्क बॉट है, जो इस हेडर को सेट करता है: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) इसे ध्यान में रखते हुए, मेरे पास निम्नलिखित प्रश्न हैं: अगर मैं नासमझ नाम का एक वेब क्रॉलर लिख रहा हूं, तो मुझे किस उपयोगकर्ता एजेंट का उपयोग करना चाहिए? अगर मैं लगाऊं Mozilla/2.0या क्या फर्क …

18 user-agent  web-crawlers 

जब भी मैं एक उत्तरदायी वेबसाइट बनाता हूं तो मैं आमतौर पर 2 मेनू बनाता हूं: 1 छिपा हुआ और मोबाइल के लिए उपयोग किया जाता है और दूसरा मुख्य मेनू के रूप में प्रदर्शित होता है, फिर मोबाइल मेनू दिखाने के लिए छिपाया जाता है। जब भी यह एसईओ …

17 seo  web-crawlers  googlebot  navigation 

मेरे पास एक उप-निर्देशिका है जिसे मैं खोज इंजन वेब क्रॉलर से छिपाना चाहूंगा। ऐसा करने का एक तरीका robots.txtसर्वर की रूट निर्देशिका (मानक तरीका) में उपयोग करना है। हालाँकि, कोई भी व्यक्ति जो वेबसाइट URL जानता है और कुछ बुनियादी वेब ज्ञान रखता है, वह robots.txt सामग्री का उपयोग …

16 web-crawlers  robots.txt 

मेरी ज्यादातर यात्राएं नायडू मकड़ियों से होती हैं। मुझे नहीं लगता कि यह खोज इंजनों को बिल्कुल मदद करता है इसलिए मैं सोच रहा हूं कि उन्हें कैसे अवरुद्ध किया जाए। यह iptables के माध्यम से किया जा सकता है? मैं अपने वेबसर्वर के रूप में nginx का उपयोग कर …

15 traffic  nginx  web-crawlers  baidu 

मुझे याद है कि दुरुपयोग के कारण एक साइट बंद है और मुझे आश्चर्य है कि अगर बॉट्स का एक हिस्सा है। अगर बॉट मेरी साइट पर कुछ पोस्ट कर रहा है, तो क्या तरीके हैं जिससे मैं इसका मुकाबला कर सकता हूं? मैं कुछ कुकीज़ सेट करने और कुकीज़ …

15 web-crawlers  spam-prevention  spam-bots 

मैंने हाल ही में एक नया डोमेन पंजीकृत किया है, इसे अपने मौजूदा सर्वर की ओर इशारा किया है, और केवल "परीक्षण" कहकर एक न्यूनतम पृष्ठ सेट किया है और कुछ नहीं। मुझे आज रात ही पता चला कि पृष्ठ Google में पहले से ही अनुक्रमित है! साइट के लिए …

13 search-engine-indexing  domain-registration  web-crawlers 

मेरे पास एक बहुभाषी और बहुपद स्थल है। यह एक अद्वितीय CMS इंस्टॉलेशन (Drupal) से चलता है, इसलिए मेरे पास एक रूट डायरेक्टरी है। इसलिए अगर मेरे पास एक स्थिर रोबोट है। तो, मैं केवल एक ही डोमेन के लिए फाइलें दिखा सकता हूं, जहां तक ​​मुझे पता है। क्या …

13 htaccess  redirects  sitemap  web-crawlers 

मेरे लॉग बॉट आगंतुकों से भरे हुए हैं, अक्सर पूर्वी यूरोप और चीन से। बॉट्स की पहचान अहेरेफ्स, सेज़नाम, LSSRocketCrawler, Yandex, Sogou इत्यादि के रूप में की जाती है। क्या मुझे अपनी साइट से इन बॉट्स को ब्लॉक करना चाहिए और क्यों? मेरी साइट पर ट्रैफ़िक बढ़ाने में कौन से …

12 seo  web-crawlers  user-agent