user-agent पर टैग किए गए जवाब

हमारे पास अतीत में याहू के (अविश्वसनीय) बुरी तरह से लिखे गए मकड़ी के साथ कुछ गंभीर मुद्दे थे , और परिणामस्वरूप हमने उन्हें अवरुद्ध कर दिया। Tumblr के Marco Arment ने भी हमारे साथ 8/31-2009 को अपनी कुंठा साझा की, जो हमें अवरुद्ध करने वाला कारक था। [याहू स्पाइडर] …

25 user-agent  bing  yahoo  web-crawlers 

आस्क बॉट है, जो इस हेडर को सेट करता है: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) इसे ध्यान में रखते हुए, मेरे पास निम्नलिखित प्रश्न हैं: अगर मैं नासमझ नाम का एक वेब क्रॉलर लिख रहा हूं, तो मुझे किस उपयोगकर्ता एजेंट का उपयोग करना चाहिए? अगर मैं लगाऊं Mozilla/2.0या क्या फर्क …

18 user-agent  web-crawlers 

मेरे लॉग बॉट आगंतुकों से भरे हुए हैं, अक्सर पूर्वी यूरोप और चीन से। बॉट्स की पहचान अहेरेफ्स, सेज़नाम, LSSRocketCrawler, Yandex, Sogou इत्यादि के रूप में की जाती है। क्या मुझे अपनी साइट से इन बॉट्स को ब्लॉक करना चाहिए और क्यों? मेरी साइट पर ट्रैफ़िक बढ़ाने में कौन से …

12 seo  web-crawlers  user-agent 

मुझे एक खाली उपयोगकर्ता-एजेंट की व्याख्या कैसे करनी चाहिए? मेरे पास कुछ कस्टम एनालिटिक्स कोड हैं और उस कोड को केवल मानव ट्रैफ़िक का विश्लेषण करना है। मुझे मानव ट्रैफ़िक और बॉट ट्रैफ़िक को दर्शाते हुए उपयोगकर्ता-एजेंटों की एक कार्य सूची मिली है, लेकिन खाली उपयोगकर्ता-एजेंट समस्याग्रस्त साबित हो रहा …

12 apache  analytics  http  user-agent  logging 

क्या उपयोगकर्ता-एजेंटों को एक साथ सूचीबद्ध किया जा सकता है, इसके बाद उनके सामान्य नियम जैसे कि robots.txt में हैं ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/

11 web-crawlers  robots.txt  user-agent 

क्या किसी नियमित ब्राउज़र में उपयोगकर्ता एजेंट में 'बॉट' या 'क्रॉल' होता है? मैं अपनी साइट पर उपयोगकर्ता एजेंट को यह देखने के लिए देखता हूं कि यह बॉट से आ रहा है या नहीं। अगर यह है, तो मैं कुछ छोटे अनुकूलन कर सकता हूं क्योंकि वे लॉगिन नहीं …

11 user-agent 

मेरी साइट पर अपाचे प्रवेश लॉग प्रविष्टियाँ आमतौर पर इस तरह होती हैं: 207.46.13.174 - - [31 / अक्टूबर / 2016: 10: 18: 55 +0100] "GET / संपर्क HTTP / 1.1" 200 256 "-" "मोज़िला / 5.0 (संगत; bingbot / 2.0; + http: // www) .bing.com / bingbot.htm) "0.607 MISS …

10 joomla  user-agent  apache-log-files  botattack 

मैं एक छोटा सा वेब क्रॉलर चलाता हूं और यह तय करना था कि उपयोगकर्ता एजेंट इसके लिए क्या उपयोग करें। क्रॉलर एजेंटों की सूची के साथ-साथ विकिपीडिया निम्नलिखित प्रारूप का सुझाव देता है: examplebot/1.2 (+http://www.example.com/bot.html) हालाँकि कुछ बॉट्स URL के सामने प्लस साइन को छोड़ देते हैं। और मुझे …

10 web-crawlers  http  user-agent 

मेरे पास एक साइट है, जो नियामक कारणों से, स्वचालित रूप से अनुक्रमित या खोजी नहीं जा सकती है। इसका मतलब है कि हमें सभी रोबोटों को दूर रखने और उन्हें साइट को फैलाने से रोकने की आवश्यकता है। जाहिर है कि हमारे पास एक robots.txt फ़ाइल है जो शुरू …

9 apache  web-crawlers  user-agent