web-crawlers पर टैग किए गए जवाब

जब मैं अपने अपाचे लॉग की जांच कर रहा हूं तो मैं देख सकता हूं कि पिछले 2 हफ्तों से दिन में 10 बार मेरी वेबसाइट रेंग रही है। ऐसा नहीं है कि मुझे इसकी बहुत परवाह है लेकिन मैं वास्तव में उत्सुक हूं कि वह ऐसा क्यों कर रहा …

12 seo  web-crawlers  baidu 

मैंने देखा कि # के माध्यम से अजाक्स एप्लिकेशन को क्रॉल करने योग्य बनाने के लिए Google के पास एक अच्छा प्रस्ताव / मानक था! (हैश बैंग)। http://googlewebmastercentral.blogspot.com/2009/10/proposal-for-making-ajax-crawlable.html मेरे प्रश्न हैं: क्या वे वर्तमान में इस "प्रस्ताव" का वास्तविक दुनिया में उपयोग कर रहे हैं? अन्य खोज इंजन हैं - …

12 seo  google  ajax  web-crawlers 

मेरी वेबसाइट कुछ पृष्ठों पर आगंतुक विचारों की गणना कर रही है। मैंने देखा कि Google और अन्य बोट्स मेरी साइट पर पागलों की तरह "क्लिक" कर रहे हैं और कुछ पृष्ठों पर अवास्तविक दृश्य गणना (मनुष्यों द्वारा उत्पादित लोगों की तुलना में) मिलते हैं। मैं अपने बॉट काउंट से …

12 php  mysql  web-crawlers  best-practices 

मैंने देखा है कि Google वेबमास्टर टूल मेरी वेबसाइट में बहुत सारे अवरुद्ध संसाधनों की रिपोर्ट कर रहा है। अभी सभी "अवरुद्ध संसाधन" .css, .js और चित्र (.jpg, .png) हैं जो मैं Cloudfront CDN से सेवा करता हूँ। मैंने बहुत समय परीक्षण किया है और यह पता लगाने की कोशिश …

11 google-search-console  web-crawlers  googlebot  cdn  amazon-cloudfront 

कई बॉट्स लिखे जाने के बाद, और एक साइट को क्रॉल करने के लिए होने वाली रैंडम बॉट्स की भारी मात्रा को देखा, मैं एक वेबमास्टर के रूप में सोच रहा हूं कि क्या बॉट्स वास्तव में किसी साइट पर देने लायक हैं? मेरा पहला विचार यह है कि साइट …

11 seo  web-crawlers  robots.txt  googlebot  bingbot 

यह मेरा robots.txt है : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz लेकिन Google वेबमास्टर टूल्स ने मुझे बताया कि रोबोट साइटमैप तक पहुंच को रोक रहा है: आपके साइटमैप तक पहुँचने का प्रयास करते समय हमें एक त्रुटि का सामना करना पड़ा। कृपया सुनिश्चित करें कि आपका साइटमैप …

11 google-search-console  robots.txt  web-crawlers 

मेरे पास एक ऐसी साइट है जो अभी लगभग 7,000 - 10,000 पेज प्रति दिन देखती है। 7/1/12 को लगभग 1 बजे से मैंने देखा कि सीटीआर नाटकीय रूप से बढ़ रहा था। इसके बाद इन क्लिक्स को फिर से क्रेडिट किया जाएगा। इसलिए, वे स्पष्ट रूप से कपटपूर्ण क्लिक …

11 google-adsense  advertising  web-crawlers  botattack 

क्या उपयोगकर्ता-एजेंटों को एक साथ सूचीबद्ध किया जा सकता है, इसके बाद उनके सामान्य नियम जैसे कि robots.txt में हैं ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/

11 web-crawlers  robots.txt  user-agent 

हमारे पास हमारे ग्राहक की साइट पर एक स्टोर लोकेटर पेज है। अंतिम उपयोगकर्ता अपने पोस्टकोड और एक खोज त्रिज्या में प्रवेश करता है और हम Google मानचित्र पर परिणाम प्रदर्शित करते हैं। हाल ही में हमने यह देखना शुरू किया था कि साइट समग्र ट्रैफ़िक में उल्लेखनीय वृद्धि के …

10 web-crawlers  google-maps 

मैंने अपने एसईओ समाचार में आज इस लेख को चलाया । ऐसा लगता है कि आप robots.txt में Noindex:मानक Disallow:निर्देशों के अलावा निर्देशों का उपयोग कर सकते हैं । Disallow: /page-one.html Noindex: /page-two.html ऐसा लगता है कि यह खोज इंजनों को पृष्ठ एक को क्रॉल करने से रोकेगा, और उन्हें …

10 web-crawlers  robots.txt  googlebot  noindex 

मैं एक साइट के लिए निम्नलिखित robots.txt फ़ाइल का उपयोग कर रहा हूं: लक्ष्य Googlebot और bingbot को पृष्ठ को छोड़कर साइट तक पहुंचने और साइट को /bedven/bedrijf/*क्रॉल करने से अन्य सभी बॉट्स को ब्लॉक करने की अनुमति देता है । User-agent: googlebot Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent: google Disallow: …

10 web-crawlers  robots.txt 

मैं एक छोटा सा वेब क्रॉलर चलाता हूं और यह तय करना था कि उपयोगकर्ता एजेंट इसके लिए क्या उपयोग करें। क्रॉलर एजेंटों की सूची के साथ-साथ विकिपीडिया निम्नलिखित प्रारूप का सुझाव देता है: examplebot/1.2 (+http://www.example.com/bot.html) हालाँकि कुछ बॉट्स URL के सामने प्लस साइन को छोड़ देते हैं। और मुझे …

10 web-crawlers  http  user-agent 

मेरे पास अपने स्कूल फ़ोल्डर में एक निर्देशिका में कुछ निजी फाइलें थीं। आप देख सकते हैं कि फ़ाइलें myschool.edu/myusername/myfolder पर जाकर मौजूद थीं, लेकिन myschool.edu/myusername/myfolder/myfile.html के माध्यम से फ़ाइलों को स्वयं एक्सेस करने की कोशिश करने से 403 त्रुटि होती है। और फिर भी Google किसी तरह उन निजी …

10 web-crawlers  security  googlebot 

मेरे पास एक वेबसाइट है जिसे मैं ज्यादातर सर्च इंजनों द्वारा अनुक्रमित नहीं करना चाहता, लेकिन मैं इसे आर्काइव डॉट ओआरजी पर अनंत काल के लिए संरक्षित करना चाहता हूं। तो मेरी robots.txtशुरुआत इसके साथ होती है: User-agent: * Disallow: / आज, आर्कियो.ऑर्ग के अनुसार मुझे robots.txtअपने बॉट की अनुमति …

10 web-crawlers  robots.txt  internet-archive 

इसलिए अब Google ने AJAX क्रॉलिंग योजना को हटा दिया है । वे कहते हैं कि नई वेबसाइटों में इसे लागू करने के लिए परेशान न करें, क्योंकि अब इसकी आवश्यकता नहीं है क्योंकि Googlebot को अब गतिशील सामग्री देखने में कोई समस्या नहीं है। क्या हमें इस कथन पर …

9 seo  web-crawlers  googlebot  ajax