web-crawlers पर टैग किए गए जवाब

मैं एक साइट को एक नए डोमेन पर भेज रहा हूं। साइट अपने आप में बहुत सीधी है (यह जेकेल का उपयोग करती है), और सब कुछ ठीक हो गया है - डिस्कस थ्रेड्स के प्रवास को छोड़कर। मुझे आंशिक सफलता मिली है - कुछ धागे सफलतापूर्वक चले गए हैं, …

9 web-crawlers 

मैं Ask.comअपने साइटमैप को पिंग करने के लिए एक खोज इंजन के रूप में उपयोग कर रहा हूं। जब मैं अपने साइटमैप को आज फिर से अनुक्रमित करने के लिए अपने साइटमैप को पिंग करने गया, तो वेबसाइट ( http://submissions.ask.com/ping ) कहती है कि यह अब मौजूद नहीं है? मैंने …

9 search-engines  sitemap  web-crawlers  ping 

मेरे पास एक साइट है, जो नियामक कारणों से, स्वचालित रूप से अनुक्रमित या खोजी नहीं जा सकती है। इसका मतलब है कि हमें सभी रोबोटों को दूर रखने और उन्हें साइट को फैलाने से रोकने की आवश्यकता है। जाहिर है कि हमारे पास एक robots.txt फ़ाइल है जो शुरू …

9 apache  web-crawlers  user-agent