robots.txt पर टैग किए गए जवाब

मैं उन फाइलों की एक सूची रखना चाहता हूं जो हर वेबसाइट पर मौजूद होनी चाहिए। विचार अधिकांश ब्राउज़रों और बॉट्स को खुश करने और लॉग में 404 संदेशों की संख्या के साथ नीचे उतरने का है। अभी तक मेरे पास निम्नलिखित फाइलें हैं: /favicon.ico /robots.txt /sitemap.xml /apple-touch-icon-72x72-precomposed.png /apple-touch-icon-72x72.png /apple-touch-icon-precomposed.png …

36 robots.txt  404  logging  favicon 

अगर मैं कोई विशेष व्यवहार सेट नहीं करना चाहता हूं, तो क्या यह ठीक है यदि मैं एक robots.txt फ़ाइल को परेशान नहीं करता हूं? या एक की कमी हानिकारक हो सकती है?

29 robots.txt 

एक वेबसर्वर पर मुझे अब यह स्वीकार करना होगा कि मैंने देखा कि robots.txt खाली है। मुझे आश्चर्य हुआ कि क्या खाली robots.txt और कोई फ़ाइल के बीच कोई अंतर है। क्या क्रॉलर इन दो मामलों में अलग-अलग व्यवहार करते हैं? तो, क्या सिर्फ एक खाली robots.txt को हटाना सुरक्षित …

28 web-crawlers  robots.txt  webserver 

मेरे पास कुछ डायनेमिक जेनरेट किए गए URL हैं। क्या मैं इन URLs को किसी robots.txt फ़ाइल में ब्लॉक करने के लिए regex का उपयोग कर सकता हूं?

23 robots.txt  regular-expression 

मेरे पास दो साइट हैं जिन पर मैं वर्तमान में काम कर रहा हूं जो एक शॉपिंग कार्ट और एक अन्य दुकानदार है। उदाहरण के लिए दोनों एक ही डोमेन नाम के तहत हैं http://example.com/first_url http://example.com/second_url इन दोनों यूआरएल में उनके नीचे कई पेज हैं http://example.com/first_url/product1 http://example.com/first_url/product2 http://example.com/first_url/product3 http://example.com/second_url/product1 http://example.com/second_url/product2 …

19 seo  robots.txt 

मेरी साइट पर कुछ पृष्ठ हैं जिन्हें मैं खोज इंजनों से दूर रखना चाहता हूं, इसलिए मैंने उन्हें अपनी robots.txtफ़ाइल में इस तरह से अस्वीकृत कर दिया : User-Agent: * Disallow: /email फिर भी मैंने हाल ही में देखा कि Google अब भी कभी-कभी उन पृष्ठों के लिंक अपने खोज …

18 google-search  robots.txt 

मैंने एक सप्ताह पहले अपनी एक साइट में एक robots.txt फ़ाइल जोड़ी , जिसमें Googlebot को कुछ URL प्राप्त करने का प्रयास करने से रोकना चाहिए था। हालाँकि, इस सप्ताहांत मैं Googlebot को उन सटीक URL को लोड करते हुए देख सकता हूँ। क्या Google कैशे robots.txt और, यदि ऐसा …

17 googlebot  robots.txt  google-cache 

मेरे पास एक उप-निर्देशिका है जिसे मैं खोज इंजन वेब क्रॉलर से छिपाना चाहूंगा। ऐसा करने का एक तरीका robots.txtसर्वर की रूट निर्देशिका (मानक तरीका) में उपयोग करना है। हालाँकि, कोई भी व्यक्ति जो वेबसाइट URL जानता है और कुछ बुनियादी वेब ज्ञान रखता है, वह robots.txt सामग्री का उपयोग …

16 web-crawlers  robots.txt 

क्या आप कृपया मुझे बता सकते हैं कि robots.txtGoogle URL से अनुक्रमण को रोकने के लिए ऐसे URL को कैसे अवरुद्ध किया जाए ? http://www.example.com/+rt6s4ayv1e/d112587/ia0g64491218q मेरी वेबसाइट हैक कर ली गई थी जो अब बरामद हो गई है लेकिन हैकर ने Google में 5000 URL को अनुक्रमित किया है और …

15 google-search  robots.txt  url-removal 

मुझे यह पसंद नहीं है कि मैं अपने वेब सर्वर के access.log में बहुत सारी 404 त्रुटियां देखूं । मुझे वे त्रुटियां हो रही हैं क्योंकि क्रॉलर एक robots.txt फ़ाइल खोलने का प्रयास करते हैं , लेकिन कोई भी नहीं खोज सका। इसलिए मैं एक सरल robots.txt फ़ाइल रखना चाहता …

14 robots.txt 

क्या robots.txt में CSS और टेम्पलेट की अनुमति है ? यह किसी भी समस्याओं का कारण होना चाहिए? Joomla में, CSS और टेम्प्लेट्स को robots.txt में बंद कर दिया गया है । कृपया मेरी आगामी वेबसाइटों के लिए CSS, टेम्प्लेट इत्यादि के लिए रोबोट में डिसॉल्व करें या न करें, …

12 css  robots.txt 

मेरी वेबसाइट पर कुछ पृष्ठ हैं जो मैं चाहता हूं कि उपयोगकर्ता केवल तभी यात्रा कर सकेगा जब मैं उसे URL दे दूंगा। यदि मैं एकल पृष्ठों को अस्वीकार करता हूं robots.txt, तो वे इसे देख रहे किसी भी व्यक्ति द्वारा दिखाई देंगे। मेरा सवाल है: अगर मैं उन्हें कहीं …

12 robots.txt 

कई बॉट्स लिखे जाने के बाद, और एक साइट को क्रॉल करने के लिए होने वाली रैंडम बॉट्स की भारी मात्रा को देखा, मैं एक वेबमास्टर के रूप में सोच रहा हूं कि क्या बॉट्स वास्तव में किसी साइट पर देने लायक हैं? मेरा पहला विचार यह है कि साइट …

11 seo  web-crawlers  robots.txt  googlebot  bingbot 

मेरे पास एक उप-डोमेन है जिसे मैं किसी भी खोज इंजन परिणाम में सूचीबद्ध नहीं करना चाहता हूं। मान लीजिए कि मेरे पास है: http://www.example.com http://child.example.com मैं डोमेन के सभी URL कैसे छिपा सकता हूं child.example.comजो वर्तमान में खोज इंजन परिणामों में दिखाई दे रहे हैं?

11 search-engines  url  robots.txt  search  noindex 

यह मेरा robots.txt है : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz लेकिन Google वेबमास्टर टूल्स ने मुझे बताया कि रोबोट साइटमैप तक पहुंच को रोक रहा है: आपके साइटमैप तक पहुँचने का प्रयास करते समय हमें एक त्रुटि का सामना करना पड़ा। कृपया सुनिश्चित करें कि आपका साइटमैप …

11 google-search-console  robots.txt  web-crawlers