Robots.txt - CSS अनुमति या अस्वीकृति

Question

क्या robots.txt में CSS और टेम्पलेट की अनुमति है ?

यह किसी भी समस्याओं का कारण होना चाहिए?

Joomla में, CSS और टेम्प्लेट्स को robots.txt में बंद कर दिया गया है । कृपया मेरी आगामी वेबसाइटों के लिए CSS, टेम्प्लेट इत्यादि के लिए रोबोट में डिसॉल्व करें या न करें, इसका हल खोजने में मेरी मदद करें।

Comments

मुझे नहीं लगता कि जूमला इन फाइलों को डिफ़ॉल्ट रूप से ब्लॉक करता है - अगर ऐसा है तो आप क्या कर रहे हैं?

— श्रीवृक्ष

Answer 1

Google ने हाल ही में अपने दिशानिर्देशों को आधिकारिक रूप से अपडेट किया है कि आपको robots.txt में CSS या JS फ़ाइलों तक पहुंच को अवरुद्ध नहीं करना चाहिए । यह सुनिश्चित करता है कि जब Google साइट को क्रॉल करता है, तो वह इसे बिल्कुल एक ब्राउज़र के रूप में प्रस्तुत कर सकता है।

यदि आप CSS या JS फाइल को ब्लॉक करते हैं, तो इससे यह नुकसान हो सकता है कि आपकी वेबसाइट रैंकिंग में कितना अच्छा प्रदर्शन करती है।

अधिक जानकारी यहाँ: हमारे तकनीकी वेबमास्टर दिशानिर्देशों को अद्यतन करना और यहाँ: वेबमास्टर दिशानिर्देश

जैसा कि यह एक हालिया सिफारिश है, कई वेबसाइटों और सीएमएस (जैसे कि जूमला) में अक्सर ऐसी फाइलें होती हैं जो robots.txt में अवरुद्ध होती हैं । इसके पीछे तर्क यह था कि आमतौर पर खोज इंजनों को इन फ़ाइलों को क्रॉल या इंडेक्स करने की आवश्यकता नहीं होती थी, इसलिए अनावश्यक फ़ाइलों और निर्देशिकाओं को अनुक्रमित होने से रोकने के लिए और 'क्रॉल बजट' को बचाने के लिए, इन्हें अक्सर robots.txt में ब्लॉक किया जाएगा ।

Comments

Google वास्तव में काफी लंबे समय से कह रहा है कि आपको जेएस और सीएसएस (मार्च 2012 से मैट कट्स वीडियो) को ब्लॉक नहीं करना चाहिए क्योंकि यह आपकी साइट को क्रॉल करने की जी की क्षमता को नुकसान पहुंचा सकता है, यह सिर्फ इतना है कि उन्होंने इसे हाल ही में "अधिक आधिकारिक" बना दिया है।

— Mrhhite

एक दशक से अधिक समय से सीएसएस और जेएस को अवरुद्ध नहीं करने की सलाह दी गई है। मुझे पता है कि खोज इंजन द्वारा प्रस्तुत करना नया लगता है, लेकिन यह नहीं है और सरल जेएस सहित प्रतिपादन के कुछ रूपों का अस्तित्व बहुत लंबे समय से है।

— क्लोसेट्नोक

अतिरिक्त नोट (कुछ हद तक संबंधित है क्योंकि इसका उपयोग अक्सर जेएस के साथ किया जाता है) - विषय / दृश्य / JSON / URi के माध्यम से मार्ग को सुलभ बनाने वाले किसी भी नियंत्रकों के संबंध में - आपको उन लोगों को ब्लॉक करना चाहिए या आप का उपयोग कर पृष्ठ के बजाय गैर-थीम वाले क्षेत्रों को अनुक्रमित किया जा सकता है। डेटा पहलू। यह "देखने" का एक क्षेत्र है जो ब्लॉक करने के लिए वैध है, विशेष रूप से ऐसी चीजें जो जेएस जेन्सन की तरह उपयोग करती हैं। अक्सर G, JS को चलाएगा, JSON लिंक को देखेगा, और इसे देख सकता है। त्रुटियों का कारण बनता है या अगर यह एक आधा निर्मित सूचकांक है। बिल्कुल नया कैन-ओ-कीड़ा, लेकिन बस जागरूक रहें।

— धुपिन

मैं कार्गो पंथ के रवैये के साथ अपनी मजबूत असहमति व्यक्त करने के लिए मजबूर महसूस करता था कि Google जो भी कहता है, हमें करना चाहिए। Google यह भी कहता है कि यदि आप उन्हें छवियों को क्रॉल करने, HTTPS इत्यादि का उपयोग करने की अनुमति देते हैं, तो Google आपकी साइट को उच्च रैंक देगा, Google द्वारा कहे गए सभी चीज़ों का अनुपालन करके, आप बड़ी मांग करने के लिए उन्हें अधिक शक्ति सौंप रहे हैं। दिन के अंत में, क्या आप इंसानों या रोबोटों के लिए अपनी वेबसाइट बना रहे हैं?

— क्वेश्चन ओवरफ्लो 3

यह निर्भर करता है कि आप Google में अच्छी रैंकिंग पर कितना भरोसा करते हैं? हालांकि अधिकांश चीजों की तरह, इसका केवल एक छोटा संकेतक इनक बड़ी संख्या में कारक हैं। जैसा कि आपने बताया कि हाल ही में उन्होंने कहा कि HTTP एक छोटा रैंकिंग कारक है, फिर भी मैंने उन 100 साइटों में से कोई भी नहीं बदला है जो मैं HTTP पर काम करता हूं, और उनकी रैंकिंग ठीक है।

— मैक्स

Answer 2

आपके robots.txt की रणनीति को हमेशा इस सवाल का जवाब देना चाहिए: मेरी वेब के किन वर्गों को रोबोट द्वारा क्रॉल नहीं किया जाना चाहिए और कौन से अनुभागों को रोबोट द्वारा क्रॉल किया जा सकता है।

रोबोट अपने स्वयं के तर्क को लागू करते हैं और कई उद्देश्य होते हैं (न केवल Google के पास क्रॉलर है ...) इसलिए यदि आप मान रहे हैं कि आपके CSS और JS फ़ाइलों द्वारा किसी रोबोट को "विचलित" किया जाता है और आप रोबोट के ब्लैक बॉक्स को खोलते हैं और मान लेते हैं वर्तमान कार्यान्वयन और वर्तमान रोबोट की मंशा है। यह कोई उपयोगी दीर्घकालिक रणनीति नहीं है।

रोबोट के डोमेन में सोचने के बजाय अपने वेब के सामग्री डोमेन में सोचने की कोशिश करें।

मैं इंगित करना चाहता हूं कि robots.txt फ़ाइल कोई सुरक्षा तंत्र नहीं है।

Answer 3

टेम्पलेट्स का उपयोग ब्लॉगिंग या सामग्री प्रबंधन सॉफ्टवेयर (सीएमएस) एप्लिकेशन द्वारा किया जाता है और इसे बाहरी रूप से सुलभ नहीं होना चाहिए जहां सीएसएस को ब्राउज़र और खोज इंजन द्वारा पढ़ा जाता है और इसे पढ़ा जाना चाहिए। ऐसा कहने के बाद, मैं या तो एक को ब्लॉक नहीं करूंगा, लेकिन मैं सीएमएस द्वारा कोई भी बदलाव नहीं करूंगा। खोज इंजन और बॉट आपके टेम्प्लेट की परवाह नहीं करते हैं। बस URL / URI द्वारा अपनी साइट तक पहुंच को अवरुद्ध करें जिसे आप अनुक्रमित या पढ़ना नहीं चाहते हैं, लेकिन सुरक्षा टूल के रूप में robots.txt के बारे में न सोचें। यह उस के लिए डिज़ाइन नहीं किया गया है।