क्या Google पूर्वावलोकन Robots.txt का पालन करता है?


11

क्योंकि यह सुनिश्चित है कि यह जैसा दिखता है। मेरी साइटों के लिए हम छवियों की निर्देशिका को अस्वीकार कर देते हैं और पूर्वावलोकन सभी लापता चित्र हैं जो साइट को विजयी बनाते हैं।

क्या यह मामला है और क्या रोबोट्सटैक्स का उपयोग करके छवियों का उपयोग करने के लिए सिर्फ पूर्वावलोकन बॉट की अनुमति देने का एक तरीका है?

संपादित करें: ऐसा लगता है कि पूर्वावलोकन सामान्य Google बीओटी और फ्लाई बॉट गूगल वेब पूर्वावलोकन पर दोनों के रूप में उत्पन्न हुए हैं (जैसा कि संक्षेप में) वेबमास्टर सेंट्रल ब्लॉग पर बताया गया है

एक साइट का उपयोग करके: खोज और मेरे निगरानी सॉफ्टवेयर मैं देख सकता था कि जब बॉट ने मेरी साइट को मारा और जब यह हुआ तो चित्र पूर्वावलोकन में बस ठीक दिखाई दिए। तो मेरा अनुमान है कि सामान्य क्रॉलर प्रति robots.txt प्रति छवियों को अनदेखा करता है, लेकिन पूर्वावलोकन क्रॉलर को वैसे भी छवियां मिलती हैं।

यह क्रियान्वयन एक प्रकार का टेढ़ा लगता है क्योंकि मेरे विकल्प प्रतीत होते हैं:

  1. Google bot को मेरी छवियां क्रॉल करने दें (जो मैं नहीं करना चाहता)
  2. nosnippet टैग का उपयोग करें जो पूर्वावलोकन को ब्लॉक करता है, लेकिन ALSO स्निपेट (जो मैं नहीं करना चाहता)
  3. Winky पूर्वावलोकन दिखाई देते हैं जो क्लिक थ्रू पर प्रतिकूल प्रभाव डाल सकते हैं

यदि यह केवल छवियों को अनुक्रमित नहीं करने का मामला है, तो आप क्रॉलिंग की अनुमति दे सकते हैं लेकिन "नोइंडेक्स" के साथ एक्स-रोबोट-टैग HTTP हेडर के साथ छवियों की सेवा कर सकते हैं।
जॉन म्यूएलर

@ जॉन मुलर ऐसा लगता है कि यह उत्तर है। इसे उत्तर अनुभाग में क्यों नहीं पोस्ट करें?
14

जवाबों:


3

मुझे लगता है कि जॉन मुलर ने टिप्पणियों में इसे सही बताया था।

यदि यह केवल छवियों को अनुक्रमित नहीं करने का मामला है, तो आप क्रॉलिंग की अनुमति दे सकते हैं, लेकिन "नोइन्डेक्स" के साथ एक्स-रोबोट-टैग HTTP हेडर के साथ छवियों की सेवा कर सकते हैं।

मुझे नहीं पता था कि आप Google को सामग्री w / o को क्रॉल करने की अनुमति दे सकते हैं। मैंने उसकी तकनीक को लागू किया और बस यह देखने के लिए कि वह काम कर रहा है, रेंगने का इंतजार कर रहा है।

मैं इसे कुछ दिनों में उत्तर के रूप में स्वीकार करूंगा जब तक कि जॉन अपनी टिप्पणियों को उत्तर अनुभाग में जोड़ना नहीं चाहता, ताकि वह प्रतिनिधि कमा सके।


टिप्पणी-उत्तर के बारे में क्षमा करें :)। एक बात का ध्यान रखें कि यह प्रक्रिया वास्तव में फिलहाल इतनी जल्दी नहीं है। छवियों की अनुक्रमण स्थिति को बदलना आमतौर पर वेब-खोज की तुलना में धीमा होता है, और पूर्वावलोकन छवियों को अपडेट करने में सामान्य वेब-खोज सामग्री (कैश्ड पृष्ठ, शीर्षक, स्निपेट) को अपडेट करने की तुलना में अधिक समय लग सकता है। व्यवहार में, मुझे लगता है कि यह कुछ ऐसा है जो आपको किसी भी परिवर्तन को देखने के लिए हफ्तों के क्रम पर ले जाएगा - इसलिए धैर्य रखें :)।
जॉन मुलर

धैर्य कुंजी है। परिवर्तन से कई सप्ताह बाहर, कुछ छवियां अब दिखाई दे रही हैं, जबकि अभी भी गायब हैं। लेकिन यह मेरी समस्या का समाधान प्रतीत होता है।
plankxt

2

जैसा कि पूर्वावलोकन का अधिकांश भाग Google bot क्रॉलर द्वारा किया जाता है, आपकी साइट के कुछ भाग के क्रॉलिंग को रोकने से पूर्वावलोकन प्रभावित होगा ...

आप Google बॉट को अपनी छवियों को क्रॉल करने की अनुमति क्यों नहीं देना चाहते हैं?


2
हम उत्पाद फोटोग्राफी में काफी समय और पैसा लगाते हैं और हम अपनी छवियों को छवि खोज से बाहर रखना पसंद करेंगे क्योंकि छवि खोज का उपयोग करने वाले लोग आमतौर पर छवि खोज रहे हैं और उत्पाद खरीदना नहीं चाहते हैं। यदि हमारी छवियां सूचकांक में थीं तो प्रतियोगियों के लिए उन्हें चोरी करना आसान हो जाएगा।
14

1
आप अपनी तस्वीरों को और / या स्टेग्नोग्राफ़ी को कॉपीराइट के अंदर और / या रेफरल द्वारा फ़िल्टर प्रदर्शन को वॉटरमार्क करने की कोशिश कर सकते हैं ...
पास्कल क्यूवाई

1
@G। क्यूई या मैं कॉपीराइट छवियों के लिए वेब को स्कैन करने के लिए बंदरों की एक अनंत संख्या का भुगतान कर सकता था।
21

@ जय: या आप कागज़ पर चित्रों को पहले से रख सकते हैं, और कभी भी, उन्हें इंटरनेट पर नहीं डाल सकते ... ^ ^
पास्कल क्यूवाई

1
अच्छी बात - कुछ भी आपके चित्रों को पूरी तरह से सुरक्षित नहीं कर सकता है, लेकिन मैं वास्तव में उन्हें Google के सूचकांक में नहीं रखना पसंद करूंगा। मैं वॉटरमार्किंग का प्रशंसक नहीं हूं, और हमारी छवियों को कहीं और कम करने का सबसे प्रभावी तरीका उन्हें सूचकांक से बाहर रखना है।
13

2

निम्नलिखित एक तकनीकी समाधान है जो आपकी साइट पर लागू हो सकता है या नहीं।

यह संभव है (यहां तक ​​कि) कि Google मेटा डेटा या robots.txt में कुछ संकेतों के साथ ऐसा करने का एक तरीका लेकर आएगा, लेकिन तब तक ...।


चरण 1।

फ्रंट पेज छवियों के लिए एक पुनर्निर्देशन सेवा / सर्वलेट बनाएं।

जैसे एक URL

/frontpageimages/[image name]

जो सर्वर साइड पर रीडायरेक्ट करता है

/images/[image name]

चरण 2।

अपने फ्रंट पेज पर (और केवल फ्रंट पेज पर) सभी इमेज लिंक रखें, जो इमेज से सीधे लिंक करने के बजाय चरण 1 से पुनर्निर्देशन सेवा से गुजरने के लिए फिर से लिखा गया है।

चरण 3।

सुनिश्चित करें कि robots.txt googlebot को क्रॉल करने की अनुमति देता है /frontpageimages/


यह सुनिश्चित करना चाहिए कि Google किसी भी चित्र को आपके सामने वाले पृष्ठ पर क्रॉल कर सकता है जबकि किसी भी चित्र को अन्य पृष्ठों पर अकेला छोड़ सकता है।

जबकि पुनर्निर्देशन सेवा (सिद्धांत रूप में) का उपयोग आपके सभी चित्रों को तकनीकी रूप से आपके रोबो.नेट का उल्लंघन किए बिना क्रॉल करने के लिए किया जा सकता है , यह ऐसा कुछ नहीं है जो अच्छी तरह से व्यवहार किए गए रोबोट (जैसे कि googlebot) करने जा रहे हैं। और बीमार व्यवहार वाले रोबोट robots.txt के बारे में चिंता करने वाले नहीं हैं।


कौन केवल अपने फ्रंट पेज को पूर्वावलोकन दिखाना चाहता है? मुझे पता है कि मैं चाहता हूं कि हर पृष्ठ एक अच्छा पूर्वावलोकन दिखाए। यदि आप प्रत्येक पृष्ठ के लिए ऐसा करते हैं तो आप अनिवार्य रूप से पहले स्थान पर छवियों को अवरुद्ध करने के उद्देश्य को नकार रहे हैं।
जॉन कोंडे

@ आप सही हैं। उस स्थिति में, आप चाहते हैं कि Google आपको अनुक्रमणित करे या आप नहीं।
क्रिश
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.