Google वेबमास्टर टूल अमान्य URL को क्रॉल करके 500 त्रुटियां क्यों दिखा रहा है?

Question

Google वेबमास्टर उपकरण 12k + 500 त्रुटियों की रिपोर्ट कर रहा है। Eeek!

URLS में से कोई भी मान्य नहीं है- वे सभी www.youtube.com पर हैं। यदि वे मौजूद नहीं हैं, तो Google इन URLS को क्रॉल क्यों कर रहा है? मैंने साइटमैप की आपूर्ति की, और वे निश्चित रूप से साइटमैप में नहीं हैं।

मेरे पास कुछ भी अवरुद्ध करने के लिए एक robots.txt नहीं है। मैंने अमान्य रीडायरेक्ट के लिए जाँच की है - कोई नहीं, और बिना टैग किए या किसी ऐसी चीज़ के लिए जाँच की गई जो www.youtube.com को दुर्घटना से URL में फेंक देगी - कोई नहीं।

हर 'से लिंक' में, संदर्भित URL भी एक बुरा URL है, जिसमें www.youtube.com है। Google उपकरण कोई मैलवेयर नहीं रिपोर्ट करता है, और मैं सर्वर लॉग की जांच नहीं कर सकता क्योंकि होस्ट मुझे एक्सेस नहीं देगा।

सच में अटक गया !! किसी भी विचारों की सराहना की!

Comments

क्या आप कृपया कुछ उदाहरण पोस्ट कर सकते हैं?

— आयनफिश

क्या आपकी वेबसाइट एक वर्डप्रेस या अन्य ब्लॉग प्लेटफॉर्म है?

— यूबिक

यदि आप अमान्य URL के लिए HTTP 500 त्रुटियों (सर्वर त्रुटियों) को देख रहे हैं, तो संभवतः आपके सेटअप में कोई समस्या है - अमान्य URL 404 या 410 वापस आ जाना चाहिए।

— जॉन म्यूलर

Answer 1

वहाँ (कम से कम) दो सामान्य कारण क्यों अजीब और आम यूआरएल URL वेबमास्टर टूल्स में क्रॉल त्रुटियों के रूप में दिखाई दे सकते हैं।

पहली संभावना यह है कि किसी ने आपके पृष्ठ (या कुछ अन्य पृष्ठ जो आपके लिंक हैं) की प्रतिलिपि बनाई है और इस प्रक्रिया में लिंक मंगवाए हैं। आपके विचार से यह अधिक बार होता है; इस Google वेबमास्टर ब्लॉग पोस्ट में छठे सवाल उदा देखें ।

दूसरी संभावना यह है कि Googlebot स्वयं यह अनुसरण करने की कोशिश कर रहा है कि उसे क्या लगता है कि जावास्क्रिप्ट लिंक हैं और इसे गड़बड़ कर रहे हैं । आप आमतौर पर इन दो मामलों को संदर्भित पृष्ठ पर जाकर बता सकते हैं (जो मौजूद होना चाहिए और सुलभ होना चाहिए , अगर Google इसे शुरू करने के लिए क्रॉल करने में कामयाब रहा) और इसके स्रोत में लक्ष्य पृष्ठ का नाम खोज रहा है।

किसी भी तरह से, मूल रूप से दो चीजें हैं जो आप कर सकते हैं: या तो केवल लिंक को अनदेखा करें, या टूटे हुए URL को काम करने के लिए प्रयास करने और मैप करने के लिए कुछ पुनर्लेखन नियमों के साथ आएं । यदि आप URL में एक स्पष्ट पैटर्न देख सकते हैं, और regexps से परिचित हैं, तो मैं बाद के दृष्टिकोण की सिफारिश करूंगा - यह आपकी क्रॉल त्रुटि सूची को साफ कर देगा और हो सकता है कि आपको एक छोटा और बल्कि आकर्षक, लेकिन वास्तविक, पेजरैंक बढ़ावा दे। ।

एक तीसरा विकल्प, यदि आप पाते हैं कि किसी की अनुमति के बिना आपकी सामग्री की प्रतिलिपि बनाई जा रही है, तो उन्हें आज़माकर देखना होगा । यदि आप इसे उचित मानते हैं, तो आप उनके होस्टिंग प्रदाता को भी शिकायत (और / या औपचारिक रूप से अनुरोधित) भेज सकते हैं। बेशक, यह देखते हुए कि वे स्पष्ट रूप से आपकी साइट पर वापस लिंक कर रहे हैं , आपको जरूरी प्रयास के लायक नहीं मिल सकता है।

Answer 2

Google एक ही बार में सभी पृष्ठों को तुरंत सूचीबद्ध नहीं कर रहा है।

Google अनुक्रमण के पृष्ठ सबसे पहले उच्चतम स्तर पर हैं। फिर कुछ दिनों के बाद Google को दूसरे स्तर के पृष्ठों (पृष्ठों, जिन पर Google को पहले स्तरों के लिंक मिलते हैं) और इसी तरह से और अधिक अनुक्रमित करने की कोशिश की गई। इस तरह से Google प्रत्येक पृष्ठ को साइट पर अनुक्रमित करने की कोशिश करता है। इसलिए Google लिंक के श्रेणीबद्ध पेड़ बनाता है और Google जानता है कि प्रत्येक पृष्ठ पर कौन से पृष्ठ जुड़े हुए हैं।

तब Google प्रत्येक अनुक्रमित पृष्ठ पर कुछ समय बाद आया और जाँचता है कि क्या पृष्ठ पर सामग्री बदली गई है। प्रत्येक पृष्ठ और प्रत्येक साइट के लिए अनुक्रमण का अंतराल कई कारकों पर आधारित है।

इसलिए यदि आप किसी पेज को डिलीट करते हैं और इस पेज के सभी लिंक को अन्य सभी पेजों पर अपडेट करते हैं - तो Google इसे तुरंत नहीं जानता है और यह डिलीट किए गए पेज को इंडेक्स करने की कोशिश करता है क्योंकि यह इस पेज को अपने शेड्यूल में इंडेक्स करने की योजना है।