Google ने मेरे 403 पृष्ठों को क्रॉल करने का प्रबंधन कैसे किया?

Question

मेरे पास अपने स्कूल फ़ोल्डर में एक निर्देशिका में कुछ निजी फाइलें थीं। आप देख सकते हैं कि फ़ाइलें myschool.edu/myusername/myfolder पर जाकर मौजूद थीं, लेकिन myschool.edu/myusername/myfolder/myfile.html के माध्यम से फ़ाइलों को स्वयं एक्सेस करने की कोशिश करने से 403 त्रुटि होती है।

और फिर भी Google किसी तरह उन निजी फाइलों की सामग्री को हथियाने और उन्हें अपने कैश में संग्रहीत करने में कामयाब रहा! यह कैसे हो सकता है? [मैंने तब से उन फ़ाइलों को हटा दिया है, इसलिए मैं बस उत्सुक हूं कि Google ऐसा करने में कैसे कामयाब रहा।]

Comments

यह वेबमास्टर्स पर है

— रॉबर्टपिट 18

Answer 1

सबसे संभावित कारण यह है कि पृष्ठ 403 शीर्ष लेख नहीं लौटाएंगे।

आप फ़ायरफ़ॉक्स या क्रोम में वेब डेवलपर टूलबार का उपयोग करके देख सकते हैं। यह टूल "सूचना" -> "रिस्पांस हेडर्स" के तहत स्थित है।

साथ ही, मैं अपने त्रुटि पृष्ठ बनाने का तरीका इस प्रकार है:

1. मैं कुछ डमी त्रुटि पेज बनाता हूं। मान लीजिए 403.php ।
2. मैं एक वास्तविक त्रुटि पृष्ठ बनाता हूं। उदाहरण के लिए error403.php ।
3. डमी त्रुटि पृष्ठ पर, मैंने निम्नलिखित कोड डाला: <?php header("Location: /error403.php",TRUE,301); ?>

4. अपने .htaccess में, मैंने निम्नलिखित डाला:

   Options -Indexes

   ErrorDocument 403 /403.php

यह एक उचित तरीके से सभी पुनर्निर्देश जोड़ता है और मुझे यह सुनिश्चित करता है कि मुझे अपने त्रुटि पृष्ठों से कुछ रस मिल रहा है।

यह वास्तव में एक बहुत ही शांत तरीके से बढ़ाया जा सकता है यदि आपकी वेबसाइट में एक खोज इंजन है जो GET अनुरोधों का उपयोग करता है।