मेरी वेबसाइट पर कुछ पृष्ठ हैं जो मैं चाहता हूं कि उपयोगकर्ता केवल तभी यात्रा कर सकेगा जब मैं उसे URL दे दूंगा।
यदि मैं एकल पृष्ठों को अस्वीकार करता हूं robots.txt, तो वे इसे देख रहे किसी भी व्यक्ति द्वारा दिखाई देंगे।
मेरा सवाल है: अगर मैं उन्हें कहीं से भी नहीं जोड़ता हूं, या कम से कम किसी भी अनुक्रमित पृष्ठ से, तो भी वे किसी तरह क्रॉलर्स द्वारा पहुंच जाएंगे?
जवाबों:
आप पृष्ठ को SERPs में प्रकट नहीं करना चाहते हैं ...
Robots.txt में अस्वीकृत न हों। इसके बजाय अपने पृष्ठों पर एक noindex मेटा टैग (या एक्स-रोबोट-टैग HTTP हेडर) जोड़ें।
जैसा कि j0k बताता है, आपके पृष्ठ किसी भी तरह मिल सकते हैं। आँकड़े रिपोर्ट, निर्देशिका लिस्टिंग, आदि ...
Robots.txt में रोकना पृष्ठ को क्रॉल होने से रोकता है, लेकिन फिर भी अनुक्रमित किया जा सकता है और SERPs में केवल URL लिंक के रूप में दिखाई दे सकता है। कुछ इस तरह:
एक noindex मेटा टैग पेज को SERPs में बिल्कुल भी प्रदर्शित होने से रोकता है - लेकिन Google को noindex मेटा टैग देखने के लिए पृष्ठ को क्रॉल करने में सक्षम होना चाहिए - इसलिए इसे robots.txt में अस्वीकृत नहीं किया जा सकता है!
यदि पृष्ठ पर ऐसा कुछ है जो सार्वजनिक रूप से उपलब्ध नहीं होना चाहिए, तो पृष्ठों को किसी प्रकार के प्रमाणीकरण के पीछे होना चाहिए।
वैसे मुझे लगता है कि आपके पास अच्छा क्रॉलर है जो robots.txt को पढ़ता है और निर्देश का पालन करता है। और अन्य जो निर्देश का पालन नहीं करता है।
और आप इस url को देने की योजना कैसे बनाते हैं? ईमेल द्वारा, फेसबुक या ट्विटर का उपयोग कर? ये सभी सेवाएँ आपके द्वारा भेजी जाने वाली जानकारी को क्रॉल करती हैं। जीमेल पार्स ईमेल जो आप विज्ञापन प्रदान करने के लिए प्राप्त करते हैं। तो, आपका url किसी तरह क्रॉल हो जाएगा।
कुछ लोग Google टूलबार (या खोज इंजन से अन्य टूलबार) का उपयोग करते हैं। एक विकल्प है (यदि मुझे अच्छी तरह याद है तो डिफ़ॉल्ट रूप से जाँच की जाती है) जो टूलबार को आपके द्वारा Google पर जाने वाले सभी यूआरएल भेजने की अनुमति देता है। Google के लिए छिपे हुए वेब को देखने का यह एक और तरीका है। इसलिए, भले ही आपने उस व्यक्ति को यूआरएल साझा न करने के लिए कहा हो, तो स्पष्ट रूप से वह (टूलबार के लिए धन्यवाद) होगा।
मुझे लगता है कि हम कई अन्य संभावनाएं पा सकते हैं।
तो आप इसे robots.txt में जोड़ सकते हैं, लेकिन अतिरिक्त मेटा जैसे noindex, nofollow, आदि प्रदान कर सकते हैं।
संपादित करें:
robots.txt के बारे में w3d का सुझाव मुझे अच्छा लगता है। तो इसे robots.txt में न जोड़ें और प्रॉपर मेटा टैग प्रदान करें।
उपरोक्त टिप्पणियों के अलावा, मैं एक न्यूनतम के रूप में भी HTACCESS प्रमाणीकरण की सराहना करूंगा - इस तरह से आप पेज देखने के लिए व्यक्तियों को उनके हक की अवधि के लिए एक उपयोगकर्ता नाम / पासवर्ड संयोजन दे सकते हैं
यदि गोपनीयता के मुद्दों के साथ कुछ भी है, तो आपको एक उचित लॉगिन नियंत्रण स्क्रिप्ट पर विचार करने की आवश्यकता है।
एक असुरक्षित पृष्ठ (कोई फर्क नहीं पड़ता कि आप इसे कितनी अच्छी तरह छिपाते हैं) यह जंगली में बना देगा।