robots.txt पर टैग किए गए जवाब

मैंने अभी एक नई साइट पर अपनी robots.txt फ़ाइल अपडेट की है; Google वेबमास्टर टूल ने मेरे अंतिम अपडेट से 10 मिनट पहले मेरे robots.txt को पढ़ा। क्या ऐसा कोई तरीका है जिससे मैं Google को अपने robots.txt को जल्द से जल्द पढ़ने के लिए प्रोत्साहित कर सकूँ? अद्यतन: साइट …

22 google  robots.txt  google-webmaster-tools 

के लिए: मेरी वेबसाइट की सुरक्षा बढ़ाएं बैंडविड्थ आवश्यकताओं को कम करें ईमेल पता कटाई रोकें

14 performance  security  robots.txt 

मैं robots.txtnginx http सर्वर के तहत सभी वर्चुअल होस्ट के लिए सेट करने का प्रयास कर रहा हूं । मैं इसे मुख्य में निम्नलिखित डालकर अपाचे में करने में सक्षम था httpd.conf: <Location "/robots.txt"> SetHandler None </Location> Alias /robots.txt /var/www/html/robots.txt मैंने nginx.conf और (b) के नीचे दिए गए लाइनों को …

13 nginx  robots.txt 

हमारे पास वर्चुअल होस्ट के साथ XAMPP अपाचे विकास वेब सर्वर सेटअप है और हमारी सभी साइटों को क्रॉल करने से रोकना चाहते हैं। यह आसानी से robots.txt फ़ाइल के साथ किया जाता है। हालाँकि, हम बल्कि प्रत्येक vhost में एक disallow robots.txt को शामिल नहीं करेंगे और फिर इसे …

10 apache-2.2  php  robots.txt