जवाबों:
क्या क्रॉलर इन दो मामलों में अलग-अलग व्यवहार करते हैं?
एक रोबो.टैक्स फ़ाइल जो खाली है वह वास्तव में किसी से अलग नहीं है जो नहीं मिली है, दोनों रेंगने को मना नहीं करते हैं।
हालाँकि आप 404अपने सर्वर लॉग में बहुत सारी त्रुटियां प्राप्त कर सकते हैं जब क्रॉलर robots.txt फ़ाइल का अनुरोध करते हैं , जैसा कि इस प्रश्न में यहां दिया गया है ।
तो, क्या सिर्फ एक खाली robots.txt को हटाना सुरक्षित है?
हां, उपरोक्त कैविएट के साथ।