web-crawler पर टैग किए गए जवाब

मुझे पता चला है कि McAfee SiteAdvisor ने मेरी वेबसाइट को "सुरक्षा संबंधी समस्याएँ हो सकती हैं" के रूप में रिपोर्ट किया है । मैं अपनी वेबसाइट के बारे में जो कुछ भी सोचता हूं, उसके बारे में मुझे बहुत कम परवाह है (मैं इसे खुद को सुरक्षित कर सकता …

30 web-crawler 

बड़े आईपी (जैसे विकिपीडिया) अन्य आईपी मास्क के पीछे होने वाले बॉट से कैसे निपटते हैं? उदाहरण के लिए, मेरे विश्वविद्यालय में, हर कोई विकिपीडिया को खोजता है, जो इसे एक महत्वपूर्ण भार देता है। लेकिन, जहां तक ​​मुझे पता है, विकिपीडिया केवल विश्वविद्यालय के राउटर के आईपी को ही …

12 web-crawler 

मुझे एक निश्चित व्यक्ति के साथ एक समस्या हो रही है जो आक्रामक तरीके से मेरी साइट को स्क्रैप करता रहता है; बैंडविड्थ और सीपीयू संसाधनों को बर्बाद करना। मैंने पहले से ही एक प्रणाली लागू की है जो मेरे वेब सर्वर एक्सेस लॉग को मेल करता है, प्रत्येक नए …

10 ip  isp  whois  web-crawler  ip-blocking 

मैंने कुछ समय पहले Apache स्थापित किया है, और मेरे access.log पर एक त्वरित नज़र दिखाता है कि सभी प्रकार के अज्ञात IP कनेक्ट हो रहे हैं, ज्यादातर एक स्थिति कोड 403, 404, 400, 408 के साथ। मुझे नहीं पता कि वे कैसे खोज रहे हैं। मेरा आईपी, क्योंकि मैं …

8 apache-2.2  web-crawler 

यदि http://example2.com नामक एक वेबसाइट के लिए cURL कनेक्शन भेजता http://example1.com । मैं का उपयोग करते हैं http://example2.com मेरे पीसी से की सामग्री देख http://example1.com , की तुलना में होगा http://example1.com इच्छा मेरा पीसी के आईपी पते या लॉग इन http://example2.com ' आईपी ​​पता? दूसरे शब्द में, अगर मैं किसी …

-4 domain  ip-address  web-crawler