साइटें प्रॉक्सी या कंपनी नेटवर्क के पीछे बॉट का पता कैसे लगाती हैं

Question

बड़े आईपी (जैसे विकिपीडिया) अन्य आईपी मास्क के पीछे होने वाले बॉट से कैसे निपटते हैं? उदाहरण के लिए, मेरे विश्वविद्यालय में, हर कोई विकिपीडिया को खोजता है, जो इसे एक महत्वपूर्ण भार देता है। लेकिन, जहां तक ​​मुझे पता है, विकिपीडिया केवल विश्वविद्यालय के राउटर के आईपी को ही जान सकता है, इसलिए यदि मैंने "अनलिस्टेड" बॉट स्थापित किया (केवल अनुरोधों के बीच एक छोटी सी देरी के साथ), तो क्या विकिपीडिया पूरे संगठन पर प्रतिबंध लगाए बिना मेरे बॉट पर प्रतिबंध लगा सकता है? क्या कोई साइट वास्तव में एक संगठनात्मक नेटवर्क के पीछे आईपी पर प्रतिबंध लगा सकती है?

Comments

जिस दिन विकिपीडिया ने कतर पर प्रतिबंध लगा दिया ।

— इसाना

@isanae संबंधित: superuser.com/q/1013630/326546

— kasperd

बेहतर है कि अपने बॉट को वैध उपयोगकर्ताओं से अप्रभेद्य

— हेगन वॉन एटिजन

Answer 1

नहीं, वे सार्वजनिक आईपी पर प्रतिबंध लगा देंगे और जो कोई भी उस आईपी के लिए NAT'd है, उस पर भी प्रतिबंध लगा दिया जाएगा।

हालांकि कम से कम स्टैक पर अगर हमें लगता है कि हम एक कॉलेज या कुछ इस तरह से प्रतिबंध लगाने जा रहे हैं, तो हम अपराधी को ट्रैक करने और समस्या को रोकने के लिए उनके दुरुपयोग संपर्क तक पहुंच जाएंगे।

Comments

ज़ीरफ़ ने क्या कहा। किसी ऐसे व्यक्ति के रूप में बोलते हुए, जो दुरुपयोग की शिकायतों को ट्रैक करने के लिए उपयोग किया जाता था, जो कि@@@@acmail.com पर भेजा गया था। (कॉलेज के छात्रों को सहकर्मी को संगीत सहकर्मी साझा करना पसंद है। RIAA इसके बारे में दुरुपयोग@whatever.edu से संपर्क करना पसंद करता है।)

— कैथरीन विलिअर्ड

... जब तक कि आपके बॉट के बारे में कोई विशिष्ट पहचान न हो, जैसे कि एक्सेस टोकन या अद्वितीय ब्राउज़र आईडी पास करना।

— सरल पुरुष

यह वास्तविक शीर्षक प्रश्न का उत्तर नहीं देता है कि ये साइटें बॉट का कैसे पता लगाती हैं । वास्तव में, ऐसा लगता है कि यदि आप अपने बॉट को पर्याप्त रूप से धीमा कर देते हैं (जो अधिक नहीं होगा), तो यह वास्तव में कॉलेज के छात्रों के पूरे समूह द्वारा वैध उपयोग से अप्रभेद्य होगा।

— वाइल्डकार्ड

@ KatherineVillyard की टिप्पणी पर विस्तार करने के लिए। औपचारिक रूप से किसी संस्था के नेटवर्क की देखरेख अगर कोई व्यक्ति अवरुद्ध करने से पहले हमारे पास नहीं पहुंचता है, और जिस संसाधन से हम अवरुद्ध थे, उसका नियमित रूप से उपयोग किया जाता था, हम समस्या को ठीक करने के लिए उनके पास पहुंचेंगे। आमतौर पर वे हमें अनब्लॉक करने के लिए तैयार होते थे यदि हम अपने अंत से इसे हल करेंगे। इसका मतलब दुरुपयोग के स्रोत को शुद्ध करना था। विकिपीडिया होने के नाते, भले ही वे आपकी संस्था तक नहीं पहुँचते हों, आपकी संस्था द्वारा इसे ब्लैक लिस्टेड किए जाने का एहसास होने के बाद वे अवश्य देख लेंगे। यह प्रतीत होता है कि हानिरहित प्रतिबंध जल्दी से निष्कासन में बदल सकता है।

— बेकन ब्रैड

@Wildcard FWIW ज्यादातर जगहों पर आपको यह नहीं बताएगा कि वे कैसे बॉट का पता लगाते हैं क्योंकि उन्हें सिर्फ बॉट लेखकों को मिलेगा, जो चीजों को बदलने के लिए पकड़ रहे हैं। उन्होंने कहा, बॉट का पता लगाने के लिए अनुरोधों के वेग के अलावा कई अन्य संकेत हैं। लेकिन ज्यादातर जगहों पर इस बात की परवाह नहीं की जाती है कि अगर आप अच्छा खेल रहे हैं, तो किसी तरह का मज़बूत या तनावपूर्ण संसाधन नहीं। यह सिर्फ वहाँ हर छोटे बॉट का पीछा करने के लिए इसके लायक नहीं है।

— Zypher

Answer 2

एक साइट सीधे एक आईपी पर प्रतिबंध नहीं लगा सकती है जो NAT के पीछे है। यह गैर-अज्ञात HTTP प्रॉक्सी के माध्यम से पारित किए गए आईपी पर कार्य कर सकता है - जब ऐसा प्रॉक्सी एक अनुरोध पर आगे बढ़ता है, तो यह आम तौर पर उस पते को एक्स-फॉरवर्ड-फॉर हेडर में जोड़ता है, इसलिए यदि आपके निजी नेटवर्क से एक्सेस वास्तव में इस तरह से जाना है प्रॉक्सी से आंतरिक आईपी को उजागर किया जा सकता है; हालाँकि, अधिकांश साइटें (विकिपीडिया शामिल) उस हेडर की सूचनाओं पर वैसे भी भरोसा नहीं करेगी क्योंकि निर्दोष आईपी या ईवाड बैन को धोखा देना आसान है।

हालाँकि, ऐसी अन्य तकनीकें हैं जो यूपी पते के स्वतंत्र रूप से उपयोगकर्ताओं की विशिष्ट पहचान करने का प्रयास करती हैं। आप इसके बारे में बहुत सारी जानकारी के लिए एक वेब ब्राउज़र से पूछताछ कर सकते हैं और जो सिस्टम चल रहा है, जैसे कि उपयोगकर्ता-एजेंट, स्क्रीन रिज़ॉल्यूशन, प्लगइन्स की सूची, आदि - https://github.com/carlo/jquery- देखें। ब्राउज़र-अंगुली की छापव्यवहार में इसके एक उदाहरण के लिए। आप पहुंच को नियंत्रित करने के लिए इस तरह के फिंगरप्रिंट का उपयोग कर सकते हैं, हालांकि साइट डिज़ाइन के आधार पर आप फ़िंगरप्रिंटिंग प्रक्रिया से जुड़े बिना इसके साथ बातचीत करने में सक्षम हो सकते हैं, और यहां तक ​​कि अगर आप एक बॉट नहीं कर सकते हैं ताकि एक से बचने के लिए सहज और यादृच्छिक डेटा प्रदान कर सकें। लगातार फिंगरप्रिंट अगर आप जानते हैं कि इस तरह की सुरक्षा है। नियंत्रण का यह तरीका झूठी सकारात्मकता का जोखिम भी चलाता है, खासकर जब यह मोबाइल उपकरणों की बात आती है, जहां समान स्टॉक हार्डवेयर पर समान स्टॉक क्लाइंट चलाने वाले क्लाइंट की बड़ी संख्या होगी (अधिकांश लोग आईफोन के विशिष्ट मॉडल पर iOS का एक विशिष्ट संस्करण चला रहे हैं , उदाहरण के लिए, संभवतः एक ही फिंगरप्रिंट मिलेगा)।

Comments

यह बिल्कुल भी संभावना नहीं है; कई विश्वविद्यालय, और कम से कम एक पूरे देश, प्रॉक्सी वेब कनेक्शन और एक्स-फॉरवर्ड-फॉर को जोड़ते हैं।

— माइकल हैम्पटन

दिलचस्प। मुझे व्यक्तिगत रूप से आश्चर्य होगा कि क्या कोई कंपनी अपने वेब प्रॉक्सी को कॉन्फ़िगर करने के लिए थी, क्योंकि यह आपके आंतरिक नेटवर्क के बारे में कुछ (संयुक्त रूप से तुच्छ) जानकारी को उजागर करता है, लेकिन मुझे लगता है कि यह ओआरजी पर निर्भर करता है।

— कार्सर

@ करियर, यह वास्तविक आंतरिक आईपी पता होना जरूरी नहीं है, बस कुछ ऐसा है जो प्रॉक्सी के प्रत्येक उपयोगकर्ता के लिए संगत है।

— इयान रिंगरोज

Answer 3

आम तौर पर आईपी पता एक सही प्रतिबंध के लिए पर्याप्त जानकारी नहीं है। इसलिए उन्नत नेटवर्क नेटवर्क स्टैक को उच्च स्तर पर काम करते हैं।

एक डेनियल ऑफ सर्विस (DoS) अटैक (जिसे आप बनाने के बारे में चिंतित हैं) आमतौर पर शुरुआती टीसीपी कनेक्शन सेटअप को सीमित करने की दर से नियंत्रित होता है। इसका मतलब है कि वैध उपयोगकर्ता जो प्रतीक्षा करने के लिए तैयार हैं, वे इसके माध्यम से प्राप्त करेंगे, जो कि सर्वर संसाधनों का उपभोग करने की कोशिश कर रहे हैं, यह उस बिंदु पर धीमा है जो हानिरहित है। यह वह जगह है जहाँ DoS तब एक वितरित DoS (DDoS) हमले में विकसित हुआ।

एक बार जब आप सर्वर से जुड़ जाते हैं तो आप जितने चाहें उतने अनुरोध कर सकते हैं, वेब सर्वर प्रशासन कॉन्फ़िगर कर सकता है कि कितने अनुरोधों को संभालना है।

वेब सर्वर शायद आपके स्थानीय नेटवर्क गेटवे की तुलना में अधिक क्षमता को संभाल सकता है, शायद यह आपके उपयोग के मामले में सीमित कारक है। विकिपीडिया के आपके नेटवर्क नेटवर्क के प्रवेश द्वार आपके दरवाजे पर खटखटाने से पहले आ जाते हैं।

एक अच्छा इंटरनेट नागरिक होना महत्वपूर्ण है इसलिए मैं एक बॉट में कोड सीमित करने की दर जोड़ूंगा।

यह भी बताया जाना चाहिए कि विकिपीडिया डेटा डंप की पेशकश करता है ताकि साइट को फंसाना वास्तव में आवश्यक न हो।