क्या किसी कंपनी ने मेरी वेबसाइट को क्रॉल करने का अधिकार दिया है?

Question

मुझे पता चला है कि McAfee SiteAdvisor ने मेरी वेबसाइट को "सुरक्षा संबंधी समस्याएँ हो सकती हैं" के रूप में रिपोर्ट किया है ।

मैं अपनी वेबसाइट के बारे में जो कुछ भी सोचता हूं, उसके बारे में मुझे बहुत कम परवाह है (मैं इसे खुद को सुरक्षित कर सकता हूं और यदि नहीं, तो मैकएफी निश्चित रूप से कंपनी नहीं है जो मैं मदद के लिए पूछ रहा हूं, बहुत बहुत धन्यवाद)। हालाँकि, मुझे क्या परेशान करता है, क्योंकि उन्होंने मेरी अनुमति के बिना, मेरी वेबसाइट को क्रॉल किया है।

स्पष्ट करने के लिए: मेरी वेबसाइट पर अभी तक लगभग कोई सामग्री नहीं है, बस कुछ प्लेसहोल्डर और मेरे व्यक्तिगत उपयोग के लिए कुछ फाइलें हैं। कोई टीओएस नहीं हैं।

मेरा प्रश्न है: क्या McAffee को अपनी वेबसाइट से सामग्री डाउनलोड / क्रॉल करने का अधिकार है? क्या मैं उन्हें ऐसा करने से मना कर सकता हूं? मुझे लगता है कि किसी तरह का "मेरा महल, मेरे नियम" सिद्धांत होना चाहिए, हालांकि मुझे मूल रूप से सभी कानूनी सामानों के बारे में कुछ नहीं पता है।

अपडेट: मुझे शायद उल्लेख करना चाहिए था कि मेरे सर्वर प्रदाता ने मुझे नियमित आधार पर SiteAdvisor के निष्कर्षों के बारे में ईमेल भेजे - यही कारण है कि मुझे उनकी 'रेटिंग' के बारे में पता चला और इसलिए मैं नाराज हूं।

Comments

क्या आप कहेंगे कि मनुष्यों को आपकी वेबसाइट देखने का अधिकार है? यदि हाँ, तो मनुष्यों के रोबोट सेवकों के साथ भेदभाव क्यों? यदि नहीं, तो यह पहली जगह में एक वेबसाइट क्यों है?

— jwodder

आपको यह कैसे पता चला कि SiteAdvisor ने आपकी साइट को चिह्नित किया है? आपने देखा कि उनकी साइट आपने नहीं देखी ? यदि हां, तो आपको क्या अधिकार दिया गया?

— जो स्नाइडरमैन

संयोग से, मैं साइट एडवाइजर रिपोर्ट को इतने हल्के ढंग से खारिज नहीं करूंगा, सामान्य तौर पर जब मैंने इसी तरह की रिपोर्ट देखी तो वे वैध थे। सबसे आम मामला लोकप्रिय सीएमएस (वर्डप्रेस, जूमला, ड्रुपल, ...) के पुराने / अप्रकाशित संस्करण का है जिसमें कुछ स्वचालित स्क्रिप्ट द्वारा दुर्भावनापूर्ण सामग्री ("ट्रैम्पोलिन" पृष्ठ स्पैम / फ़िशिंग के लिए उपयोग किए जाते हैं, जो वायरस से जुड़े होते हैं) घोटाला ईमेल, ब्राउज़र शोषण, आप इसे नाम); आप बिना जाने भी खराब सामान की मेजबानी कर सकते हैं। इसके अलावा, चूंकि कई उपयोगकर्ता ऐसे टूल पर भरोसा करते हैं, आप आमतौर पर एक साफ रिकॉर्ड रखना चाहते हैं, क्योंकि इस तरह की चेतावनी उपयोगकर्ताओं को डरा सकती है।

— मैट्टो इटालिया

यदि आप कुछ लॉक करना चाहते हैं, तो उसे लॉक कर दें। आपने वेबसाइट को डाल दिया और GET अनुरोधों का जवाब देने के लिए सर्वर को कॉन्फ़िगर किया। आपने सभी को आमंत्रित किया है - सचमुच, हर कोई। यह एक "निहित" अधिकार नहीं है, यह है कि कैसे webservers काम करते हैं। नोट किया गया है, जैसा कि कहा गया है, robots.txt, या IP प्रतिबंध, या लॉग-इन उपयोगकर्ताओं के लिए प्रतिबंधित सामग्री।

— mfinni

@RolazaroAzeveires: स्वचालित प्रक्रियाएं ठीक नहीं हैं, क्योंकि मानव आगंतुकों को इसका मतलब है, लेकिन क्योंकि, हमलों को रोकते हुए, वे अच्छी तरह से पूछते हैं: "क्या मेरे पास ये फाइलें हो सकती हैं?" और आपने जवाब देने के लिए अपने वेबसर्वर को कॉन्फ़िगर किया है: "बेशक! यहां आप जाएं। कुछ और चाहिए?" वह आपकी अनुमति के बिना नहीं रेंग रहा है, वह आपकी अनुमति से रेंग रहा है।

— थॉमस

Answer 1

इसके लिए कानूनी मिसाल है। फील्ड वी। गूगल इंक।, 412 एफ। 2 डी 1106, (यूएस जिला। सीटी। नेवादा 2006)। Google ने कई कारकों के आधार पर एक सारांश निर्णय जीता, सबसे विशेष रूप से कि लेखक ने अपनी वेबसाइट पर मेटाटैग में एक robots.txt फ़ाइल का उपयोग नहीं किया, जिससे Google को उन वेबसाइट के क्रॉलिंग और कैशिंग पृष्ठों से रोका जा सकेगा जो वेबसाइट स्वामी अनुक्रमित नहीं करना चाहता था।

सत्तारूढ़ पीडीएफ

विशेष रूप से robots.txt फ़ाइलों से निपटने के लिए कोई अमेरिकी कानून नहीं है; हालांकि एक अन्य अदालत के मामले ने कुछ मिसाल कायम की है जो अंततः robots.txt फाइलों को जन्म दे सकती है जिन्हें सामग्री की सुरक्षा के लिए जानबूझकर किए गए इलेक्ट्रॉनिक उपायों को दरकिनार करने के रूप में माना जाता है। हेल्थकेयर ADVOCATES, INC Vs HARDING, EARLEY, FOLLMER & FRAILEY, et। अल, हेल्थकेयर के अधिवक्ताओं ने तर्क दिया कि हार्डिंग एट अल ने पृष्ठों की कैश्ड फ़ाइलों तक पहुंच प्राप्त करने के लिए वेबैक मशीन की क्षमताओं को अनिवार्य रूप से हैक कर लिया था जिसमें रोबोट्स के साथ नए संस्करण थे। जबकि हेल्थकेयर के अधिवक्ताओं ने इस मामले को खो दिया, जिला न्यायालय ने कहा कि समस्या यह नहीं थी कि हार्डिंग एट अल ने "लॉक को उठाया", लेकिन वे वेबैक मशीन के साथ सर्वर-लोड की समस्या के कारण फाइलों तक पहुंच प्राप्त करते थे, जिसने एक्सेस की अनुमति दी थी। कैश्ड फ़ाइलें जब यह होना चाहिए '

कोर्ट रूलिंग पीडीएफ

यह केवल समय IMHO की बात जब तक किसी को उसके पक्ष में इस फैसले और बदल जाता है लेता है: अदालत ने संकेत दिया कि robots.txt है रेंगने और यह circumventing को रोकने के लिए एक ताला है ताला उठा।

इनमें से कई मुकदमे, दुर्भाग्य से, सरल नहीं हैं "जैसा कि मैंने आपके क्रॉलर को यह बताने की कोशिश की कि इसकी अनुमति नहीं है और आपके क्रॉलर ने उन सेटिंग्स / आदेशों को अनदेखा कर दिया है।" इन सभी मामलों में अन्य मुद्दों के एक मेजबान हैं जो अंततः उस मुख्य मुद्दे की तुलना में परिणाम को अधिक प्रभावित करते हैं, चाहे वह कोई भी हो या नहीं। robots.txt फ़ाइल को US DCMA कानून के तहत इलेक्ट्रॉनिक सुरक्षा विधि माना जाना चाहिए।

कहा जा रहा है कि, यह एक अमेरिकी कानून है और चीन का कोई व्यक्ति जो चाहे कर सकता है - कानूनी मुद्दे के कारण नहीं, बल्कि इसलिए कि चीन अमेरिकी ट्रेडमार्क और कॉपीराइट संरक्षण को लागू नहीं करेगा, इसलिए उनके बाद सौभाग्य।

संक्षिप्त उत्तर नहीं है, लेकिन वास्तव में आपके प्रश्न का छोटा, सरल उत्तर नहीं है!

Comments

यह एक महान जवाब है, धन्यवाद। रोबॉट्स.टेक्स्ट के बारे में मुझे जो बात पसंद नहीं है, वह यह है कि यह वास्तविक मानक नहीं है (कानून द्वारा अपेक्षित मानक नहीं)। ये कंपनियां सिर्फ इसे अनदेखा कर सकती हैं। मुझे उस स्थिति में रहना पसंद नहीं है जहाँ वे मुझसे कहते हैं "आपको एक robots.txt फ़ाइल डालनी चाहिए और शायद हम आपकी वेबसाइट को क्रॉल नहीं करेंगे, लेकिन शायद हम करेंगे, हम वही करते हैं जो हमें पसंद है।" यह बहुत अच्छा होगा यदि वेबसाइट के मेटाडेटा में वेबसाइट के टीओएस को निर्दिष्ट करने के लिए एक मानक था।

— क्राल्यक

@jcanker वे दो मामले कॉपीराइट उल्लंघन के दावों के बारे में हैं। क्रॉलर्स के व्यवहार में, जो कि कैश कंटेंट, जैसे कि Google और आर्काइव.ऑर्ग द्वारा संचालित होते हैं, यह सही समझ में आता है कि कॉपीराइट समस्याएँ आती हैं। लेकिन McAfee SiteAdvisor वास्तव में उन वेबसाइटों की नकल और भंडारण (बहुत कम सार्वजनिक रूप से उपलब्ध करना) सामग्री तक नहीं पहुँच पा रहा है, जो है वह है? हालांकि मैं एक वकील नहीं हूं, लेकिन मुझे लगता है कि यह अंतर हमें बहुत दृढ़ता से संदेह करने का कारण देता है कि या तो मामला किसी भी तरह से साइट एडवाइजर जैसे व्यवहार पर लागू होता है, चाहे वह रोबोट का सम्मान करता हो या नहीं।

— एलियाह कगन

@kralyk - re "ये कंपनियाँ बस इसे अनदेखा कर सकती हैं।" सही है। जिस तरह से इंटरनेट काम करता है। और यहां तक ​​कि अगर यह किसी भी तरह से अधिक मौलिक था, तो यह एक क्रॉलर के लिए तुच्छ, बिल्कुल तुच्छ होगा, यह दिखावा करने के लिए कि यह आपके वेब पेजों तक पहुंचने वाला एक इंसान था। आप तकनीकी रूप से असंभव के लिए पूछ रहे हैं । वास्तव में, यदि आप सोचते हैं कि आप क्या पूछ रहे हैं, तो आप जो चाहते हैं वह तर्कसंगत नहीं है, इसका कोई अर्थ नहीं है। सिवाय एक कानूनी भेद के। आपके केवल संभावित सुरक्षा (1) उपयोगकर्ता लॉगिन प्रमाणीकरण के पीछे महत्वपूर्ण सामग्री को छुपा रहे हैं, और (2) कानूनी सुरक्षा, जैसा कि इस उत्तर में चर्चा की गई है।

— टूलमेकरसैट

@ToolmakerSteve मुझे पता है कि रोबोट को पूरी तरह से प्रतिबंधित करना तकनीकी रूप से असंभव है। यह एक अलग स्थिति है, हालांकि - मैं एक तकनीकी समाधान की तलाश नहीं कर रहा हूं, मैं पूछ रहा हूं कि क्या यह कानूनी है, यह भी ध्यान दें कि मैकेफी ने मुझे सूचित किया है कि वे मेरी वेबसाइट को क्रॉल करते हैं, मुझे इसका पता लगाने की आवश्यकता नहीं है।

— क्राल्यक

दूसरा तरीका भी कानूनी मिसाल है: ebay v bidder's edge

— जॉन

Answer 2

हां, उन्हें ऐसा करने का अधिकार है - आपने एक सार्वजनिक वेबसाइट बनाई है, जो आपको लगता है कि वे नहीं करते हैं?

तुम भी, ज़ाहिर है, उन्हें रोकने का अधिकार है। आप उन्हें अपनी वेबसाइट को robots.txt के साथ क्रॉल नहीं करने के लिए कह सकते हैं या सक्रिय रूप से उन्हें फेल 2बान जैसी चीज के साथ इसे एक्सेस करने से रोक सकते हैं ।

वैकल्पिक रूप से, इसके बारे में चिंता न करें और अपने जीवन को जारी रखें। यह कुछ भी चोट नहीं पहुंचा रहा है और निश्चित रूप से इंटरनेट जांच के सौम्य पक्ष पर है।

Comments

> "हाँ, उन्हें ऐसा करने का अधिकार है - आपने एक सार्वजनिक वेबसाइट बनाई है, जो आपको लगता है कि वे नहीं करते हैं?" ठीक है, अगर कुछ तकनीकी रूप से संभव है तो इसका मतलब यह नहीं है कि यह कानूनी है। उदाहरण के लिए, YouTube का TOS वीडियो डाउनलोड करने पर प्रतिबंध लगाता है, इसलिए, तकनीकी रूप से बहुत आसान होने के बावजूद, यह अभी भी अनुमति नहीं है। मैं SiteAdvisor के बारे में चिंता नहीं करेगा अगर यह मेरे प्रदाता के लिए नहीं था जो मुझे अपनी साइट के बारे में ईमेल भेजता है "शायद समस्या हो रही है" ...

— kralyk

@kralyk - यदि आप जनता (जिसमें McAfee शामिल हैं) को नहीं देखना चाहते हैं, तो इसे वेब पर न डालें। यह इत्ना आसान है। आप अपनी वेबसाइट को नियंत्रित करते हैं। कोई भी आपको इसे बाहर रखने के लिए मजबूर नहीं कर रहा है, और यदि आप नहीं चाहते कि लोग इसे देखें, तो इसे बाहर नहीं डालें। यदि आप इसे वहां लगाने जा रहे हैं, तो आश्चर्यचकित न हों कि लोग (जिन लोगों को आप सामान बेचना चाहते हैं) इसे देख रहे हैं। अपनी इच्छाओं को किसी और की समस्या में बदलने की कोशिश करना बंद करें।

— माइकल कोहेन

@kralyk: गंभीरता से? आपको वास्तव में लगता है कि यहां मुद्दा दोयम दर्जे का है? McAfee का कोई भी व्यक्ति न तो आपकी वेबसाइट के बारे में जानता है और न ही उसकी परवाह करता है। न ही उन्हें चाहिए। हर किसी के ToS को पढ़ने के लिए वेब को क्रॉल करने की उम्मीद करना बेतुका होगा। इसीलिए Robot.txt का आविष्कार किया गया था।

— टूलमेकरस्टेव

@kralyk प्रश्न के संसाधनों तक पहुँच के लिए आदेश दिया जाना चाहिए कि ToS के पास अर्थपूर्ण कहीं भी हो। एक असुरक्षित पृष्ठों को रेंगने वाला एक रोबोट किसी खाते को पंजीकृत करने, एक टीओएस को स्वीकार करने और फिर एक रोबोट को क्रेडेंशियल्स खिलाने से पूरी तरह से अलग है।

— एंड्रयू बी

@kralyk - आपकी साइट पर किस प्रकार की टीओएस है जो आपको लगता है कि मैक्एफ़ी उल्लंघन कर रहा है (सम्मान नहीं कर रहा है)?

— केविन फेगन

Answer 3

यह व्यवहार नैतिक है या नहीं यह पूरी तरह स्पष्ट नहीं है।

किसी सार्वजनिक साइट को क्रॉल करने का कार्य, स्वयं अनैतिक है (जब तक कि आपने स्पष्ट रूप से किसी रोबो.नेट या अन्य तकनीकी उपायों का उपयोग करने से मना नहीं किया है, और वे उन्हें दरकिनार कर रहे हैं)।

वे जो कर रहे हैं, वह आपको कॉल करने के लिए ठंड की समतुल्य है, जबकि दुनिया के लिए यह घोषणा करना कि आप संभवतः सुरक्षित नहीं हैं। यदि वह आपकी प्रतिष्ठा को नुकसान पहुंचाता है और अनुचित है, तो यह अनैतिक है; यदि यह ऐसा करता है और इसके लिए एकमात्र प्रस्ताव आपको उन्हें भुगतान करना है, तो यह गलत है। लेकिन, मुझे नहीं लगता कि यह क्या चल रहा है।

दूसरी बार जब यह अनैतिक हो जाता है, जब कोई आपकी सामग्री या डेटा को उपयुक्त करने के लिए आपकी साइट को क्रॉल करता है और फिर इसे अपने स्वयं के रूप में प्रस्तुत करता है। लेकिन, वह भी नहीं चल रहा है।

इसलिए, मेरा सुझाव है कि इस मामले में उनका व्यवहार नैतिक है, और आप इसकी सबसे अधिक उपेक्षा भी कर सकते हैं।

यदि आप उनके साथ कोई संबंध नहीं रखते हैं और ईमेल का अनुरोध नहीं करते हैं, तो आपको स्पैम करने का उनका संबंधित व्यवहार अनैतिक है, लेकिन मुझे संदेह है कि उनके पास काम करने की सदस्यता नहीं है।

Comments

मुझे यकीन नहीं है कि मैं Disallowएक robots.txt फ़ाइल में एक निर्देशन को "तकनीकी उपाय के लिए मना" कहूंगा । robots.txt एक शिष्टाचार अनुरोध के रूप में कार्य करता है, और जबकि अच्छी तरह से व्यवहार किए गए बॉट इसका पालन करेंगे, इसमें कोई दायित्व नहीं है और कोई वास्तविक सुरक्षा शामिल नहीं है। वास्तव में, बुरी तरह से व्यवहार किए गए बॉट अच्छी तरह से रोबोटों में प्रवेश कर सकते हैं। उस विशिष्ट मार्ग को क्रॉल करने के लिए निमंत्रण के रूप में ...

— एक CVn

@ माइकलकॉर्जलिंग, केवल आधा सहमत हैं। कोई वास्तविक सुरक्षा नहीं है लेकिन एक दायित्व है। यह एक साइन आउट है, और आपका दायित्व यह है कि जब आप प्रवेश करने की अनुमति नहीं रखते हैं, तो यह दायित्व है।

— बेन

यह बिना लॉक के "साइन आउट" है। अपने घर पर कोशिश करें और देखें कि चोरों के फोन आने के बाद आपको कितनी सहानुभूति मिलती है! (वास्तव में, यह एक "बाहर रखना" संकेत है जो स्पष्ट रूप से अनलॉक किए गए दरवाजों और खिड़कियों को सूचीबद्ध करता है जो आप चाहते हैं कि लोग बाहर रहें।)

— रैंडी ऑरिसन

Answer 4

कुछ लोगों या कंपनियों को आपकी वेब साइट तक पहुँचने से रोकने के लिए तकनीकी दृष्टिकोण:

आप अपनी साइट के पृष्ठों तक पहुँचने से विशिष्ट आईपी पते, या पते की श्रेणियों को अवरुद्ध कर सकते हैं। यह .htaccess फ़ाइल (यदि आपकी साइट Apache Web Server पर चल रही है) है।

http://www.htaccess-guide.com/deny-visitors-by-ip-address/

क्या आपके वेब सर्वर ने IP पते लॉग किए हैं, जिनसे वह एक्सेस किया गया है, और McAfee से जुड़े लोगों को खोजने के लिए उन IP पतों को देखें। शायद अब बताना आसान है, अगर आपके पास कोई नियमित आगंतुक नहीं है।

बेशक, वे भविष्य में आईपी पते बदल सकते हैं। फिर भी, यदि आप अपने द्वारा ढूंढे गए आईपी पते को देखते हैं, तो यह देखने के लिए कि उनका मालिक कौन है, आप McAfee के स्वामित्व वाले पते के पूरे ब्लॉक के बारे में जानने में सक्षम हो सकते हैं, और उन सभी को ब्लॉक कर सकते हैं।

---

ऐसा करने के लिए कानूनी आधार के लिए:

"वेबसाइट के मालिक कानूनी तौर पर कुछ उपयोगकर्ताओं को रोक सकते हैं, अदालत के नियम"

http://www.computerworld.com/s/article/9241730/Website_owners_can_legally_block_some_users_court_rules

(यदि आपकी वेबसाइट एक व्यक्तिगत है, तो कोई भी आपके अधिकार को कुछ उपयोगकर्ताओं को ब्लॉक करने के लिए नहीं लड़ेगा। लेकिन अगर यह किसी व्यवसाय के लिए एक वेबसाइट है, तो उस चर्चा के दोनों तरफ कानूनी और नैतिक तर्क हैं। आपका व्यवसाय जितना छोटा होगा, उतना आसान होगा। यह कानूनी रूप से संरक्षित किया जाना है - और कम किसी और को वैसे भी शिकायत करने के लिए पर्याप्त देखभाल करेगा।]

---

आपको "रेफ़र द्वारा अस्वीकार किए गए आगंतुकों" में भी रुचि हो सकती है।

"यदि आपने कभी अपने लॉग को देखा है और ट्रैफ़िक में आश्चर्यजनक वृद्धि देखी है, तब भी वास्तविक फ़ाइल अनुरोधों में कोई वृद्धि नहीं हुई है, यह संभवतः किसी व्यक्ति की सामग्री (जैसे सीएसएस फ़ाइलें) या कोई व्यक्ति आपकी वेब साइट को हैक करने का प्रयास कर रहा है (इसका मतलब केवल कोशिश करना हो सकता है) गैर सार्वजनिक सामग्री खोजने के लिए)। "

http://www.htaccess-guide.com/deny-visitors-by-referrer/