Googlebot हमारे मानचित्र लोकेटर और API कोटा का उपयोग करके हजारों अनुरोध प्रस्तुत कर रहा है

Question

हमारे पास हमारे ग्राहक की साइट पर एक स्टोर लोकेटर पेज है। अंतिम उपयोगकर्ता अपने पोस्टकोड और एक खोज त्रिज्या में प्रवेश करता है और हम Google मानचित्र पर परिणाम प्रदर्शित करते हैं।

हाल ही में हमने यह देखना शुरू किया था कि साइट समग्र ट्रैफ़िक में उल्लेखनीय वृद्धि के बिना मुक्त मानचित्र खोज सीमा (लगभग 24 घंटों में 25,000 प्रति घंटे) मार रही थी। मैंने कोशिश करने के लिए कुछ अतिरिक्त लॉगिंग चालू की और पाया कि समस्या क्या थी।

यह पता चलता है कि Googlebot इस नक्शे पर हजारों खोजों के माध्यम से जोर दे रहा है। यह एक छोटा सा नमूना है:

2017-07-09 23: 56: 22,719 [7] जानकारी की दुकानदारी - [धागा 41] Google मैप्स: खोज की गई G23 ने 66.249.66.221 से ओके प्राप्त किया
2017-07-09 23: 56: 35,469 [7] जानकारी की दुकानदारी - [धागा 10] Google मानचित्र: खोजा गया CA6 66.249.66.221 से ठीक है
2017-07-09 23: 57: 24,563 [7] जानकारी की दुकानदारी - [धागा 48] Google मानचित्र: खोजे गए बीएन 14 को 66.249.66.223 से ओके मिला
2017-07-09 23: 58: 00,970 [7] जानकारी की दुकानदारी - [थ्रेड 42] Google मैप्स: खोजे गए CB4 को 66.249.66.221 से ओके मिला
2017-07-09 23: 58: 13,064 [7] जानकारी की दुकान - [धागा 54] Google मानचित्र: खोजा गया DY9 ने 66.249.66.221 से ओके प्राप्त किया
2017-07-09 23: 59: 18,722 [7] जानकारी की दुकानदारी - [धागा 59] Google मानचित्र: खोजा गया TS3 66.249.66.223 से ठीक है
2017-07-09 23: 59: 53,223 [7] जानकारी की दुकानदारी - [धागा 49] गूगल मैप्स: खोजा गया S45 66.249.66.221 से ठीक है

क्या ऐसा कोई तरीका है जिससे मैं Google को इतने अनुरोधों के माध्यम से धक्का देने से रोक सकता हूं? यह मुफ्त भत्ते का एक महत्वपूर्ण अनुपात खा रहा है। वैध खोजें प्रति दिन लगभग 200 से कम लगती हैं।

संपादित करें

साइट C # ASP.NET पर बनाई गई है। स्टोर खोज POST का उपयोग कर रहा है, URL सबमिट पर नहीं बदलता है। मैं इस व्यवहार की पुष्टि के लिए कल सुबह IIS लॉग का एक नमूना पोस्ट कर सकता हूं।

Comments

क्या Googlebot जिन वस्तुओं को खोज रहा है, उनका कोई अर्थ है? "G23" और "CA6" का मेरे लिए कोई मतलब नहीं है। Googlebot आमतौर पर फ़ॉर्म में यादृच्छिक डेटा सबमिट नहीं करता है। यह आमतौर पर केवल ड्रॉप-डाउन विकल्प, पूर्व-भरे डेटा, या क्वेरी लिंक को क्रॉल करता है। क्या सूची के रूप में साइट पर वे मूल्य हैं? इन अनुरोधों के लिए आपके URL क्या दिखते हैं?

— स्टीफन Ostermiller

@StephenOstermiller वे आंशिक यूके पोस्टकोड हैं, विशेष रूप से जिला पहचानकर्ता। ये POSTAJAX के लिए अनुरोध होने चाहिए , मैं हालांकि आईआईएस लॉग की जांच करूंगा।

— बरगी

एक तरफ: यह "मुफ्त मानचित्र खोज" क्या है?

— १४:०४ पर Mrhhite

@SamWeaver IP Google bot के रूप में हल होता है और इसी IIS लॉग प्रविष्टि में Googlebot UserAgent है। बेशक उन दोनों को ख़राब किया जा सकता है।

— बरगी

क्या आपका स्टोर लोकेटर क्वेरी स्ट्रिंग (GET अनुरोध) का उपयोग करता है? आपके स्टोर लोकेटर पेज की किसी न किसी URL संरचना क्या है, क्या यह उपयोगकर्ता खोज के साथ बदल जाती है (क्वेरी स्ट्रिंग)? यदि आप कार्यात्मक / तकनीकी पक्ष को थोड़ा और विस्तार से समझा सकते हैं तो इसका उत्तर अधिक प्रभावी तरीके से दिया जा सकता है।

— TopQnA

Answer 1

Googlebot को googlemaps के माध्यम से खोजने से रोकने robots.txtके लिए अपने डोमेन के रूट में नामक एक फ़ाइल डालें । जैसे https://www.wikipedia.org/robots.txt

नमूना robots.txt:

User-agent: Googlebot
Disallow: /search-store/

जहां / खोज-स्टोर / वह पृष्ठ है जो Google मानचित्र पर अनुरोध भेजता है।

अगर यह Googlebot की तुलना में कुछ और होता है, तो आप इस पृष्ठ पर सभी क्रॉलिंग को अक्षम करने का प्रयास कर सकते हैं:

User-agent: *
Disallow: /search-store/

ध्यान दें कि यह robots.txt को अनदेखा करने वाली स्क्रिप्ट को दुर्व्यवहार करना बंद नहीं करेगा।

Comments

ध्यान दें कि आप Google और अन्य खोज इंजनों को इन पेजों से नहीं चाहते हैं, वैसे भी!

— अरी डेविडो जूल 10'17

मुझे यकीन नहीं है कि यदि संपूर्ण खोज स्टोर को अवरुद्ध करना सही विकल्प है, तो हमें क्वेरी स्ट्रिंग आदि को समझने की आवश्यकता हो सकती है। मतलब, Google को पढ़ने दें, लेकिन बहुत अधिक अनुरोध न भेजें। संपूर्ण खोज स्टोर को अवरुद्ध करना अंतिम विकल्प होना चाहिए।

— TopQnA

खोज सीमित करने की दर एक और विकल्प हो सकता है, मान लें कि 25 खोजों के बाद, आपको प्रत्येक खोज के बीच एक घंटे तक ठंडा करना होगा। यह बोट्स और नापाक लोगों को रोकता है, लेकिन नियमित उपयोगकर्ताओं को नहीं।

— satibel

यदि पृष्ठ किसी स्टोर के स्थान को खोजने के लिए है, तो मुझे संदेह है कि यह पहली जगह में अनुक्रमित होना उपयोगी होगा। यह साइट संरचना पर निर्भर करेगा। इसके अलावा robots.txt आसान / तेज़ (इस प्रकार सस्ता) है कि इसे रेट लिमिट से कुछ घंटे लेने की तुलना में त्वरित फिक्स के रूप में लागू किया जा सकता है। @TopQnA

— satibel

खैर, स्टोर का स्थान उपयोगकर्ता के लिए बहुत महत्वपूर्ण है और अधिकांश लोग Google में स्थान के संदर्भ में एक स्टोर की खोज करते हैं और यदि स्टोर लोकेटर प्रत्येक स्टोर के लिए अद्वितीय URL के साथ उपयोगी जानकारी के साथ एक मानचित्र उत्पन्न कर सकता है, तो यह बहुत अधिक उपयोगी होगा उपभोक्ता। और यही कारण है कि अवरुद्ध अंतिम विकल्प होना चाहिए।

— TopQnA