Google bot द्वारा अनुक्रमणित लाखों पृष्ठों को कैसे प्राप्त करें?


12

वर्तमान में हम एक ऐसी साइट विकसित कर रहे हैं जिसमें वर्तमान में 8 मिलियन अद्वितीय पृष्ठ हैं जो कि लगभग 20 मिलियन तक बढ़ जाएंगे, और अंततः लगभग 50 मिलियन या उससे अधिक हो जाएंगे।

इससे पहले कि आप आलोचना करें ... हां, यह अद्वितीय, उपयोगी सामग्री प्रदान करता है। हम लगातार सार्वजनिक रिकॉर्ड से और स्क्रबिंग, इकाई रोलअप्स कुछ डेटा करके कच्चे डेटा की प्रक्रिया और संबंध मानचित्रण, हम गुणवत्ता की सामग्री उत्पन्न करने के लिए, एक साइट काफी उपयोगी है और यह भी अद्वितीय है कि, भाग में विकासशील कर लिया है कारण की चौड़ाई के लिए डेटा।

यह पीआर 0 (नया डोमेन, कोई लिंक नहीं) है, और हम प्रति दिन लगभग 500 पृष्ठों की दर से खर्च कर रहे हैं, हमें इस प्रकार अब तक लगभग 30,000 पृष्ठों को अनुक्रमित करते हैं। इस दर पर, हमारे सभी डेटा को इंडेक्स करने में 400 साल से अधिक का समय लगेगा।

मेरे दो सवाल हैं:

  1. क्या अनुक्रमणिका की दर सीधे पीआर से संबंधित है, और इसका मतलब है कि यह पर्याप्त सहसंबद्ध है कि अच्छे पीआर के साथ एक पुराना डोमेन खरीदने से हमें एक व्यावहारिक अनुक्रमण दर (प्रति दिन 100,000 पृष्ठों के पड़ोस में) मिलेगी।
  2. क्या कोई एसईओ सलाहकार हैं जो स्वयं अनुक्रमण प्रक्रिया का समर्थन करने में विशेषज्ञ हैं। अन्यथा हम एसईओ के साथ बहुत अच्छा कर रहे हैं, ऑन- पेज विशेष रूप से, इसके अलावा, हमारे "लॉन्ग-टेल" कीवर्ड वाक्यांशों के लिए प्रतिस्पर्धा बहुत कम है, इसलिए हमारी सफलता ज्यादातर अनुक्रमित पृष्ठों की संख्या पर टिका है।

हमारे मुख्य प्रतियोगी ने एलेक्सा 2000-ईश रैंकिंग के साथ, केवल एक वर्ष के समय में अनुक्रमित 20 मिमी पृष्ठों को प्राप्त किया है।

हमारे पास उल्लेखनीय गुण:

  • पृष्ठ डाउनलोड गति बहुत अच्छी है (250-500 एमएस)
  • कोई त्रुटि नहीं (कोई 404 या 500 त्रुटियां होने पर)
  • हम Google वेबमास्टर टूल का उपयोग करते हैं और दैनिक लॉगिन करते हैं
  • जगह में अनुकूल यूआरएल
  • मुझे साइटमैप सबमिट करने में डर लगता है। कुछ एसईओ समुदाय पोस्टिंग में लाखों पृष्ठों के साथ एक नई साइट का सुझाव दिया गया है और कोई पीआर संदिग्ध नहीं है। मैट कट्स की एक Google वीडियो है जिसमें बड़ी साइटों के मंचन की बात की गई है , ताकि बढ़ी हुई जांच से बचने के लिए (वीडियो में लगभग 2:30 बजे)।

  • क्लिक करने योग्य साइट लिंक सभी पृष्ठों को वितरित करते हैं, चार से अधिक पृष्ठ गहरे और आमतौर पर एक पृष्ठ पर 250 (-ish) आंतरिक लिंक से अधिक नहीं होते हैं।
  • आंतरिक लिंक के लिए एंकर पाठ तार्किक है और विवरण पृष्ठों पर डेटा के लिए प्रासंगिक रूप से प्रासंगिकता जोड़ता है।
  • हमने पहले वेबमास्टर टूल पर क्रॉल दर को उच्चतम पर सेट किया था (केवल हर दो सेकंड में एक पृष्ठ के बारे में, अधिकतम)। मैंने हाल ही में इसे "Google को निर्णय लेने दें" की सलाह दी है जो कि सलाह दी गई है।


6
मैं वास्तव में अद्वितीय उपयोगी सामग्री प्रदान करने वाले ५० मिलियन पृष्ठों को देखना चाहूंगा। यह शांत है विकिपीडिया में आपकी साइट की तुलना में बहुत अधिक ज्ञान का अभाव है यह केवल 3.5 लाख पृष्ठों का है [रेफ। en.wikipedia.org/wiki/File:EnwikipediaArt.PNG]
मार्को डेमायो

3
:) व्यंग्य के अतीत को देखते हुए ... यह उन पृष्ठों की संख्या नहीं है जो विकिपीडिया को ज्ञान का जबरदस्त स्रोत बनाते हैं - स्पष्ट रूप से, हाँ - अधिक उपयोगी। हमारी साइट एक व्यक्ति के हर रिकॉर्ड के लिए एक पेज और हमारे डेटाबेस में एक कंपनी के हर रिकॉर्ड के लिए एक पेज बनाती है। हम डेटा विश्लेषण का उपयोग करते हैं और व्यापार भागीदारों के बीच संबंधों को गतिशील रूप से उत्पन्न करने के लिए स्क्रबिंग करते हैं, ग्राफिक रूप से संबंधित लोगों और निगमों के व्यापार नेटवर्क का चित्रण करते हैं। पृष्ठों की संख्या हमारे पास डेटा की मात्रा का एक कार्य है। खोज के माध्यम से इसे खोज योग्य बनाना सभी के लिए अधिक उपयोगी है। आपकी टिप्पणी के लिये धन्यवाद।
बजे क्रिस एड्रैगन

1
अधिक इनलाइन प्राप्त करके अधिक पेजरेंक प्राप्त करें। उन पृष्ठों से अपने पृष्ठों को लिंक करें जिनमें पेजरेंक है।
एलेक्स ब्लैक

जवाबों:


20

कुछ संभावित रणनीतियाँ:

  • Google वेबमास्टर उपकरण आपको बढ़ी हुई क्रॉल दर का अनुरोध करने की अनुमति देता है। अगर आप पहले से ही ऐसा नहीं कर रहे हैं तो कोशिश करें।
  • अपने नेविगेशन आर्किटेक्चर पर एक और नज़र डालें कि क्या आप अपनी सामग्री के अधिक उपयोग तक सुधार नहीं कर सकते हैं। इसे किसी उपयोगकर्ता के दृष्टिकोण से देखें: यदि किसी उपयोगकर्ता के लिए विशिष्ट जानकारी प्राप्त करना कठिन है, तो यह खोज इंजन के लिए भी कठिन हो सकता है।
  • सुनिश्चित करें कि असंगत URL पैरामीटर या स्लैश के अनुचित उपयोग के कारण आपके पास डुप्लिकेट सामग्री नहीं है। डुप्लिकेट सामग्री को समाप्त करके, आप उस समय में कटौती करते हैं जब Googlebot कुछ क्रॉल करता है, जिसे वह पहले ही अनुक्रमित कर चुका होता है।
  • जब भी संभव हो अपनी सामग्री के भीतर संबंधित सामग्री लिंक और इन-साइट लिंकिंग का उपयोग करें।
  • अपने कुछ लिंक रेंडम करें। यादृच्छिक आंतरिक सामग्री के साथ एक साइडबार उपयोग करने के लिए एक शानदार पैटर्न है।
  • दिनांक और अन्य माइक्रोफ़ॉर्मेट्स का उपयोग करें ।
  • जहाँ भी संभव हो आरएसएस फ़ीड का उपयोग करें। RSS फ़ीड साइटमैप के समान कार्य करेगा (वास्तव में, वेबमास्टर टूल आपको साइटमैप के रूप में फ़ीड सबमिट करने की अनुमति देता है)।
  • साइटमैप के बारे में, इस प्रश्न को देखें ।
  • अपनी सामग्री के लिए बाहरी लिंक प्राप्त करने के तरीके खोजें। यह इसके अनुक्रमित होने की प्रक्रिया को तेज कर सकता है। यदि यह सामग्री के प्रकार के लिए उपयुक्त है, तो इसे सामाजिक रूप से या ईमेल के माध्यम से साझा करना आसान हो जाएगा।
  • अपने डेटा के उपयोग और आपके डेटा के बाहरी लिंक को प्रोत्साहित करने के लिए एक एपीआई प्रदान करें। डेटा उपयोग की आवश्यकता के रूप में आपके पास एक रोपण लिंक हो सकता है।
  • समुदाय को गले लगाओ। यदि आप सही तरीके से सही लोगों तक पहुंचते हैं, तो आपको ब्लॉग और ट्विटर के माध्यम से बाहरी लिंक मिलेंगे।
  • अपने डेटा के आसपास एक समुदाय बनाने के तरीकों की तलाश करें। इसे सामाजिक बनाने का तरीका खोजें। एपीआई, मैशअप, सोशल विगेट्स सभी मदद करते हैं, लेकिन इसलिए एक ब्लॉग, सामुदायिक शोकेस, फ़ोरम और गेमिंग मैकेनिक्स ( यह वीडियो भी देखें )।
  • प्राथमिकता दें कि आपने कौन सी सामग्री अनुक्रमित की है। उस डेटा के साथ, यह सब बिल्कुल महत्वपूर्ण होने वाला नहीं है। एक रणनीतिक निर्णय लें कि क्या सामग्री सबसे महत्वपूर्ण है, उदाहरण के लिए, यह सबसे लोकप्रिय होगा, आरओआई में इसका सबसे अच्छा मौका है, यह सबसे उपयोगी होगा, आदि और सुनिश्चित करें कि वह सामग्री पहले अनुक्रमित है।
  • अपनी सामग्री को अनुक्रमित करने के लिए आपका प्रतियोगी क्या कर रहा है, इसका विस्तृत विश्लेषण करें। उनकी साइट वास्तुकला, उनके नेविगेशन, उनके बाहरी लिंक आदि को देखें।

अंत में, मुझे यह कहना चाहिए। एसईओ और इंडेक्सिंग केवल एक व्यापार साइट चलाने के लिए छोटे हिस्से हैं। एसईओ के लिए ROI पर ध्यान केंद्रित न करें। यहां तक ​​कि अगर आपके पास Google से बहुत अधिक ट्रैफ़िक है, तो इससे कोई फर्क नहीं पड़ता कि आप इसे कनवर्ट नहीं कर सकते। एसईओ महत्वपूर्ण है, लेकिन इसे परिप्रेक्ष्य में रखने की आवश्यकता है।

संपादित करें :

अपने उपयोग के मामले में एक परिशिष्ट के रूप में: आप प्रत्येक व्यक्ति या व्यवसाय के लिए समीक्षा या प्रशंसापत्र देने पर विचार कर सकते हैं। इसके अलावा, StackOverflow जैसे उपयोगकर्ता बैज देने से कम से कम कुछ लोगों को आपकी साइट पर अपनी स्वयं की प्रोफ़ाइल से लिंक करने में लुभाया जा सकता है। यह आपके गहन पृष्ठों को जोड़ने के लिए कुछ बाहर को प्रोत्साहित करेगा, जिसका अर्थ है कि अनुक्रमित त्वरित हो सकता है।


1
+1 - हमेशा यह उल्लेख करते हुए भालू कि एसईओ व्यवसाय को बढ़ावा देने की अधिक समस्या का एक सूक्ष्म जगत है; इसमें खो जाना सबसे आसान (तकनीकी रूप से लोगों के लिए, कम से कम) के लिए है। इतिहास में किसी भी पूर्व समय की तुलना में अधिक लोग अभी टीवी देख रहे हैं - आप जो पेशकश कर रहे हैं उसके आधार पर, टीवी विज्ञापन बेहतर हो सकता है। PPC से ROI ...
danlefree

माइक्रोफ़ॉर्मेट्स पर अच्छा विचार है। यह एक चांदी की गोली नहीं है, लेकिन हमारे पास कई स्थान हैं जहां जगह में माइक्रोफ़ॉर्मेट मानकों का उपयोग करते हुए सिमेंटिक मार्कअप उपयोगी हो सकता है।
क्रिस एड्रैगन

1
मुझे नहीं पता कि कोई माइक्रोफ़ॉर्मेट्स (संभवत: टाइमस्टैम्प के अलावा) का मतलब अनुक्रमित तेज होगा, लेकिन उनका उपयोग करने में अन्य एसईओ लाभ हो सकते हैं। बहुत कम से कम, यह आपके पृष्ठों को क्रॉल करना आसान बनाता है और खोज इंजन परिणाम पृष्ठ (माइक्रोफ़ॉर्मेट के आधार पर) पर आपके प्रवेश को आसान बनाने में मदद कर सकता है।
पुण्यसूसी मीडिया

5

Google bot द्वारा अनुक्रमणित लाखों पृष्ठों को कैसे प्राप्त करें?

यह रातोंरात नहीं होगा, हालांकि, मैं गारंटी देता हूं कि यदि आप गहरी सामग्री (विशेष रूप से साइटमैप पेज या निर्देशिका अनुक्रमित जो अभी तक गहरी सामग्री की ओर इशारा करते हैं) के इनबाउंड लिंक समान रूप से बड़ी साइटों से जोड़े जा रहे हैं, तो आप अपने पृष्ठों को जल्द ही देखेंगे। कुछ समय के लिए आसपास रहे हैं।

क्या एक पुराना डोमेन प्रति दिन 100,000 पृष्ठों को अनुक्रमित करने के लिए पर्याप्त होगा?

संदेह है, जब तक कि आप एक पुराने डोमेन के बारे में बात नहीं कर रहे हैं, जो वर्षों से इस पर महत्वपूर्ण मात्रा में गतिविधि (यानी संचित सामग्री और इनबाउंड लिंक) है।

क्या कोई एसईओ सलाहकार हैं जो स्वयं अनुक्रमण प्रक्रिया का समर्थन करने में विशेषज्ञ हैं।

जब आप इस तरह से सवाल उठाते हैं, तो मुझे यकीन है कि आपको बहुत सारे एसईओ मिल जाएंगे जो जोर से "हाँ!" लेकिन, दिन के अंत में, Virtuosi मीडिया के सुझाव उतनी ही अच्छी सलाह हैं, जितने आपको उनमें से किसी से भी मिलेंगे (संभावित-खराब सलाह में से कुछ भी नहीं कहने के लिए)।

इसकी ध्वनि से, आपको इस बिंदु पर अपनी साइट की रैंकिंग बनाने के लिए व्यावसायिक विकास और जनसंपर्क चैनलों के उपयोग पर विचार करना चाहिए - अपनी सामग्री के लिए अधिक लिंक प्राप्त करें (अधिमानतः एक मौजूदा साइट के साथ साझेदारी करके जो आपके लिंक करने के लिए क्षेत्रीय रूप से लक्षित सामग्री प्रदान करता है। क्षेत्रीय रूप से विभाजित सामग्री, उदाहरण के लिए), अपनी साइट पर ब्राउज़ करने वाले अधिक लोगों को प्राप्त करें (कुछ में Google टूलबार स्थापित होगा ताकि उनका ट्रैफ़िक पृष्ठ खोज की दिशा में काम कर सके ), और, यदि संभव हो, तो अपने व्यवसाय के बारे में समाचारों या समुदायों में बात करें जिन लोगों को इसकी आवश्यकता है (यदि आप कुछ सेवाओं के लिए शुल्क लेने की योजना बनाते हैं, तो ब्याज लेने के लिए नि: शुल्क परीक्षण अवधि के विज्ञापन पर विचार करें)।


3

दो संभावित विकल्प हैं जो मुझे पता हैं कि कुछ सहायता के हैं।

एक: एक छोटी सी चाल मैंने एक वेबसाइट के साथ कोशिश की जिसमें तीन मिलियन पृष्ठ थे जो आश्चर्यजनक रूप से अच्छी तरह से काम करते थे जो मेरे सहयोगी ने क्रॉल लूप गढ़ा था। आपको अपनी साइट के साथ फिट होने के लिए विचार को थोड़ा हेरफेर करना पड़ सकता है।

मूल रूप से हम एक दिन निर्धारित करते हैं, जहां हमने सोचा था कि हमें बहुत अधिक ट्रैफ़िक (क्रिसमस) मिलेगा और हमने सचमुच हमारी साइट पर हर एक लिंक की एक सूची कॉपी की और हर एक को एक php फ़ाइल में चिपकाया, जिसे हर एक वेबपेज पर कॉल किया गया था। (साइडबार php फ़ाइल)

हमने तब Google खोज कंसोल (पूर्व में Google वेबमास्टर टूल) पर जाने का अनुरोध किया था और Google को एक url लाने और उस url पृष्ठ पर हर एक लिंक को क्रॉल करने के लिए कहा था।

चूँकि आपके पास बहुत सारे लिंक हैं, और जिन पेजों के लिंक भी प्रचुर मात्रा में लिंक हैं, Google थोड़ा लूप में चला जाता है और साइट को बहुत जल्दी से क्रॉल करता है। मुझे पहली बार में संदेह हुआ लेकिन इसने एक आकर्षण की तरह काम किया।

ऐसा करने से पहले आपको यह सुनिश्चित करना चाहिए कि आपके पास एक अत्यंत कुशल डेटाबेस सेटअप और एक बहुत शक्तिशाली सर्वर है अन्यथा यह सर्वर को अधिभारित कर सकता है या धीमे पृष्ठ लोड समय के कारण आपके एसईओ को चोट पहुंचा सकता है।

अगर वह आपके लिए एक विकल्प नहीं है, तो आप हमेशा Google के क्लाउड कंसोल एपिस में देख सकते हैं। उनके पास एक खोज कंसोल एपी है, ताकि आप प्रत्येक वेबपेज को सर्च कंसोल में अपनी वेबसाइट के उदाहरण के रूप में जोड़ने के लिए एक स्क्रिप्ट लिख सकें या आपके हर एक यूआरएल में google लाने के लिए।

एपिस बहुत जल्दी जटिल हो सकता है लेकिन सही इस्तेमाल होने पर एक अद्भुत उपकरण है।

सौभाग्य!


1
अपने पृष्ठों को एक साथ जोड़ना उन सभी को क्रॉल करने के लिए एक शानदार रणनीति है। एक XML साइटमैप पर भरोसा करने की कोशिश करने से बेहतर है। हालाँकि, मैं उन लिंक को हर समय जगह पर छोड़ता हूँ, फिर क्रिसमस के दिन। जैसे ही आप लिंक को नीचे लेते हैं, Google खोए गए पृष्ठों को नोट करेगा और उन्हें अनुक्रमित करना बंद कर देगा।
स्टीफन Ostermiller

2

गेमिंग सिस्टम एक अच्छा विचार नहीं है यदि आप एक वैध व्यवसाय चला रहे हैं जो इसकी ऑनलाइन प्रतिष्ठा को महत्व देता है। इसके अलावा, यदि आपकी साइट वास्तव में मूल्य प्रदान करती है, तो अब यह आसपास है (मेरा मानना ​​है कि आप कुछ विपणन कर रहे हैं?) जितने अधिक बैकलिंक्स यह अर्जित करेंगे, उतना ही आपका पीआर बढ़ जाएगा और आपकी क्रॉल दर बढ़ जाएगी।

इसके अलावा, यदि आपके पास अपनी साइट पर एक अच्छी लिंक संरचना है (आपके सभी पृष्ठ उचित संख्या में क्लिक / लिंक के लिए खोज योग्य हैं), तो आपको केवल साइटमैप के माध्यम से मुख्य अनुक्रमित जमा करना होगा। एक बार उन पृष्ठों को Google द्वारा अनुक्रमित कर लेने के बाद, उन्हें Google द्वारा क्रॉल किया जाएगा, और Google शेष पृष्ठों को अपने आप अनुक्रमित कर देगा।


+1 आरई: गेमिंग सिस्टम - हालांकि मुझे लगता है कि यह ध्यान दिया जाना चाहिए कि सिस्टम को गेमिंग करने के लिए बहुत सारे विकल्प हैं जो एक वेबमास्टर को उसकी साइट पर वैध बैकलिंक्स (जो आगंतुकों के लिए उपयोगी होंगे) उत्पन्न करने की अनुमति देते हैं।
डानलेफ्री

@danlefree: निश्चित रूप से। मैं केवल उनके अवशिष्ट पीआर / ट्रैफ़िक प्राप्त करने के लिए समाप्त डोमेन नाम खरीदने की बात कर रहा था। लेकिन अगर आप अपनी साइट का विज्ञापन कर सकते हैं, प्रेस प्रकाशनों को ट्रेड प्रकाशनों, एप्लिकेशन समीक्षा साइटों आदि के लिए भेज सकते हैं, तो वे वैध बैकलिंक उत्पन्न करने के बहुत अच्छे तरीके हैं।
लेसे मेजेस्टे

2

Google वेबमास्टर टूल के साथ एक बात जो मैंने देखी है, वह यह है कि वे प्रति सेकंड लगभग दो अनुरोधों की अधिकतम क्रॉल दर की अनुमति देकर शुरू करते हैं। फिर लगभग एक सप्ताह या उसके बाद, यदि वे पाते हैं कि वेबसाइट अक्सर एक्सेस की जाती है, तो वे आपको अपनी सीमा बढ़ाने की अनुमति देंगे।

मैं एक ऐसी वेबसाइट का सह-संचालन करता हूं, जो 500,000 से अधिक मूल चित्रों को होस्ट करता है और कई बार, मेरी अधिकतम सीमा प्रति सेकंड 10 अनुरोध है क्योंकि मुझे एक दिन में कम से कम 700 से 1000 हिट्स मिलते हैं यदि अधिक नहीं।

तो आप क्या करना चाहते हैं हर हफ्ते वेबमास्टर टूल के साथ जांचें कि क्या आप क्रॉल सीमा बढ़ा सकते हैं। जब आप क्रॉल सीमा बदलते हैं, तो एक निश्चित दिन बीत जाने के बाद Google इसे अपनी पसंदीदा सेटिंग्स पर वापस लौटा देगा (जो इंटरफ़ेस आपको दिखाएगा)। फिर उस दिन, फिर से सीमा बढ़ाएं।


2

मुझे इस तरह की साइट का अनुभव है। मैं कई साल पहले एक लेख निर्देशिका चलाता था और पृष्ठों का% अनुक्रमित और अधिक महत्वपूर्ण बात यह थी कि वास्तव में प्रदर्शन करने वाले डोमेन की संख्या से बहुत अधिक सीधे संबंधित था - यानी लिंक करने वाली अद्वितीय वेबसाइटों की संख्या। लाखों पृष्ठों वाली एक बड़ी साइट को कई 1,000 की आवश्यकता है। उचित डोमेन को अपने आप में प्रदर्शन करने के लिए लिंक करना।

यह सुनिश्चित करने के लिए रात भर नहीं होने वाला है, लेकिन आप प्रति दिन 5-10 अच्छे लिंक बनाते हैं, जब यह होने लगेगा, तब आप आय उत्पन्न करने के लिए इस स्थिति में होंगे कि लिंक बनाने के लिए एक पेशेवर एसईओ संगठन का भुगतान कर सकें। तुम्हारे लिए।

मैं इस समय एक समान रूप से समृद्ध साइट का निर्माण कर रहा हूं, इसके शुरुआती दिन हैं लेकिन मेरे पास लगभग 4 मिलियन पृष्ठों की सामग्री के साथ प्रति दिन 700-1,000 पृष्ठों की क्रॉल दर के साथ एक ही मुद्दा है।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.