Youtube जैसा कि हम जानते हैं, बड़े पैमाने पर है। इसके प्रति वीडियो में कम से कम 2 मेगाबाइट की स्ट्रीमिंग करने वाले हजारों समवर्ती उपयोगकर्ता हैं। जाहिर है, यह बहुत अधिक ट्रैफ़िक हो जाता है ... किसी भी एक सर्वर के लिए बहुत अधिक।
कौन सी नेटवर्किंग प्रौद्योगिकियाँ एक दिन में 4 बिलियन वीडियो पुश करने की अनुमति देती हैं?
जवाबों:
एक बहुत ही सरल सेटअप में, एक DNS प्रविष्टि एक आईपी पर जाती है जो एक सर्वर से संबंधित है। दुनिया भर में हर कोई उस एकल मशीन पर जाता है। पर्याप्त ट्रैफ़िक के साथ, YouTube का आकार प्राप्त करने से पहले आपको बहुत अधिक समय तक संभालना होगा। एक सरल परिदृश्य में, हम एक लोड बैलेंसर जोड़ते हैं। लोड बैलेंसर का काम एक सर्वर के रूप में दिखाई देते हुए ट्रैफ़िक को विभिन्न बैक-एंड सर्वर पर पुनर्निर्देशित करना है।
YouTube के पास जितना डेटा है, सभी सर्वर से सभी वीडियो की सेवा करने में सक्षम होने की अपेक्षा करना बहुत अधिक होगा, इसलिए हमारे पास जोड़ने के लिए अप्रत्यक्ष की एक और परत है: शार्डिंग । एक आकस्मिक उदाहरण में, एक सर्वर "ए" से शुरू होने वाली हर चीज के लिए जिम्मेदार है, दूसरा "बी" का मालिक है, और इसी तरह।
आखिरकार, हालांकि, बैंडविड्थ बस तीव्र हो जाता है और आप एक कमरे में बहुत सारे डेटा ले जा रहे हैं। इसलिए, अब जब हम सुपर लोकप्रिय हैं, तो हम इसे उस कमरे से बाहर ले जाते हैं। यहां जो दो प्रौद्योगिकियां हैं, वे हैं कंटेंट डिस्ट्रीब्यूशन नेटवर्क्स और एनीकैस्टिंग ।
जहां मुझे यह बड़ी स्थिर फाइलें दुनिया भर में अनुरोध की जा रही हैं, मैं अपने होस्टिंग सर्वर से सीधे लिंक की ओर इशारा करता हूं। इसके बजाय मैं अपने CDN सर्वर के लिए एक लिंक डाल रहा हूँ। जब कोई वीडियो देखने के लिए कहता है, तो वे इसके लिए मेरा CDN सर्वर पूछते हैं। सीडीएन पहले से ही वीडियो के लिए जिम्मेदार है, होस्टिंग सर्वर से एक प्रति के लिए पूछ रहा है, या मुझे पुनर्निर्देशित कर रहा है। यह नेटवर्क की वास्तुकला के आधार पर अलग-अलग होगा।
वह CDN कैसे मददगार है? खैर, एक आईपी वास्तव में कई सर्वरों से संबंधित हो सकता है जो दुनिया भर में कई स्थानों पर हैं। जब आपका अनुरोध आपके कंप्यूटर को छोड़ देता है और आपके आईएसपी पर जाता है, तो उनका राउटर उस आईपी के लिए सबसे अच्छा पथ (सबसे छोटा, सबसे तेज, कम से कम लागत ... जो भी मीट्रिक) है। अक्सर एक सीडीएन के लिए, जो आपके निकटतम टियर 1 नेटवर्क पर या उसके बगल में होगा ।
इसलिए, मैंने YouTube से एक वीडियो का अनुरोध किया। जिस वास्तविक मशीन पर यह संग्रहीत किया गया था वह कम से कम iad09s12.v12.lscache8.c.youtube.comऔर है tc.v19.cache5.c.youtube.com। वे मेरे वेबपेज के स्रोत में दिख रहे हैं जिन्हें मैं देख रहा हूं और उन्हें किसी प्रकार के इंडेक्सिंग सर्वर द्वारा प्रदान किया गया है। अब, मेन से मुझे पता चला कि tc19 सर्वर Miama, फ्लोरिडा में होगा। वाशिंगटन से, मुझे tc19 सर्वर सैन जोस, कैलिफोर्निया में मिला।
कई तकनीकों का उपयोग बड़ी साइटों के लिए किया जाता है।
www.youtube.com -> किसी भी आईपी पते की संख्याआइए DNS में देखें:
www.youtube.com is an alias for youtube-ui.l.google.com.
youtube-ui.l.google.com has address 74.125.226.14
youtube-ui.l.google.com has address 74.125.226.0
youtube-ui.l.google.com has address 74.125.226.1
youtube-ui.l.google.com has address 74.125.226.2
youtube-ui.l.google.com has address 74.125.226.3
youtube-ui.l.google.com has address 74.125.226.4
youtube-ui.l.google.com has address 74.125.226.5
youtube-ui.l.google.com has address 74.125.226.6
youtube-ui.l.google.com has address 74.125.226.7
youtube-ui.l.google.com has address 74.125.226.8
youtube-ui.l.google.com has address 74.125.226.9
youtube-ui.l.google.com has IPv6 address 2001:4860:800f::88
इसलिए www.youtube.com वास्तव में कई आईपी पते पर जा सकता है।
एक एकल आईपी को किसी भी स्वायत्त प्रणाली (इंटरनेट पर एक नेटवर्क) द्वारा एक साथ संभाला जा सकता है। उदाहरण के लिए, कई मूल DNS सर्वरों के साथ-साथ Google के 8.8.8.8DNS सर्वरों को दुनिया भर में कई बिंदुओं पर प्रसारित किया जाता है। विचार यह है कि यदि आप अमेरिका में हैं, तो आप अमेरिकी नेटवर्क से टकराते हैं और यदि आप यूके में हैं, तो आप यूके नेटवर्क से टकराते हैं।
सिर्फ इसलिए कि आप चालू हैं www.youtube.com, इसका मतलब यह नहीं है कि सभी सामग्री को एक ही सर्वर से आना होगा। इस साइट पर, स्थैतिक संसाधनों के sstatic.netबजाय से सेवा की जाती है serverfault.com।
उदाहरण के लिए, यदि हम Kaley Cuoco की स्लेव Leia PSA देखते हैं, तो हम पाते हैं कि मीडिया द्वारा सेवा की जा रही है v10.lscache5.c.youtube.com।
मैं आपको विश्वास दिलाता हूं, Youtube में एक से अधिक इंटरनेट कनेक्शन हैं। अन्य सभी तकनीकों के बावजूद, भले ही Youtube वास्तव में एक एकल साइट और एकल सर्वर था, लेकिन यह सिद्धांत में हर एक अन्य नेटवर्क से कनेक्शन हो सकता है, जिसमें वह वीडियो सेवा कर रहा था। वास्तविक दुनिया में यह संभव नहीं है, लेकिन विचार पर विचार करें।
किसी भी या सभी विचारों (और अधिक!) का उपयोग सामग्री वितरण नेटवर्क का समर्थन करने के लिए किया जा सकता है । यदि आप अधिक जानना चाहते हैं तो उस लेख को पढ़ें।
आप यह कल्पना करना गलत है कि YouTube (उर्फ Google) में केवल एक सर्वर है; यह inforgraphic उस सिस्टम के पैमाने को दर्शाने में मदद कर सकता है जो उस सेवा का समर्थन करता है।
यहां तक कि अगर आपके पास केवल उपस्थिति का एक बिंदु है, तो आप लोड बैलेन्सर और सभी जैसे टूल का उपयोग करके, एक ही नाम के पीछे एक से अधिक सर्वर और यहां तक कि आईपी भी रख सकते हैं।
हालाँकि, Google के पास बहुत सारे मौजूदगी के बिंदु हैं, और AnyCast जैसे उपकरणों का उपयोग करें - इंटरनेट पर कई स्थानों पर एक ही आईपी को प्रकाशित करने की तकनीक, और लोगों को बुनियादी ढांचे का समर्थन करने के लिए - निकटतम सर्वर पूल में रूट किया गया है।
मैं चीजों के नेटवर्क पक्ष पर थोड़ा स्पर्श करूंगा: Google के पास दुनिया भर के 73 अद्वितीय डेटाचेनर्स में प्वाइंट ऑफ प्रेजेंस (PoP) है (अपने स्वयं के शामिल नहीं)। वे 69 अद्वितीय इंटरनेट एक्सचेंजों के सदस्य हैं । Google peeringdb पर सूचीबद्ध अन्य नेटवर्क की तुलना में अधिक डेटासेटर्स और इंटरनेट एक्सचेंज बिंदुओं में है।
Google की कुल इंटरनेट विनिमय क्षमता> 1.5Tbps है, और यह कि 1.5Tbps Google के साथ 100Mbps ट्रैफ़िक वाले नेटवर्क के लिए आरक्षित है, लेकिन मैं 2-3Gbps के आसपास का अनुमान लगाता हूं। आपके पास 'पर्याप्त मात्रा' होने के बाद , आपको निजी peering (PNI) में ले जाया जाता है।
इंटरनेट एक्सचेंज पियरिंग और प्राइवेट पेअरिंग (AS15169 के साथ) के अलावा, YouTube एक पारगमन नेटवर्क भी संचालित करता है: AS43515, और एक अन्य नेटवर्क जो मुझे लगता है कि पेड पेअरिंग / ओवरफ़्लो, AS36040 है। ISPs के लिए Google अपने नेटवर्क के भीतर और भी अधिक स्थानीय रूप से तैनात करने के लिए Google ग्लोबल ग्लोबल कैश सर्वर भी संचालित करता है । (Peeringdb से डेटा, bgp.he.net)।
मेरे अनुभव के आधार पर, मेरा मानना है कि YouTube आईपी जियोलोकेशन या एनीकास्ट की तुलना में बहुत अधिक उपयोग करता है ताकि वीडियो की सेवा करने के लिए एक स्थान चुना जा सके।
Google एक विशाल वैश्विक रीढ़ नेटवर्क चलाता है , उनके पास अंधेरे फाइबर हैं , उनके पास पनडुब्बी केबल वित्तपोषित है । YouTube पर ट्रैफ़िक का आयतन बहुत बड़ा है! मुझे लगता है कि YouTube का चरम ट्रैफ़िक वॉल्यूम> 12Tbps है। Google सभी इंटर-डोमेन इंटरनेट ट्रैफ़िक के कम से कम 7% (और शायद> 10%) का प्रतिनिधित्व करता है।
तो वास्तव में आपके सवाल का जवाब, एक नेटवर्क के नजरिए से, YouTube जैसे पैमाने पर करने के लिए आपको अपने नेटवर्क में बड़े पैमाने पर निवेश करना होगा - जमीन से डब्ल्यूडीएम गियर और रूटर्स में। आपको अपने उपयोगकर्ताओं के लिए यथासंभव सामग्री और नेटवर्क प्राप्त करना होगा। इसका मतलब आमतौर पर peering, IXs, और शायद थोड़ा सा पारगमन होता है। आपको उपयोगकर्ताओं को समझदारी से बताने में सक्षम होना चाहिए कि ट्रैफ़िक को समान रूप से वितरित और सस्ते रखने के लिए सामग्री कहाँ से प्राप्त करें। और निश्चित रूप से, आपके पास एक दिन में 4 बिलियन विचारों को संग्रहीत करने, संसाधित करने, परिवर्तित करने और वितरित करने के लिए बड़े पैमाने पर सर्वर अवसंरचना होनी चाहिए!
यदि आप सर्वर साइड के बारे में उत्सुक हैं, तो मैंने एक ब्लॉग पोस्ट लिखी है जो हाल ही में जारी डेटासेंटर छवियों में से कुछ को तोड़ती है।
यदि आप बड़े पैमाने पर सिस्टम और इन कंपनियों द्वारा उपयोग की जाने वाली तकनीकों के बारे में अधिक जानना चाहते हैं, तो अब सबसे अच्छा स्रोत http://highscalability.com है
Google या अकामाई जैसी सबसे बड़ी कंपनियों के पास हमेशा वे घटक होते हैं जो उन्होंने खुद लिखे / बनाए। (उदाहरण के लिए अकामाई ने अपनी सेवाओं के लिए एक वेबसर्वर विकसित किया)