अधिकतम प्रदर्शन EC2 उदाहरण कैसे प्राप्त करें

Question

अस्वीकरण: मैं दुनिया के एक सर्वर प्रकार में फ्रंट एंड देव हूं।

हाय दोस्तों। मेरे पास EC2 पर एक सर्वर का उदाहरण है c5d.9xlarge, जिनके स्पेक्स हैं:

• सिस्टम: उबंटू 18.04
• vCPU: 36 धागे / कोर
• मेमोरी: 72 जीबी
• स्टोरेज: 900 जीबी NVMe SSD
• समर्पित ईबीएस बैंडविड्थ: 7,000 एमबीपीएस
• नेटवर्क प्रदर्शन: 10 Gbps

परिदृश्य: मैं इस सर्वर का उपयोग बड़े वीडियो (4K, 1+ hr) अपलोड करने और उन्हें FFMPEG का उपयोग करके संसाधित करने के लिए करता हूं, लेकिन मेरे पिछले अपक्लाउड सर्वर की तुलना में 12 कोर और 48 जीबी रैम के साथ, यह EC2 सर्वर अपलोड और प्रक्रिया में 1.5 गुना अधिक समय ले रहा है। , जो मुझे लगता है कि ऐसा नहीं होना चाहिए।

प्रश्न: मैं किस चीज के लिए भुगतान कर रहा हूं?

Comments

आपको यह देखने के लिए AWS इलास्टिक ट्रांसकोडर की लागत देखनी चाहिए कि क्या यह आपके लिए बेहतर काम करता है।

— टिम

धन्यवाद @ टिम। मैंने इसे कुछ समय पहले देखा था, लेकिन मेरे पास वास्तव में इस सर्वर पर कुछ और कॉल हैं, इसलिए मुझे लगा कि मैं उन्हें जोड़ूंगा।

— मार्तविस पी।

Answer 1

आपका c5d.9xlargeसाथ आता है 900GB चरण संग्रहण (उर्फ अल्पकालिक भंडारण ) - आपको लगता है कि प्रयोग कर रहे हैं भंडारण और फ़ाइलों के प्रसंस्करण के लिए? जबकि आपके उदाहरण में कुछ समर्पित ईबीएस बैंडविड्थ हैं, उदाहरण के लिए एसएसडी स्टोरेज अभी भी बहुत तेज होगा । मेरा सुझाव है कि आप सभी स्रोत और अस्थायी फ़ाइलों के लिए उपयोग करें और केवल ईबीएस को परिणाम स्टोर करें।

हालांकि उदाहरण के भंडारण के साथ कुछ चेतावनी हैं:

1. आप के लिए है प्रारूप और माउंट यह बाद ही उपयोग किया जा सकता है। अधिक विवरण के लिए इस उत्तर को देखें: उबंटू 16.04 में AWS EC2 पर स्वचालित रूप से SSD इंस्टेंस स्टोरेज को माउंट करें

2. जब आप रोकते हैं और फिर से आवृत्ति शुरू करते हैं तो सामग्री मिटा दी जाती है। यह रिबूट से बच जाता है, लेकिन रुकता / शुरू नहीं होता है।

---

अद्यतन: डिफ़ॉल्ट रूप से SSD माउंट नहीं किया गया है - इसका उपयोग करने के लिए आपको ऊपर दिए गए लिंक किए गए उत्तर में दिए गए चरणों का पालन करना होगा। बूट के बाद मानक विन्यास में आप EBS का उपयोग करेंगे जो SSD की तुलना में धीमा है।

फिर आपको यह सुनिश्चित करना होगा कि आप वास्तव में इसका उपयोग कर रहे हैं - अपलोड , काम और अस्थायी निर्देशिका को उस एसएसडी माउंट बिंदु पर सेट करें।

या इससे भी बेहतर - चूंकि आपने 72 जीबी रैम प्राप्त की है - एक रैम डिस्क बनाएं और अस्थायी फ़ाइलों के लिए इसका उपयोग करें। यह SSD से भी तेज होगा (यदि फ़ाइलें फिट हैं)।

सबसे पहले अपलोड गति की उपेक्षा करें और प्रसंस्करण को अनुकूलित करें - फ़ाइल को ईबीएस पर अपलोड करें और प्रसंस्करण के समय, फिर एसएसडी पर अपलोड करें और इसे और फिर रैम डिस्क और प्रसंस्करण के समय पर अपलोड करें। देखें कि वे कितने अलग हैं।

अपलोड गति आपके और AWS क्षेत्र के बीच की दूरी और विलंबता सहित कई पहलुओं से प्रभावित होगी, जिन्हें आप अपलोड कर रहे हैं। क्या आप AWS क्षेत्र का उपयोग कर रहे हैं?

पुन: सीपीयू प्रदर्शन - आपको 36 सीपीयू उपलब्ध हुए हैं, हालांकि प्रत्येक एकल कोर आपके पिछले 12-कोर मशीन में कोर की तुलना में धीमा हो सकता है। यह सीपीयू वास्तुकला और घड़ी की गति पर निर्भर करता है। हालाँकि यदि आप वीडियो प्रसंस्करण को 36 थ्रेड्स में समांतर कर सकते हैं तो आपको इस उदाहरण पर बेहतर होना चाहिए। यदि आप एक ही धागे पर भरोसा करते हैं, तो आपको वह प्रदर्शन नहीं मिल सकता है जो आप चाहते हैं।

उम्मीद है की वो मदद करदे :)

Comments

हां, हार्ड ड्राइव को स्टोर करने के लिए उपयोग किया जाता है, जब फाइलें प्रोसेस हो रही होती हैं और प्रक्रिया खत्म होने तक फाइलें टेम्प हो जाती हैं। परिणामी फाइलें S3 को भेजी जाती हैं। मैं वास्तव में नहीं जानता कि क्या एसएसडी को माउंट किया गया है। मुझे एहसास होने लगा है कि AWS डिफ़ॉल्ट सेटिंग के रूप में स्पेक्स का उपयोग नहीं करता है। क्या SSD बढ़ने से अपलोड तेजी से होता है? अनुवर्ती: किसी भी विचार मैं कैसे अनुमत सीपीयू कल्पना को अधिकतम कर सकता हूं?

— मार्टविस पी।

@MartavisP। जवाब में कुछ अपडेट जोड़े।

— विधायक

वाह, जानकारी के लिए बहुत बहुत धन्यवाद! मैं आपके द्वारा लिखी गई बातों का अध्ययन और आवेदन करूंगा।

— मार्टविस पी।

बहुत बढ़िया जवाब। आपको अड़चन खोजने के लिए बेंचमार्क करने की जरूरत है, इसे अपलोड समय, प्रसंस्करण समय, सीपीयू उपयोग, ईबीएस / नेटवर्क उपयोग आदि के लिए तोड़ दें। यह इस सर्वर के लिए अधिक विलंबता जितनी सरल हो सकती है, इसलिए अपलोड धीमा है, जो आप EC2 / S3 के समानांतर थ्रेड्स में डेटा अपलोड करके काम कर सकते हैं। नेटफ्लिक्स का यूट्यूब पर यह वीडियो है जो दिलचस्प हो सकता है, लेकिन इससे पहले कि आप इस तरह के विवरण से परेशान हों, अपने निदान के कदम उठाएं।

— टिम

Answer 2

क्या विकल्प देखने की कोई गुंजाइश है? की लागत के लिए c5d.9xlarge, भले ही आपको पर्याप्त छूट मिल रही हो, समर्पित सर्वर बाजार में आपके पास कई समकक्ष या बेहतर मशीनें हो सकती हैं

इस तरह की वर्टिकल-स्केल्ड समस्या के लिए क्लाउड का उपयोग करना ओवरपेइंग के लिए एक नुस्खा है और, जैसा कि आपने देखा है, खराब प्रदर्शन

गैर-उत्तर के लिए क्षमा करें, लेकिन मेरे पास टिप्पणी करने के लिए पर्याप्त प्रतिनिधि नहीं है

Comments

यह मेरे लिए एक छूट थी, UpCloud से स्विच करना। तो आप क्या सलाह देते हैं?

— मार्टविस पी।

ऐसा लगता है कि क्लाउड में समान गणना कुछ यादृच्छिक वेब होस्टर पर मासिक किराए के सर्वर की कीमत से लगभग 4 गुना अधिक है। फिर, एंटरप्राइज डिस्काउंट (~ 30%) हैं और आप 3 साल के लिए बुक कर सकते हैं (2x सस्ता लेकिन अब उस बेतरतीब वेब होस्टर से भी बदतर)। और यह कि मासिक किराए पर लिया जाने वाला सर्वर आमतौर पर हार्डवेयर खरीदने के लिए 1/12 वाँ मूल्य लगता है। यही मुझे कम से कम दिखाई देता है। इसलिए क्लाउड में आप हर 3 महीने में हार्डवेयर खरीदते हैं, लेकिन आप इसके मालिक नहीं हैं।

— usr

हाँ, यह एक अच्छा बिंदु है, लेकिन आपको याद रखना होगा कि आप जीवन में कुछ भी, जैसे रखरखाव और सुविधा के लिए भुगतान कर रहे हैं। मैं इसके बजाय एडब्ल्यूएस को अपने मैकेनिक होने के बजाय एक सर्वर आउटेज को ठीक करने की कोशिश करने में खर्च करने की कोशिश करता हूं। यह अच्छा ज्ञान है लेकिन अंततः मेरा करियर कोड के बारे में है इसलिए मेरे लिए क्लाउड काम करता है।

— मार्तविस पी।