गति की आवश्यकता लिखें: 1.1GB / s संभावनाएं?


29

हमारे पास काम पर एक मशीन होगी, जो कि चोटी के प्रदर्शन पर, प्रति घंटे 50 ("राइट्स हेड") x 75GB डेटा को पुश करने में सक्षम होना चाहिए । वह पीक परफॉर्मेंस ~ 1100MB / s राइट स्पीड है। मशीन से प्राप्त करने के लिए, इसे दो 10GBi लाइनों की आवश्यकता होती है। मेरा सवाल यह है कि इस तरह के डेटा फ्लो को सर्वर / टेक्नोलॉजी किस तरह से हैंडल / स्टोर कर सकती है?

वर्तमान में डेटा भंडारण के लिए हम ZFS के साथ काम करते हैं, हालांकि लिखने की गति कभी एक सवाल नहीं थी। (हम इन गति के करीब भी नहीं हैं) क्या ZFS (linux पर zfs) एक विकल्प होगा? हमें बहुत सारे डेटा संग्रहीत करने की आवश्यकता है, "आईटी गाइड" कुल मिलाकर 50-75 टीबी के बीच कहीं सुझाव देता है। जब तक हम अपने पहले जन्मे बच्चे की पेशकश नहीं करना चाहते, तब तक शायद यह सभी SSDs नहीं हो सकता।

उत्कृष्ट उत्तरों के आधार पर कुछ अतिरिक्त:

  • चरम के दौरान अधिकतम 50x75GB / घंटा है जो 24h से कम है (सबसे अधिक संभावना <6h)
  • हम जल्द ही ऐसा होने की उम्मीद नहीं करते हैं, सबसे अधिक संभावना है कि हम 5-10x75 जीबी / घंटा चलेंगे
  • यह एक पूर्व-अल्फा मशीन है, हालांकि आवश्यकताओं को पूरा किया जाना चाहिए (भले ही बहुत सारे प्रश्न चिह्न खेलने में हों)
  • हम मशीन से सर्वर से कनेक्शन के रूप में एनएफएस का उपयोग करेंगे
  • लेआउट: जनरेटिंग मशीन -> स्टोरेज (यह एक) -> (सुरक्षित छापे 6) -> कंप्यूट क्लस्टर
  • इसलिए पढ़ने की गति आवश्यक नहीं है , लेकिन यह कंप्यूट क्लस्टर से उपयोग करना अच्छा होगा (लेकिन यह पूरी तरह से वैकल्पिक है)
  • सबसे अधिक संभावना है कि यह बड़ी डेटा फ़ाइलों (बहुत छोटे नहीं) होने जा रहा है

8
मेगाबाइट या मेगाबाइट के रूप में mb? बाइट्स को सूचित करने के लिए कृपया MBi MiBi MByte या MB का उपयोग करें। साथ ही 2 10 gbit लाइनें आपको 2400 MByte / s
mzhaase

1
यह अब और अधिक स्पष्ट है, धन्यवाद। कुछ और सवाल पीक प्रदर्शन 1.1 जीबीपीएस है लेकिन औसत क्या है? ये स्पाइक्स कितने समय तक चलते हैं? और क्या आप को स्वीकार करने के लिए तैयार कर रहे हैं सबसे कम महाद्वीप है? क्या लेखन एक बड़ी फ़ाइल है या कई छोटे हैं? किस प्रकार के प्रोटोकॉल का उपयोग किया जाएगा? आप किस तरह की अतिरेक चाहते हैं? यह किसी प्रकार का चिकित्सा या वैज्ञानिक उपकरण लगता है, क्या आप डेटाशीट को लिंक कर सकते हैं? चूंकि आप पहले से ही ZFS का उपयोग कर रहे हैं, आप एक ZFS विशेष भंडारण कंपनी के संपर्क में आ सकते हैं, जिनमें से एक युगल हैं। वे आपके लिए एक प्रणाली का अनुमान लगा सकते हैं।
म्हारास

2
क्या यह वास्तव में एक मशीन के साथ किया जाना है? कई मशीनों के लिए लोड संतुलन यह आसान बना सकता है। आप साझा संग्रहण का उपयोग कर सकते हैं या बाद में डेटा को समेकित कर सकते हैं। AWS पर आप एक ELB, ऑटो स्केलिंग, कई EC2 इंस्टेंसेस और EFS का उपयोग कर सकते हैं, लेकिन ऐसा लगता है कि आपको हार्डवेयर चाहिए। आपका प्रश्न उपयोग के मामले का बहुत अच्छी तरह से वर्णन नहीं करता है।
टिम

1
बस एक नोट, आपको "चोटी" प्रदर्शन की आवश्यकता नहीं है - आपको 1.1GBpS के "निरंतर" प्रदर्शन की आवश्यकता है
jsbueno

1
@jsbueno आप सही हैं, हालाँकि हम यह चुन सकते हैं कि कितने राइट्स सक्रिय करने के लिए हैं, इसलिए 1GB / s "सबसे खराब स्थिति" है, लेकिन यह देखते हुए कि इसमें घंटों लग सकते हैं यह निरंतर प्रदर्शन है।
स्वेनड

जवाबों:


18

बिल्कुल ... यदि सही ढंग से आर्किटेक्चर किया जाए तो लिनक्स पर जेडएफएस एक संभावना है। ज़ेडएफएस डिज़ाइन के खराब होने के कई मामले हैं , लेकिन अच्छी तरह से, आपकी आवश्यकताओं को पूरा किया जा सकता है।

तो मुख्य निर्धारक यह होगा कि आप इस डेटा स्टोरेज सिस्टम से कैसे जुड़ रहे हैं। क्या यह एनएफएस है? CIFS? ग्राहक स्टोरेज से कैसे जुड़ रहे हैं? या भंडारण प्रणाली पर प्रसंस्करण आदि किया जाता है?

कुछ और विवरण भरें और हम देख सकते हैं कि क्या हम मदद कर सकते हैं।

उदाहरण के लिए, यदि यह NFS है और तुल्यकालिक आरोह के साथ है, तो यह निश्चित रूप से लिनक्स पर ZFS को लिखने के प्रदर्शन की जरूरतों को पूरा करने के लिए और अभी भी दीर्घकालिक भंडारण क्षमता की आवश्यकता को बनाए रखने के लिए संभव है। क्या डेटा सिक्योर है? प्रत्येक ग्राहक कैसे जुड़ा है? गीगाबिट ईथरनेट?


संपादित करें:

ठीक है, मैं काट लूंगा:

यहां एक युक्ति है जो लगभग $ 17k- $ 23k है और 2U रैक स्थान में फिट होती है।

HP ProLiant DL380 Gen9 2U Rackmount
2 x Intel E5-2620v3 or v4 CPUs (or better)
128GB RAM
2 x 900GB Enterprise SAS OS drives 
12 x 8TB Nearline SAS drives
1 or 2 x Intel P3608 1.6TB NVMe drives

यह सेटअप आपको हार्डवेयर RAID6 या ZFS RAIDZ2 का उपयोग करके 80TB प्रयोग करने योग्य स्थान प्रदान करेगा।

चूंकि फोकस एनएफएस-आधारित प्रदर्शन है (सिंक्रोनस राइट्स मानते हुए), हम उन सभी को P3608 NVMe ड्राइव (धारीदार SLOG) के साथ आसानी से अवशोषित कर सकते हैं। वे क्रमिक लेखन में 3 जीबी / एस को समायोजित कर सकते हैं और आपके द्वारा वर्णित कार्यभार को लगातार संभालने के लिए उच्च पर्याप्त धीरज रेटिंग है। SLOG उपयोग मामले के तहत कुछ सुरक्षा को जोड़ने के लिए ड्राइव को आसानी से ओवरप्रोविजन किया जा सकता है।

एनएफएस कार्यभार के साथ, लेखन को कटा हुआ और कताई डिस्क में प्रवाहित किया जाएगा। लिनक्स के तहत, हम इसे हर 15-30 सेकंड में फ्लश करने के लिए ट्यून करेंगे। कताई डिस्क इसे संभाल सकती है और इससे भी अधिक लाभ हो सकता है यदि यह डेटा संपीड़ित हो।

सर्वर को 4 और खुले PCIe स्लॉट और दोहरे पोर्ट 10GbE FLR एडेप्टर के लिए एक अतिरिक्त पोर्ट के साथ विस्तारित किया जा सकता है। तो आप नेटवर्किंग लचीलापन है।


धन्यवाद ewwwite; हम NFS का उपयोग करेंगे, और केवल एक क्लाइंट (मशीन) है वैकल्पिक रूप से हम इसे अपने क्लस्टर से रीड डिवाइस के रूप में उपयोग करेंगे। (लेकिन क्या प्रसंस्करण या कैसे अज्ञात है) हमारे पास छापे 6 स्टोरेज सर्वर पर "स्पेस" उपलब्ध है।
स्वेनड

@SvennD यदि यह NFS है और समकालिक mounts के साथ है, तो यह निश्चित रूप से लिनक्स पर ZFS को स्केल करने के लिए संभव है कि लेखन प्रदर्शन की जरूरतों को पूरा करें और अभी भी दीर्घकालिक भंडारण क्षमता की आवश्यकता को बनाए रखें। क्या डेटा सिक्योर है? वह दूसरा कारक है। हालाँकि, इसका दायरा उस सलाह से परे है जिसे मैं मुफ्त में ऑनलाइन फोरम पर दे सकता था। मेरी संपर्क जानकारी मेरे सर्वरफॉल्ट प्रोफाइल में उपलब्ध है । अगर आपको आगे चर्चा करने की आवश्यकता हो तो मुझसे संपर्क करें।
ewhite

5
ZFS आप जो पूछ रहे हैं, उससे अधिक सक्षम है। पहला मुद्दा यह सुनिश्चित करने वाला है कि आपका वास्तविक हार्डवेयर इसके लिए सक्षम है। यदि आप सावधान नहीं हैं तो यह गलती से एडॉप्टर या बैकप्लेन स्तर पर 1GB / सेकंड से अधिक अड़चन पैदा करने वाला है। सुनिश्चित करें कि आपको वह हिस्सा सही मिल गया है, फिर ZFS की ओर से गोच से बचने के तरीके के बारे में पूछें।
जिम साल्टर

@SvennD एक बुनियादी डिजाइन विनिर्देश और किसी न किसी लागत के साथ संपादित।
ewhite

मुझे लगता है कि मैं एक HP सर्वर पर Oracle X6-2L की सिफारिश करूंगा । Oracle सर्वर चार 10GB नेटवर्क पोर्ट आउट-ऑफ-द-बॉक्स के साथ आता है। और मेरे अनुभव में एचपी निकले-एंड-डिम्स आपको आईएलओएम के लिए मृत्यु के लिए, आईएलओएम सॉफ्टवेयर को लाइसेंस देने के लिए, आदि एक एचपी सर्वर एक समकक्ष ओरेकल बॉक्स की तुलना में अधिक महंगा है। मेरा अनुभव मुझे यह भी बताता है कि ओरेकल बॉक्स एचपी बॉक्स से आगे निकल जाएगा - और एचपी बॉक्स की तुलना में बहुत कम होने की संभावना है कि उन हार्डवेयर अड़चनों में से एक है जो @JimSalter का उल्लेख करता है। हां, ओरेकल से खरीदना दर्दनाक हो सकता है।
एंड्रयू हेनले

23

ऐसे चरम लेखन की गति के लिए, मैं ZFS, BTRFS या किसी भी सीओडब्ल्यू फाइल सिस्टम के खिलाफ सुझाव देता हूं। मैं XFS का उपयोग करता हूं, जो बड़े / स्ट्रीमिंग ट्रांसफर पर बेहद कुशल है।

कई गायब हो गए हैं (आप इन डेटा तक पहुंचने की योजना कैसे बनाते हैं? क्या गति को पढ़ना महत्वपूर्ण है?

  • कच्चे विभाजन या एक मोटी LVM मात्रा के ऊपर XFS का उपयोग करें (पतले वॉल्यूम का उपयोग न करें)
  • बड़े डेटा के साथ कुशलतापूर्वक सामना करने के लिए ioblock आकार को ट्यून करें
  • पावरलॉस संरक्षित राइट कैश के साथ एक हार्डवेयर RAID कार्ड का उपयोग करें; यदि हार्डवेयर RAID का उपयोग करना प्रश्न से बाहर है, तो एक सॉफ़्टवेयर RAID10 योजना का उपयोग करें (किसी भी समानता-आधारित RAID मोड से परहेज)
  • LACP (लिंक एकत्रीकरण) के साथ दो 10Gb / s नेटवर्क इंटरफ़ेस का उपयोग करें
  • जंबो फ्रेम्स को सक्षम करना सुनिश्चित करें
  • जैसा कि आप NFS का उपयोग करने जा रहे हैं, बढ़ी हुई स्थिरता के लिए pNFS (v4.1) का उपयोग करने पर विचार करें
  • निश्चित रूप से कई अन्य बातें ...

3
इसके अलावा, अगर XFS का उपयोग करते हैं, तो जर्नल को SSD RAID1 जोड़ी पर रखें।
टीबी

2
यदि पॉवरलॉस-प्रोटेक्टेड राइटबैक कैश के साथ RAID कार्ड का उपयोग किया जाता है, तो जर्नल को मुख्य सरणी पर छोड़ा जा सकता है: राइट कैश को अवशोषित करेगा और पत्रिका को लिखता है। इसके अलावा, ओपी जो वर्णन करता है, उससे डेटा-स्ट्रीमिंग की तुलना में मेटाडेटा लोड काफी कम होना चाहिए।
शोदांशोक

2
ZFS ठीक काम करेगा, और XFS की तुलना में तेजी से आगे बढ़ सकता है। निश्चित रूप से, आपको इसे सही सेट करने की आवश्यकता होगी, और ZIL और SLOG के लिए RAM और SSD की आवश्यकता होगी, लेकिन यह संभव गति के साथ कोई फर्क नहीं पड़ता।
जॉन कीट्स

3
मैं लिनक्स पर XFS को पुरानी तकनीक के रूप में देखता हूं। ओपी आसानी से ZFS टॉप हार्डवेयर RAID को आसानी से चला सकता है। कारण है कि मैं ZFS की सलाह देता है कि आने वाले NFS सिंक्रोनस को SLOG द्वारा कम विलंबता पर सभी SSD पूल की आवश्यकता के बिना अवशोषित करने की अनुमति देता है।
इविविट

6
एक शेल्बी कोबरा "ओल्ड टेक्नोलॉजी" है, लेकिन यह अभी भी गेट से अधिकांश कारों को धूम्रपान कर सकता है। ZFS को कभी भी उच्च प्रदर्शन करने वाली फाइलसिस्टम के रूप में तैयार नहीं किया गया था, और हालाँकि इसे धुनना संभव है, क्योंकि यह एक विशेष कार्यभार के साथ तेजी से होता है, यह डिफ़ॉल्ट रूप से इसके लिए डिज़ाइन नहीं किया गया है। यह अधिक हार्डवेयर लेगा, बहुत अधिक मेमोरी, और इसे प्राप्त करने के लिए ट्यूनिंग के लिए बहुत कुछ ट्यूनिंग है जो आपको कुछ फिल्म निर्माण और प्रारूपण विकल्पों के साथ मुफ्त में देता है।
टीबी

4

25Gbps इथरनेट पहले से ही बॉर्डरलाइन-मेनस्ट्रीम है जबकि PCIe- बेस NVMe उस ट्रैफिक को आसानी से लैप कर देगा।

संदर्भ के लिए मैंने हाल ही में चार नियमित दोहरे xeon सर्वर (इस मामले में HPE DL380 Gen9s) का उपयोग करके एक छोटा 'लॉग कैप्चर' समाधान बनाया है, प्रत्येक में 6 x NVMe ड्राइव के साथ, मैंने Infiniband पर IP का उपयोग किया है, लेकिन उन 25 / 40Gbps NICs समान होंगे और हम प्रति सर्वर 8GBps तक कब्जा कर रहे हैं - एक इलाज का काम करता है।

मूल रूप से यह सस्ता नहीं है, लेकिन यह इन दिनों बहुत अधिक उपयोगी है।


1
हाँ, लेकिन आप NVMe पर ~ 50TB कैसे स्टोर करते हैं? स्पिनर सस्ते हैं, तो हम गति को बराबर रखने के लिए कैसे मर्ज करते हैं ...
स्वेनड

अच्छी बात है, वास्तविक रूप से आपको केवल एक सर्वर में 4 x 4TB प्राप्त होता है, मैं कई सर्वरों का उपयोग करता हूं, संभवत: आप नहीं कर सकते? अन्यथा यह सिर्फ 2.5 का भार है "10krpm का R10 में
चॉपर

नहीं चाहते हैं कि यह अधिक पसंद है, हमें दरवाजे में पाने के लिए उन चश्मे की आवश्यकता नहीं होगी, और मुझे कई सर्वरों के ओवरहेड के बुरे सपने नहीं चाहिए। सिर्फ एक मशीन के लिए। क्या R10 काफी तेज होगा? (harware raid?)
स्वेनड

हमारे पास एक Windows 2012R2 बॉक्स है जिसे हमने स्पेयर किट से बनाया है जिसका उपयोग नहीं किया गया था, हम इसे एक NAS के रूप में उपयोग करते हैं, इसे 6 x 400GB SAS SSDs मिला है आंतरिक रूप से, 8 x D2600 अलमारियों में से प्रत्येक 25 x 900GB 10k SAS डिस्क और D6000 के साथ है 70 x 4TB डिस्क के साथ शेल्फ और जो 10Gbps NIC को आसानी से भर सकता है - इसे 25Gb NIC के साथ अभी तक tbh करने की कोशिश नहीं की।
चॉपर

1
@MSalters 200 एमबी / एस की रेंज में ट्रांसफर रेट के साथ 8/10 टीबी पीएमआर (नॉन-एसएमआर) ड्राइव हैं। RAID10 और RAID6 दोनों में एक 12 या 16 ड्राइव सरणी, आसानी से आवश्यक 1.1 जीबी / एस स्थानांतरण गति से अधिक होनी चाहिए।
शोडान्शोक

2

बड़ी बात नहीं लगती। हमारे स्थानीय हार्डवेयर आपूर्तिकर्ता के पास एक मानक उत्पाद के रूप में है - जाहिर है कि यह सीसीटीवी रिकॉर्डिंग मोड में निरंतर 1400MB / s को धक्का दे सकता है, जो आपके चरम आवश्यकताओं से अधिक कठिन होना चाहिए।

(लिंक को डिफ़ॉल्ट 12GB कॉन्फिगर करना है, लेकिन वे ध्यान दें 20x4TB भी एक विकल्प है। इस विशेष मॉडल सर्वर के साथ कोई व्यक्तिगत अनुभव नहीं है।)


4
खैर, "मानक उत्पाद" द्वारा आप 20 x 600gb sas 15k और 3 x एंटरप्राइज़ sdd's के साथ "ब्लैक सॉफ्टवेयर बॉक्स" का संदर्भ देते हैं। इसका एक उचित प्रस्ताव, हमें हमारे हार्डवेयर विक्रेता के समान एक मिला, लेकिन मेरे लिए लाइसेंसिंग लागत कुछ के लिए पागल है जो मूल रूप से मुफ्त है (ZFS) बिल्ड साझा करने के लिए धन्यवाद! (अच्छा लिंक)
स्वेनड

2

1100MB पर अनुक्रमिक लिखते हैं आधुनिक हार्डवेयर के साथ कोई समस्या नहीं है। वास्तविक रूप से, मेरा घर सेटअप 8x5900 आरपीएम लैपटॉप ड्राइव, 2x15000 आरपीएम ड्राइव और 2x7200 आरपीएम ड्राइव के साथ 16 एमबी एक-ऑफ पेलोड के साथ 300 एमबी / एस का उपयोग करता है।

नेटवर्क फाइबर केबल के साथ एक 10GbE है, ईथरनेट पर 9000 MTU, और अनुप्रयोग परत सांबा 3.0 है। स्टोरेज को raid50 में तीन 4-ड्राइव raid5 वॉल्यूम पर तीन धारियों के साथ कॉन्फ़िगर किया गया है। नियंत्रक 6Gb / s प्रति पोर्ट (मेरे पास एक अतिरिक्त, धीमा पोर्ट-मल्टीप्लायर है) के साथ LSI MegaRAID SAS 9271-8i है।

किसी भी अनुभवी sadadmin से बात करें और वे आपको यह बताने में सक्षम हों कि कौन सी नियंत्रक (s) और ड्राइव आपकी आवश्यकताओं को पूरा करेंगे।

मुझे लगता है कि आप किसी भी 12Gb / s कंट्रोलर के साथ कोशिश कर सकते हैं और आठ 7200 RPM ड्राइव के दो प्रतिबिंबित पट्टियों को कॉन्फ़िगर कर सकते हैं (लगभग कोई भी ड्राइव करना चाहिए)। लिंक को संतृप्त करने के लिए 3-4 टीसीपी कनेक्शन शुरू करें और अगर 10GbE कार्ड की एक भी जोड़ी इसे संभाल नहीं सकती है, तो चार कार्ड का उपयोग करें।


2

एक स्पर्शरेखा के कुछ, लेकिन दोहरी 10GE लिंक के बजाय InfiniBand का उपयोग करने पर विचार करें। आप 56 जीबीपीएस इनफिनिबेंड कार्ड काफी सस्ते में खरीद सकते हैं, या 100 जीबीपीएस वालों के लिए बहुत अधिक नहीं है, और लिनक्स पर आईबीएम पर आरडीएमए के साथ एनएफएस का उपयोग करना आसान है, जो आपको बेहद कम विलंबता और सैद्धांतिक रेखा गति के माध्यम से थ्रूपुट (यदि आपका अंतर्निहित भंडारण कर सकते हैं) इसे संभालें)। आपको एक स्विच की आवश्यकता नहीं है, बस दो InfiniBand कार्ड और एक डायरेक्ट अटैच केबल (या यदि आपको अधिक दूरी की आवश्यकता है तो InfiniBand फाइबर केबल)।

MCB191A-FCAT की तरह सिंगल-पोर्ट मेलानॉक्स 56Gbps कार्ड (8x PCIe 3.0) 700 रुपये से कम है, और 2-मीटर कॉपर डायरेक्ट अटैच केबल 80 डॉलर की तरह है।

प्रदर्शन आमतौर पर सभी उपयोग के मामलों में पानी से 10GbE को उड़ा देगा। कोई डाउनसाइड नहीं है, जब तक कि आपको बहुत से अलग-अलग क्लाइंट्स से सर्वर तक पहुंचने की आवश्यकता न हो, जो सभी InfiniBand का उपयोग नहीं कर सकते (और फिर भी, मेलानॉक्स के स्विच 10GbE और 40GbE से लेकर IB तक जा सकते हैं, लेकिन यह एक निवेश का थोड़ा अधिक है,) बेशक)।


1

ZFS के साथ ऐसा करना संभव है, हालांकि, FreeBSD का उपयोग करने पर विचार करें क्योंकि FreeBSD में तेज नेटवर्क स्टैक है। यह एक मशीन पर संभवतः 100 जीबीट की अनुमति देगा।

1100 एमबीपीएस बहुत लगता है, लेकिन आप केवल नियमित हार्डड्राइव का उपयोग करके इसे वास्तविक रूप से प्राप्त कर सकते हैं। आप कहते हैं कि आपको 75 टीबी स्थान की आवश्यकता है, इसलिए आप दर्पण में 24 8 टीबी हार्डड्राइव का उपयोग कर सकते हैं। यह आपको सिंगल ड्राइव की 12x राइट स्पीड और 24x ड्राइव रीड स्पीड देगा। चूंकि इन ड्राइव्स में 100 एमबीपीएस से अधिक लिखने की गति है, इसलिए इसे आसानी से बैंडविड्थ को संभालने में सक्षम होना चाहिए। SMR ड्राइव न पाने के लिए अतिरिक्त सुनिश्चित करें, क्योंकि इनमें बेहद धीमी गति है।

ZFS हर ब्लॉक के लिए चेकसम बनाता है। यह सिंगल-थ्रेडेड लागू किया गया है। जैसे, आपके पास एक सीपीयू होना चाहिए, जिसमें तेज गति वाली घड़ी की दर न हो।

हालांकि, सटीक क्रियान्वयन विवरण बहुत हद तक विवरण पर निर्भर करता है।


12
"फ्रीबीएसडी में एक तेज नेटवर्क स्टैक है" [उद्धरण वांछित]
जिम साल्टर

ठीक ठीक। लिनक्स काफी सक्षम है।
ewwhite

1

हमने उनके फ्यूज क्लाइंट पर ग्लस्टर क्लस्टर में 10G NIC डंपिंग डेटा डाला है। यह एक छोटा सा ट्यूनिंग लेता है आपको विश्वास नहीं होगा कि यह 3.0 के बाद से प्रदर्शन को प्राप्त कर सकता है।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.