partitioning पर टैग किए गए जवाब

काफ्का में, मैं केवल एक ही दलाल, एकल विषय और एक विभाजन का उपयोग करना चाहूंगा जिसमें एक उत्पादक और कई उपभोक्ता होंगे (प्रत्येक उपभोक्ता को दलाल से डेटा की अपनी प्रति प्राप्त होगी)। इसे देखते हुए, मैं नहीं चाहता कि ज़ुकाइपर का उपयोग करने का ओवरहेड; क्या मैं केवल …

134 partitioning  apache-zookeeper  producer-consumer  apache-kafka  broker 

मैंने स्पार्क एसक्यूएल और डेटाफ्रेम का उपयोग स्पार्क 1.4.0 में करना शुरू कर दिया है। मैं Scala में DataFrames पर एक कस्टम पार्टीशन को परिभाषित करना चाहता हूं, लेकिन यह देखना नहीं है कि यह कैसे करना है। निम्नलिखित में से एक डेटा तालिकाओं में मैं लेन-देन की सूची में …

128 scala  apache-spark  dataframe  apache-spark-sql  partitioning 

मैं के प्रलेखन पर पढ़ा HashPartitioner। दुर्भाग्य से एपीआई कॉल के अलावा ज्यादा कुछ नहीं बताया गया था। मैं इस धारणा के तहत हूं कि HashPartitionerकुंजी के हैश के आधार पर वितरित सेट विभाजन। उदाहरण के लिए अगर मेरा डेटा पसंद है (1,1), (1,2), (1,3), (2,1), (2,2), (2,3) इसलिए विभाजनकर्ता …

82 scala  apache-spark  rdd  partitioning