डेटा को S3 ऑब्जेक्ट में जोड़ें

Question 1

मान लीजिए कि मेरे पास एक मशीन है जिसे मैं S3 बाल्टी पर संग्रहीत एक निश्चित लॉग फ़ाइल में लिखने में सक्षम होना चाहता हूं।

इसलिए, मशीन को उस बाल्टी में लिखने की क्षमता होनी चाहिए, लेकिन, मैं नहीं चाहता कि उस बाल्टी में किसी भी फाइल को अधिलेखित करने या हटाने की क्षमता हो (जिसमें मैं इसे लिखना चाहता हूं)।

इसलिए मूल रूप से, मैं चाहता हूं कि मेरी मशीन केवल उस लॉग फ़ाइल में डेटा संलग्न करने में सक्षम हो, बिना उसे ओवरराइड किए या डाउनलोड किए।

क्या इस तरह से काम करने के लिए मेरे S3 को कॉन्फ़िगर करने का कोई तरीका है? हो सकता है कि कुछ IAM नीति मैं इसे संलग्न कर सकता हूं इसलिए यह काम करेगा जैसे मैं चाहता हूं?

Question 2

दुर्भाग्य से, आप नहीं कर सकते।

S3 में "परिशिष्ट" ऑपरेशन नहीं है। ^* एक बार जब कोई वस्तु अपलोड हो जाती है, तो उसे संशोधित करने का कोई तरीका नहीं है; आपका एकमात्र विकल्प इसे बदलने के लिए एक नई वस्तु अपलोड करना है, जो आपकी आवश्यकताओं को पूरा नहीं करता है।

*: हाँ, मुझे पता है कि यह पोस्ट कुछ साल पुरानी है। यह अभी भी सटीक है, हालांकि।

Question 3

जैसा कि स्वीकृत उत्तर बताता है, आप नहीं कर सकते। सबसे अच्छा समाधान जो मुझे पता है कि उपयोग करना है:

एडब्ल्यूएस किनेसिस फायरहोज

https://aws.amazon.com/kinesis/firehose/

उनका कोड नमूना जटिल दिखता है लेकिन आपका वास्तव में सरल हो सकता है। आप अपने एप्लिकेशन (AWS SDK का उपयोग करके) में Kinesis Firehose डिलीवरी स्ट्रीम पर PUT (या BATCH PUT) ऑपरेशन करते रहते हैं, और आप अपनी स्ट्रीम किए गए डेटा को अपनी पसंद के AWS S3 बाल्टी में भेजने के लिए Kinesis Firehose डिलीवरी स्ट्रीम को कॉन्फ़िगर करते हैं (में AWS Kinesis Firehose कंसोल)।

यह अभी भी >>लिनक्स कमांड लाइन से उतना सुविधाजनक नहीं है , क्योंकि एक बार जब आप एस 3 पर एक फ़ाइल बनाते हैं, तो आपको फिर से नई फ़ाइल को डाउनलोड करने, संलग्न करने और अपलोड करने से निपटना होगा, लेकिन आपको केवल एक बार लाइनों के बैच के अनुसार करना होगा डेटा की प्रत्येक पंक्ति की तुलना में इसलिए आपको परिशिष्ट परिचालनों की मात्रा के कारण भारी शुल्क के बारे में चिंता करने की आवश्यकता नहीं है। शायद यह किया जा सकता है, लेकिन मैं यह नहीं देख सकता कि इसे कंसोल से कैसे किया जाए।

Question 4

S3 पर ऑब्जेक्ट एपेंडेड-सक्षम नहीं हैं। आपके पास इस मामले में 2 समाधान हैं:

सभी S3 डेटा को एक नई वस्तु में कॉपी करें, नई सामग्री को जोड़ें और S3 पर वापस लिखें।

function writeToS3(input) {
    var content;
    var getParams = {
        Bucket: 'myBucket', 
        Key: "myKey"
    };

    s3.getObject(getParams, function(err, data) {
        if (err) console.log(err, err.stack);
        else {
            content = new Buffer(data.Body).toString("utf8");
            content = content + '\n' + new Date() + '\t' + input;
            var putParams = {
                Body: content,
                Bucket: 'myBucket', 
                Key: "myKey",
                ACL: "public-read"
             };

            s3.putObject(putParams, function(err, data) {
                if (err) console.log(err, err.stack); // an error occurred
                else     {
                    console.log(data);           // successful response
                }
             });
        }
    });  
}

दूसरा विकल्प Kinesis Firehose का उपयोग करना है। यह काफी सीधा है। आपको अपनी फ़ायरहोज़ डिलीवरी स्ट्रीम बनाने और गंतव्य को S3 बाल्टी से लिंक करने की आवश्यकता है। बस!

function writeToS3(input) {
    var content = "\n" + new Date() + "\t" + input;
    var params = {
      DeliveryStreamName: 'myDeliveryStream', /* required */
      Record: { /* required */
        Data: new Buffer(content) || 'STRING_VALUE' /* Strings will be Base-64 encoded on your behalf */ /* required */
      }
    };

    firehose.putRecord(params, function(err, data) {
      if (err) console.log(err, err.stack); // an error occurred
      else     console.log(data);           // successful response
    }); 
}

Question 5

जैसा कि अन्य लोगों ने पहले कहा है, S3 ऑब्जेक्ट एपेंडेड-सक्षम नहीं हैं।
हालाँकि, क्लाउडवॉच लॉग्स के लिए एक और समाधान लिखना होगा और फिर उन लॉग्स को निर्यात करें जिन्हें आप S3 में चाहते हैं । यह किसी भी हमलावर को भी रोकता है जो आपके सर्वर को आपकी S3 बाल्टी से हटाने से रोकते हैं, क्योंकि लैम्बडा को किसी S3 अनुमतियों की आवश्यकता नहीं होगी।

Question 6

यदि कोई किसी S3 जैसी सेवा के साथ ऑब्जेक्ट को डेटा जोड़ना चाहता है, तो अलीबाबा क्लाउड OSS (ऑब्जेक्ट स्टोरेज सर्विस) मूल रूप से समर्थन करता है ।

OSS एपेंड अपलोड (AppendObject एपीआई के माध्यम से) प्रदान करता है, जो आपको किसी वस्तु के अंत में सीधे सामग्री को जोड़ने की अनुमति देता है। इस पद्धति का उपयोग करके अपलोड की जाने वाली वस्तुएं वस्‍तुएं हैं, जबकि अन्‍य विधियों का उपयोग करके अपलोड की गई वस्‍तुएं सामान्‍य वस्‍तुएं हैं। जोड़ा गया डेटा तुरन्त पठनीय है।

Question 7

मेरे पास भी ऐसा ही मुद्दा था और मैंने यही पूछा था

AWS लैम्ब्डा का उपयोग करके फ़ाइल में डेटा कैसे जोड़ें

उपरोक्त समस्या को हल करने के लिए मैं यहाँ आया हूँ:

मौजूदा फ़ाइल से पुनर्प्राप्त करने के लिए getObject का उपयोग करें

   s3.getObject(getParams, function(err, data) {
   if (err) console.log(err, err.stack); // an error occurred
   else{
       console.log(data);           // successful response
       var s3Projects = JSON.parse(data.Body);
       console.log('s3 data==>', s3Projects);
       if(s3Projects.length > 0) {
           projects = s3Projects;
       }   
   }
   projects.push(event);
   writeToS3(); // Calling function to append the data
});

फ़ाइल में संलग्न करने के लिए फ़ंक्शन लिखें

   function writeToS3() {
    var putParams = {
      Body: JSON.stringify(projects),
      Bucket: bucketPath, 
      Key: "projects.json",
      ACL: "public-read"
     };

    s3.putObject(putParams, function(err, data) {
       if (err) console.log(err, err.stack); // an error occurred
       else     console.log(data);           // successful response
        callback(null, 'Hello from Lambda');
     });
}

उममीद है कि इससे मदद मिलेगी!!