बोटो 2 में, आप इन विधियों का उपयोग करके S3 ऑब्जेक्ट को लिख सकते हैं:
वहाँ एक बोटो 3 बराबर है? S3 पर संग्रहीत किसी वस्तु को डेटा बचाने के लिए boto3 विधि क्या है?
जवाबों:
बोटो 3 में, 'Key.set_contents_from_' विधियों को बदल दिया गया था
उदाहरण के लिए:
import boto3
some_binary_data = b'Here we have some data'
more_binary_data = b'Here we have some more data'
# Method 1: Object.put()
s3 = boto3.resource('s3')
object = s3.Object('my_bucket_name', 'my/key/including/filename.txt')
object.put(Body=some_binary_data)
# Method 2: Client.put_object()
client = boto3.client('s3')
client.put_object(Body=more_binary_data, Bucket='my_bucket_name', Key='my/key/including/anotherfilename.txt')
वैकल्पिक रूप से, द्विआधारी डेटा एक फ़ाइल को पढ़ने से आ सकता है, जैसा कि आधिकारिक डॉक्स में बोटो 2 और बोटो 3 की तुलना में वर्णित है :
आकड़ो का भंडारण किया जा रहा हैं
फ़ाइल, स्ट्रीम या स्ट्रिंग से डेटा संग्रहीत करना आसान है:
# Boto 2.x from boto.s3.key import Key key = Key('hello.txt') key.set_contents_from_file('/tmp/hello.txt') # Boto 3 s3.Object('mybucket', 'hello.txt').put(Body=open('/tmp/hello.txt', 'rb'))
s3.Object().put()हूं तो मैं शून्य के साथ एक वस्तु के साथ समाप्त होता हूं content-length। मेरे लिए put()केवल स्ट्रिंग डेटा स्वीकार करता है, लेकिन put(str(binarydata)) लगता है कि एन्कोडिंग मुद्दों के कुछ प्रकार हैं। मैं मूल डेटा के आकार के लगभग 3 गुना अधिक वस्तु के साथ समाप्त होता हूं, जिससे यह मेरे लिए बेकार हो जाता है।
boto3 में सीधे फाइल अपलोड करने की विधि भी है:
s3.Bucket('bucketname').upload_file('/local/file/here.txt','folder/sub/path/to/s3key')http://boto3.readthedocs.io/en/latest/reference/services/s3.html#S3.Bucket.upload_file
s3.Bucket(...).upload_fileobj()इसके बजाय विधि का उपयोग कर सकते हैं ।
आपको अब S3 में फ़ाइल में लिखने से पहले सामग्री को बाइनरी में बदलना नहीं है। निम्न उदाहरण स्ट्रिंग सामग्री के साथ एक S3 बाल्टी में एक नई पाठ फ़ाइल (जिसे newfile.txt कहा जाता है) बनाता है:
import boto3
s3 = boto3.resource(
's3',
region_name='us-east-1',
aws_access_key_id=KEY_ID,
aws_secret_access_key=ACCESS_KEY
)
content="String content to write to a new S3 file"
s3.Object('my-bucket-name', 'newfile.txt').put(Body=content)prefixइस मामले में आप कैसे देते हैं ? मतलब, अगर आप फाइल को स्टोर करना चाहते हैं तो क्या होगा my-bucket-name/subfolder/?
यहाँ s3 से JSON पढ़ने के लिए एक अच्छी चाल है:
import json, boto3
s3 = boto3.resource("s3").Bucket("bucket")
json.load_s3 = lambda f: json.load(s3.Object(key=f).get()["Body"])
json.dump_s3 = lambda obj, f: s3.Object(key=f).put(Body=json.dumps(obj))अब आप उपयोग कर सकते हैं json.load_s3और json.dump_s3के रूप में एक ही एपीआई के साथ loadऔरdump
data = {"test":0}
json.dump_s3(data, "key") # saves json to s3://bucket/key
data = json.load_s3("key") # read json from s3://bucket/key...["Body"].read().decode('utf-8'):।
एक क्लीनर और संक्षिप्त संस्करण जो मैं किसी दिए गए S3 बाल्टी और उप-फ़ोल्डर के लिए मक्खी पर फाइलें अपलोड करने के लिए उपयोग करता हूं-
import boto3
BUCKET_NAME = 'sample_bucket_name'
PREFIX = 'sub-folder/'
s3 = boto3.resource('s3')
# Creating an empty file called "_DONE" and putting it in the S3 bucket
s3.Object(BUCKET_NAME, PREFIX + '_DONE').put(Body="")नोट : आपको हमेशा अपने AWS क्रेडेंशियल्स ( aws_access_key_idऔर aws_secret_access_key) को एक अलग फ़ाइल में रखना चाहिए , उदाहरण के लिए-~/.aws/credentials
~
C:\Users\username\.aws\credentials
यह स्मार्ट-ओपन का उल्लेख करने योग्य है boto3जो बैक-एंड के रूप में उपयोग करता है ।
smart-openअजगर के लिए एक ड्रॉप में प्रतिस्थापन है openकि से फ़ाइलें खोल सकते s3है और साथ ही, ftp, httpऔर कई अन्य प्रोटोकॉल।
उदाहरण के लिए
from smart_open import open
import json
with open("s3://your_bucket/your_key.json", 'r') as f:
data = json.load(f)Aws क्रेडेंशियल boto3 क्रेडेंशियल के माध्यम से भरी हुई हैं , आमतौर पर ~/.aws/dir या एक पर्यावरण चर में एक फ़ाइल है ।
आप लिखने के लिए नीचे दिए गए कोड का उपयोग कर सकते हैं, उदाहरण के लिए 2019 में S3 के लिए एक छवि। S3 से कनेक्ट करने में सक्षम होने के लिए आपको कमांड का उपयोग करके AWS CLI स्थापित करना होगा pip install awscli, फिर कमांड का उपयोग करके कुछ क्रेडेंशियल्स दर्ज करें aws configure:
import urllib3
import uuid
from pathlib import Path
from io import BytesIO
from errors import custom_exceptions as cex
BUCKET_NAME = "xxx.yyy.zzz"
POSTERS_BASE_PATH = "assets/wallcontent"
CLOUDFRONT_BASE_URL = "https://xxx.cloudfront.net/"
class S3(object):
def __init__(self):
self.client = boto3.client('s3')
self.bucket_name = BUCKET_NAME
self.posters_base_path = POSTERS_BASE_PATH
def __download_image(self, url):
manager = urllib3.PoolManager()
try:
res = manager.request('GET', url)
except Exception:
print("Could not download the image from URL: ", url)
raise cex.ImageDownloadFailed
return BytesIO(res.data) # any file-like object that implements read()
def upload_image(self, url):
try:
image_file = self.__download_image(url)
except cex.ImageDownloadFailed:
raise cex.ImageUploadFailed
extension = Path(url).suffix
id = uuid.uuid1().hex + extension
final_path = self.posters_base_path + "/" + id
try:
self.client.upload_fileobj(image_file,
self.bucket_name,
final_path
)
except Exception:
print("Image Upload Error for URL: ", url)
raise cex.ImageUploadFailed
return CLOUDFRONT_BASE_URL + id