मैं अजगर की मदद से s3 बाल्टी में एक फाइल कॉपी करना चाहता हूं।
Ex: मेरे पास बकेट नाम है = परीक्षण। और बाल्टी में, मेरे पास 2 फ़ोल्डर हैं जिनका नाम "डंप" और "इनपुट" है। अब मैं अजगर की मदद से स्थानीय निर्देशिका से एस 3 "डंप" फ़ोल्डर में एक फाइल कॉपी करना चाहता हूं ... क्या कोई मेरी मदद कर सकता है?
जवाबों:
इसे इस्तेमाल करे...
import boto
import boto.s3
import sys
from boto.s3.key import Key
AWS_ACCESS_KEY_ID = ''
AWS_SECRET_ACCESS_KEY = ''
bucket_name = AWS_ACCESS_KEY_ID.lower() + '-dump'
conn = boto.connect_s3(AWS_ACCESS_KEY_ID,
AWS_SECRET_ACCESS_KEY)
bucket = conn.create_bucket(bucket_name,
location=boto.s3.connection.Location.DEFAULT)
testfile = "replace this with an actual filename"
print 'Uploading %s to Amazon S3 bucket %s' % \
(testfile, bucket_name)
def percent_cb(complete, total):
sys.stdout.write('.')
sys.stdout.flush()
k = Key(bucket)
k.key = 'my test file'
k.set_contents_from_filename(testfile,
cb=percent_cb, num_cb=10)[अद्यतन] मैं एक अजगर नहीं हूँ, इसलिए आयात के बयान के बारे में सिर के लिए धन्यवाद। इसके अलावा, मैं आपके अपने स्रोत कोड के अंदर क्रेडेंशियल्स रखने की अनुशंसा नहीं करूंगा। यदि आप AWS का उपयोग इंस्टेंस प्रोफाइल ( http://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_use_switch-role-ecre_instance-profiles.html ) के साथ IAM क्रेडेंशियल्स के अंदर कर रहे हैं , और उसी व्यवहार को बनाए रखने के लिए आपका देव / टेस्ट वातावरण, AdRoll से होलोग्राम की तरह कुछ का उपयोग करें ( https://github.com/AdRoll/hologramram )
इसे जटिल बनाने की आवश्यकता नहीं है:
s3_connection = boto.connect_s3()
bucket = s3_connection.get_bucket('your bucket name')
key = boto.s3.key.Key(bucket, 'some_file.zip')
with open('some_file.zip') as f:
key.send_file(f)key.set_contents_from_filename('some_file.zip')यहां भी काम करेंगे। देखें डॉक । Boto3 के लिए संबंधित कोड यहां पाया जा सकता है ।
import boto3
s3 = boto3.resource('s3')
BUCKET = "test"
s3.Bucket(BUCKET).upload_file("your/local/file", "dump/file")aws configure, अपनी जानकारी दर्ज करें और आप स्वचालित रूप से boto3 के साथ जुड़ जाएंगे। चेक करें boto3.readthedocs.io/en/latest/guide/quickstart.html
aws configureअपने जीवन को आसान बनाने के लिए समय के साथ अपनी AWS कुंजियाँ स्थापित करने की अत्यधिक अनुशंसा करें।
मैंने इसका इस्तेमाल किया और इसे लागू करना बहुत सरल है
import tinys3
conn = tinys3.Connection('S3_ACCESS_KEY','S3_SECRET_KEY',tls=True)
f = open('some_file.zip','rb')
conn.upload('some_file.zip',f,'my_bucket')boto3.clientसमाधान (जैसे मनीष मेहरा का जवाब) हालांकि तुरंत काम किया।
from boto3.s3.transfer import S3Transfer
import boto3
#have all the variables populated which are required below
client = boto3.client('s3', aws_access_key_id=access_key,aws_secret_access_key=secret_key)
transfer = S3Transfer(client)
transfer.upload_file(filepath, bucket_name, folder_name+"/"+filename)aws_access_key_idऔर aws_secret_access_keyAWS सीएलआई के साथ भी कॉन्फ़िगर किया जा सकता है और स्क्रिप्ट से बाहर संग्रहीत किया जा सकता है ताकि `ग्राहक = boto3.client ('s3') को बुलाया जा सके
क्रेडेंशियल के साथ सत्र के भीतर फाइल को s3 में अपलोड करें।
import boto3
session = boto3.Session(
aws_access_key_id='AWS_ACCESS_KEY_ID',
aws_secret_access_key='AWS_SECRET_ACCESS_KEY',
)
s3 = session.resource('s3')
# Filename - File to upload
# Bucket - Bucket to upload to (the top level directory under AWS S3)
# Key - S3 object name (can contain subdirectories). If not specified then file_name is used
s3.meta.client.upload_file(Filename='input_file_path', Bucket='bucket_name', Key='s3_output_key')यह भी काम करेगा:
import os
import boto
import boto.s3.connection
from boto.s3.key import Key
try:
conn = boto.s3.connect_to_region('us-east-1',
aws_access_key_id = 'AWS-Access-Key',
aws_secret_access_key = 'AWS-Secrete-Key',
# host = 's3-website-us-east-1.amazonaws.com',
# is_secure=True, # uncomment if you are not using ssl
calling_format = boto.s3.connection.OrdinaryCallingFormat(),
)
bucket = conn.get_bucket('YourBucketName')
key_name = 'FileToUpload'
path = 'images/holiday' #Directory Under which file should get upload
full_key_name = os.path.join(path, key_name)
k = bucket.new_key(full_key_name)
k.set_contents_from_filename(key_name)
except Exception,e:
print str(e)
print "error" यह तीन लाइनर है। बस boto3 प्रलेखन पर दिए गए निर्देशों का पालन करें ।
import boto3
s3 = boto3.resource(service_name = 's3')
s3.meta.client.upload_file(Filename = 'C:/foo/bar/baz.filetype', Bucket = 'yourbucketname', Key = 'baz.filetype')कुछ महत्वपूर्ण तर्क हैं:
पैरामीटर:
str) - अपलोड करने के लिए फ़ाइल का पथ।str) - अपलोड करने के लिए बाल्टी का नाम।
str) - उस का नाम जिसे आप अपनी फ़ाइल में अपने s3 बाल्टी में असाइन करना चाहते हैं। यह फ़ाइल के नाम या आपकी पसंद के किसी भिन्न नाम के समान हो सकता है, लेकिन फ़िलेटाइप समान रहना चाहिए।
नोट: मुझे लगता है कि आपने एक ~\.awsफ़ोल्डर में अपनी साख बचा ली है जैसा कि boto3 प्रलेखन में सर्वोत्तम कॉन्फ़िगरेशन प्रथाओं में सुझाया गया है ।
import boto
from boto.s3.key import Key
AWS_ACCESS_KEY_ID = ''
AWS_SECRET_ACCESS_KEY = ''
END_POINT = '' # eg. us-east-1
S3_HOST = '' # eg. s3.us-east-1.amazonaws.com
BUCKET_NAME = 'test'
FILENAME = 'upload.txt'
UPLOADED_FILENAME = 'dumps/upload.txt'
# include folders in file path. If it doesn't exist, it will be created
s3 = boto.s3.connect_to_region(END_POINT,
aws_access_key_id=AWS_ACCESS_KEY_ID,
aws_secret_access_key=AWS_SECRET_ACCESS_KEY,
host=S3_HOST)
bucket = s3.get_bucket(BUCKET_NAME)
k = Key(bucket)
k.key = UPLOADED_FILENAME
k.set_contents_from_filename(FILENAME)बोटो 3 का उपयोग करना
import logging
import boto3
from botocore.exceptions import ClientError
def upload_file(file_name, bucket, object_name=None):
"""Upload a file to an S3 bucket
:param file_name: File to upload
:param bucket: Bucket to upload to
:param object_name: S3 object name. If not specified then file_name is used
:return: True if file was uploaded, else False
"""
# If S3 object_name was not specified, use file_name
if object_name is None:
object_name = file_name
# Upload the file
s3_client = boto3.client('s3')
try:
response = s3_client.upload_file(file_name, bucket, object_name)
except ClientError as e:
logging.error(e)
return False
return Trueअधिक के लिए: - https://boto3.amazonaws.com/v1/documentation/api/latest/guide/s3-uploading-files.html
निम्नलिखित कोड और S3 फ़ोल्डर चित्र के रूप में अपलोड फ़ोल्डर उदाहरण के लिए
import boto
import boto.s3
import boto.s3.connection
import os.path
import sys
# Fill in info on data to upload
# destination bucket name
bucket_name = 'willie20181121'
# source directory
sourceDir = '/home/willie/Desktop/x/' #Linux Path
# destination directory name (on s3)
destDir = '/test1/' #S3 Path
#max size in bytes before uploading in parts. between 1 and 5 GB recommended
MAX_SIZE = 20 * 1000 * 1000
#size of parts when uploading in parts
PART_SIZE = 6 * 1000 * 1000
access_key = 'MPBVAQ*******IT****'
secret_key = '11t63yDV***********HgUcgMOSN*****'
conn = boto.connect_s3(
aws_access_key_id = access_key,
aws_secret_access_key = secret_key,
host = '******.org.tw',
is_secure=False, # uncomment if you are not using ssl
calling_format = boto.s3.connection.OrdinaryCallingFormat(),
)
bucket = conn.create_bucket(bucket_name,
location=boto.s3.connection.Location.DEFAULT)
uploadFileNames = []
for (sourceDir, dirname, filename) in os.walk(sourceDir):
uploadFileNames.extend(filename)
break
def percent_cb(complete, total):
sys.stdout.write('.')
sys.stdout.flush()
for filename in uploadFileNames:
sourcepath = os.path.join(sourceDir + filename)
destpath = os.path.join(destDir, filename)
print ('Uploading %s to Amazon S3 bucket %s' % \
(sourcepath, bucket_name))
filesize = os.path.getsize(sourcepath)
if filesize > MAX_SIZE:
print ("multipart upload")
mp = bucket.initiate_multipart_upload(destpath)
fp = open(sourcepath,'rb')
fp_num = 0
while (fp.tell() < filesize):
fp_num += 1
print ("uploading part %i" %fp_num)
mp.upload_part_from_file(fp, fp_num, cb=percent_cb, num_cb=10, size=PART_SIZE)
mp.complete_upload()
else:
print ("singlepart upload")
k = boto.s3.key.Key(bucket)
k.key = destpath
k.set_contents_from_filename(sourcepath,
cb=percent_cb, num_cb=10)PS: अधिक संदर्भ URL के लिए
xmlstr = etree.tostring(listings, encoding='utf8', method='xml')
conn = boto.connect_s3(
aws_access_key_id = access_key,
aws_secret_access_key = secret_key,
# host = '<bucketName>.s3.amazonaws.com',
host = 'bycket.s3.amazonaws.com',
#is_secure=False, # uncomment if you are not using ssl
calling_format = boto.s3.connection.OrdinaryCallingFormat(),
)
conn.auth_region_name = 'us-west-1'
bucket = conn.get_bucket('resources', validate=False)
key= bucket.get_key('filename.txt')
key.set_contents_from_string("SAMPLE TEXT")
key.set_canned_acl('public-read')मेरे पास ऐसा कुछ है जो मुझे लगता है कि कुछ अधिक है:
import boto3
from pprint import pprint
from botocore.exceptions import NoCredentialsError
class S3(object):
BUCKET = "test"
connection = None
def __init__(self):
try:
vars = get_s3_credentials("aws")
self.connection = boto3.resource('s3', 'aws_access_key_id',
'aws_secret_access_key')
except(Exception) as error:
print(error)
self.connection = None
def upload_file(self, file_to_upload_path, file_name):
if file_to_upload is None or file_name is None: return False
try:
pprint(file_to_upload)
file_name = "your-folder-inside-s3/{0}".format(file_name)
self.connection.Bucket(self.BUCKET).upload_file(file_to_upload_path,
file_name)
print("Upload Successful")
return True
except FileNotFoundError:
print("The file was not found")
return False
except NoCredentialsError:
print("Credentials not available")
return False
यहां तीन महत्वपूर्ण चर हैं, BUCKET const, file_to_upload और file_name
BUCKET: आपके S3 बाल्टी का नाम है
file_to_upload_path: उस फ़ाइल से पथ होना चाहिए जिसे आप अपलोड करना चाहते हैं
file_name: आपकी बाल्टी में परिणामी फ़ाइल और पथ है (यह वह जगह है जहाँ आप फ़ोल्डर जोड़ते हैं या कभी भी)
कई तरीके हैं लेकिन आप इस कोड को इस तरह से किसी अन्य स्क्रिप्ट में पुन: उपयोग कर सकते हैं
import S3
def some_function():
S3.S3().upload_file(path_to_file, final_file_name)