कन्वर्ट SQLITE SQL डंप फ़ाइल POSTGRESQL करने के लिए

Question 1

मैं POSTGRESQL में उत्पादन के साथ SQLITE डेटाबेस का उपयोग कर विकास कर रहा हूँ। मैंने अपने स्थानीय डेटाबेस को बड़ी मात्रा में डेटा के साथ अद्यतन किया और उत्पादन डेटाबेस में एक विशिष्ट तालिका स्थानांतरित करने की आवश्यकता है।

रनिंग के आधार पर sqlite database .dump > /the/path/to/sqlite-dumpfile.sql, SQLITE निम्न प्रारूप में एक टेबल डंप आउटपुट करता है:

BEGIN TRANSACTION;
CREATE TABLE "courses_school" ("id" integer PRIMARY KEY, "department_count" integer NOT NULL DEFAULT 0, "the_id" integer UNIQUE, "school_name" varchar(150), "slug" varchar(50));
INSERT INTO "courses_school" VALUES(1,168,213,'TEST Name A',NULL);
INSERT INTO "courses_school" VALUES(2,0,656,'TEST Name B',NULL);
....
COMMIT;

मैं उपरोक्त POSTGRESQL संगत डंप फ़ाइल में कैसे परिवर्तित करूं जिसे मैं अपने उत्पादन सर्वर में आयात कर सकता हूं?

Question 2

आपको उस डंप फ़ाइल को सीधे फीड करने में सक्षम होना चाहिए psql:

/path/to/psql -d database -U username -W < /the/path/to/sqlite-dumpfile.sql

यदि आप idकॉलम "ऑटो इंक्रीमेंट" चाहते हैं, तो टेबल टाइप लाइन में इसके प्रकार को "int" से "सीरियल" में बदलें। उसके बाद PostgreSQL उस कॉलम में एक अनुक्रम संलग्न करेगा ताकि NULL id वाले INSERTs को स्वचालित रूप से अगला उपलब्ध मान असाइन किया जाएगा। PostgreSQL AUTOINCREMENTकमांड को भी नहीं पहचान पाएगा , इसलिए इन्हें हटाने की आवश्यकता है।

आप datetimeSQLite स्कीमा में स्तंभों की जांच करना चाहेंगे और उन्हें timestampपोस्टग्रेक् स के लिए बदल सकते हैं (धन्यवाद इस संकेत की ओर क्ले के लिए)।

आप अपने SQLite में बूलियन्स है तो आप परिवर्तित कर सकते हैं 1और 0और 1::booleanऔर 0::boolean(क्रमशः) या आप डंप की स्कीमा खंड में एक पूर्णांक के लिए बूलियन स्तंभ बदल सकते हैं और फिर उन्हें आयात के बाद PostgreSQL के अंदर हाथ से ऊपर को ठीक कर सकता है।

अगर आपकी SQLite में BLOB है तो आप स्कीमा को उपयोग करने के लिए समायोजित करना चाहेंगे bytea। आपको संभवतः कुछ decodeकॉल में भी मिश्रण करना होगा । यदि आप बहुत से BLOBs से निपटना चाहते हैं, तो अपनी पसंदीदा भाषा में एक quick'n'dirty कॉपियर लिखना SQL से आसान हो सकता है।

हमेशा की तरह, यदि आपके पास विदेशी चाबियां हैं, तो आप संभवतः set constraints all deferredBEGIN / COMMITRE जोड़ी के अंदर कमांड रखने, डालने की समस्या से बचने के लिए देखना चाहेंगे ।

बूलियन, बूँद, और बाधाओं नोटों के लिए निकोलस रिले के लिए धन्यवाद ।

यदि आपके पास `अपने कोड पर है, जैसा कि कुछ SQLite3 ग्राहकों द्वारा उत्पन्न किया गया है, तो आपको उन्हें हटाने की आवश्यकता है।

PostGRESQL भी unsignedकॉलम को नहीं पहचानता है, आप इसे छोड़ सकते हैं, या कस्टम-निर्मित बाधा जैसे जोड़ सकते हैं:

CREATE TABLE tablename (
    ...
    unsigned_column_name integer CHECK (unsigned_column_name > 0)
);

जबकि SQLite डिफॉल्ट को शून्य मान देता है '', PostgreSQL को उन्हें सेट करने की आवश्यकता होती है NULL।

SQLite डंप फ़ाइल में सिंटैक्स PostgreSQL के साथ ज्यादातर संगत प्रतीत होता है ताकि आप कुछ चीजों को पैच कर सकें और इसे खिला सकें psql। SQL INSERTs के माध्यम से डेटा का एक बड़ा ढेर आयात करने में कुछ समय लग सकता है, लेकिन यह काम करेगा।

Question 3

`pgloader`

मैं इस पोस्ट के पार आया जब एक SQLite डंप को PostgreSQL में बदलने का तरीका खोज रहा था। भले ही इस पोस्ट का एक स्वीकृत उत्तर हो (और उस +1 पर एक अच्छा), मुझे लगता है कि यह जोड़ना महत्वपूर्ण है।

मैंने यहां समाधानों को देखना शुरू किया और महसूस किया कि मैं अधिक स्वचालित विधि की तलाश कर रहा हूं। मैंने विकी डॉक्स देखा:

https://wiki.postgresql.org/wiki/Converting_from_other_Databases_to_PostgreSQL

और खोज की गई pgloader। बहुत अच्छा अनुप्रयोग और यह उपयोग करने के लिए अपेक्षाकृत आसान है। आप फ्लैट SQLite फ़ाइल को एक प्रयोग करने योग्य PostgreSQL डेटाबेस में बदल सकते हैं। मैंने इस से स्थापित किया है *.debऔर commandएक परीक्षण निर्देशिका में इस तरह की एक फ़ाइल बनाई है :

load database  
    from 'db.sqlite3'  
    into postgresql:///testdb 
       
with include drop, create tables, create indexes, reset sequences  
         
set work_mem to '16MB', maintenance_work_mem to '512 MB';

डॉक्स स्थिति की तरह । मैंने तब testdbसाथ बनाया createdb:

createdb testdb

मैंने pgloaderकमांड को इस तरह चलाया :

pgloader command

और फिर नए डेटाबेस से जुड़ा:

psql testdb

डेटा की जांच करने के लिए कुछ प्रश्नों के बाद, ऐसा लगता है कि यह काफी अच्छी तरह से काम किया है। मुझे पता है कि अगर मैंने इनमें से किसी एक स्क्रिप्ट को चलाने की कोशिश की या यहाँ बताए गए स्टेप वाइज कन्वर्ज़न को करने की कोशिश की, तो मैंने और समय बिताया।

इस अवधारणा को साबित करने के लिए मैंने इसे डंप किया testdbऔर एक उत्पादन सर्वर पर एक विकास के माहौल में आयात किया और डेटा को अच्छी तरह से स्थानांतरित कर दिया।

Question 4

मैं करने के लिए एक पटकथा लिखी sqlite3करने के लिए postgresपलायन। यह https://stackoverflow.com/a/4581921/1303625 में वर्णित सभी स्कीमा / डेटा अनुवादों को संभाल नहीं करता है , लेकिन यह वही करता है जो मुझे करने की आवश्यकता थी। उम्मीद है कि यह दूसरों के लिए एक अच्छा शुरुआती बिंदु होगा।

https://gist.github.com/2253099

Question 5

अगली कड़ी मणि (एक रूबी पुस्तकालय) विभिन्न डेटाबेस भर को कॉपी डेटा प्रदान करता है: http://sequel.jeremyevans.net/rdoc/files/doc/bin_sequel_rdoc.html#label-Copy+Databases

पहले रूबी स्थापित करें, फिर मणि को चलाकर स्थापित करें gem install sequel।

Sqlite के मामले में, यह इस तरह होगा: sequel -C sqlite://db/production.sqlite3 postgres://user@localhost/db

Question 6

आप एक लाइनर का उपयोग कर सकते हैं, यहाँ sed कमांड की मदद से एक उदाहरण दिया गया है:

sqlite3 mjsqlite.db .dump | sed -e 's/INTEGER PRIMARY KEY AUTOINCREMENT/SERIAL PRIMARY KEY/' | sed -e 's/PRAGMA foreign_keys=OFF;//' | sed -e 's/unsigned big int/BIGINT/g' | sed -e 's/UNSIGNED BIG INT/BIGINT/g' | sed -e 's/BIG INT/BIGINT/g' | sed -e 's/UNSIGNED INT(10)/BIGINT/' | sed -e 's/BOOLEAN/SMALLINT/g' | sed -e 's/boolean/SMALLINT/g' | sed -e 's/UNSIGNED BIG INT/INTEGER/g' | sed -e 's/INT(3)/INT2/g' | sed -e 's/DATETIME/TIMESTAMP/g' | psql mypqdb mypguser

Question 7

मैंने संपादित करने की कोशिश की है / sqlite डंप regexping ताकि PostgreSQL इसे स्वीकार करता है, यह थकाऊ है और त्रुटि के लिए प्रवण है।

मुझे वास्तव में तेजी से काम करने के लिए क्या मिला:

पहले किसी भी डेटा के बिना पोस्टग्रेसीक्यूएल पर स्कीमा को फिर से बनाएँ, या तो डंप को संपादित करें या यदि आप एक ओआरएम का उपयोग कर रहे थे तो आप भाग्यशाली हो सकते हैं और यह बैक-एंड्स (sqlalchemy, peewee, ...) दोनों से बात करता है।

फिर पंडों का उपयोग करके डेटा को माइग्रेट करें। मान लें कि आपके पास एक बूल फ़ील्ड के साथ एक टेबल है (जो साइक्लाइट में 0/1 है, लेकिन PostgfSQL में टी / एफ होना चाहिए)

def int_to_strbool(df, column):
    df = df.replace({column: 0}, 'f')
    df = df.replace({column: 1}, 't')
    return df

#def other_transform(df, column):
#...

conn = sqlite3.connect(db)
df = pd.read_sql(f'select * from {table_name}', conn)

df = int_to_strbool(df, bool_column_name)
#df = other_transform(df, other_column_name)

df.to_csv(table_name + '.csv'), sep=',', header=False, index=False)

यह एक आकर्षण की तरह काम करता है, प्रत्येक फ़ंक्शन को लिखना, पढ़ना और डिबग करना आसान है, इसके विपरीत (मेरे लिए) नियमित अभिव्यक्ति।

अब आप परिणामी csv को PostgreSQL के साथ लोड करने की कोशिश कर सकते हैं (यहां तक कि ग्राफिक रूप से व्यवस्थापक टूल के साथ), केवल कैविएट के साथ तालिकाओं को लोड करना होगा जिसके बाद आपको संबंधित स्रोत कुंजियों के साथ तालिकाओं को लोड करने के बाद विदेशी कुंजी के साथ तालिकाओं को लोड करना होगा। मेरे पास एक परिपत्र निर्भरता का मामला नहीं था, मुझे लगता है कि आप अस्थायी रूप से महत्वपूर्ण जाँच को निलंबित कर सकते हैं अगर ऐसा है।

Question 8

pgloader डेटाबेस को sqlite में पोस्टग्रेजेकल में बदलने पर अद्भुत काम करता है।

यहाँ एक स्थानीय sqlitedb को दूरस्थ PostgreSQL db में परिवर्तित करने पर एक उदाहरण दिया गया है:

pgloader sqlite.db postgresql: // उपयोगकर्ता नाम : पासवर्ड @ hostname / dbname