JSON के लिए SqlAlchemy परिणाम कैसे अनुक्रमित करें?


190

Django में ORM मॉडल के कुछ अच्छे स्वचालित क्रमांकन हैं जो DB से JSON फॉर्मेट में दिए गए हैं।

JSON प्रारूप में SQLAlchemy क्वेरी परिणाम कैसे क्रमांकित करें?

मैंने कोशिश की jsonpickle.encodeलेकिन यह क्वेरी ऑब्जेक्ट को ही एनकोड करता है। मैंने कोशिश की json.dumps(items)लेकिन यह लौट आया

TypeError: <Product('3', 'some name', 'some desc')> is not JSON serializable

क्या वास्तव में JSON / XML के लिए SQLAlchemy ORM ऑब्जेक्ट्स को अनुक्रमित करना इतना कठिन है? क्या इसके लिए कोई डिफ़ॉल्ट धारावाहिक नहीं है? आजकल ORM क्वेरी परिणामों को क्रमबद्ध करना बहुत सामान्य कार्य है।

मैं क्या जरूरत है JSON या XML डेटा SQLAlchemy क्वेरी परिणाम का प्रतिनिधित्व करने के लिए।

JSON / XML प्रारूप में SQLAlchemy ऑब्जेक्ट क्वेरी परिणाम को जावास्क्रिप्ट डेटागर्ड (JQGrid http://www.trirand.com/blog/ ) में उपयोग करने की आवश्यकता है


यह एक वर्कअराउंड है जो मेरे लिए काम करता है। यहाँ लिंक विवरण दर्ज करें
Octaedro

जवाबों:


128

एक फ्लैट कार्यान्वयन

आप कुछ इस तरह का उपयोग कर सकते हैं:

from sqlalchemy.ext.declarative import DeclarativeMeta

class AlchemyEncoder(json.JSONEncoder):

    def default(self, obj):
        if isinstance(obj.__class__, DeclarativeMeta):
            # an SQLAlchemy class
            fields = {}
            for field in [x for x in dir(obj) if not x.startswith('_') and x != 'metadata']:
                data = obj.__getattribute__(field)
                try:
                    json.dumps(data) # this will fail on non-encodable values, like other classes
                    fields[field] = data
                except TypeError:
                    fields[field] = None
            # a json-encodable dict
            return fields

        return json.JSONEncoder.default(self, obj)

और फिर JSON का उपयोग करके परिवर्तित करें:

c = YourAlchemyClass()
print json.dumps(c, cls=AlchemyEncoder)

यह उन क्षेत्रों को नजरअंदाज करेगा जो अतिक्रमण नहीं हैं (उन्हें 'कोई नहीं' पर सेट करें)।

यह संबंधों का स्वत: विस्तार नहीं करता है (क्योंकि यह स्वयं-संदर्भ और हमेशा के लिए लूप हो सकता है)।

एक पुनरावर्ती, गैर-परिपत्र कार्यान्वयन

यदि, हालांकि, आप हमेशा के लिए लूप करेंगे, तो आप उपयोग कर सकते हैं:

from sqlalchemy.ext.declarative import DeclarativeMeta

def new_alchemy_encoder():
    _visited_objs = []

    class AlchemyEncoder(json.JSONEncoder):
        def default(self, obj):
            if isinstance(obj.__class__, DeclarativeMeta):
                # don't re-visit self
                if obj in _visited_objs:
                    return None
                _visited_objs.append(obj)

                # an SQLAlchemy class
                fields = {}
                for field in [x for x in dir(obj) if not x.startswith('_') and x != 'metadata']:
                    fields[field] = obj.__getattribute__(field)
                # a json-encodable dict
                return fields

            return json.JSONEncoder.default(self, obj)

    return AlchemyEncoder

और फिर वस्तुओं का उपयोग कर सांकेतिक शब्दों में बदलना:

print json.dumps(e, cls=new_alchemy_encoder(), check_circular=False)

यह सभी बच्चों, और उनके सभी बच्चों, और उनके सभी बच्चों को सांकेतिक शब्दों में बदलना होगा ... संभावित रूप से मूल रूप से आपके पूरे डेटाबेस को सांकेतिक शब्दों में बदलना होगा। जब यह किसी चीज को इसके पहले पहुंचता है, तो इसे 'कोई नहीं' के रूप में एनकोड करेगा।

एक पुनरावर्ती, संभवतः-परिपत्र, चयनात्मक कार्यान्वयन

एक और विकल्प, शायद बेहतर है, उन क्षेत्रों को निर्दिष्ट करने में सक्षम होना चाहिए जिन्हें आप विस्तारित करना चाहते हैं:

def new_alchemy_encoder(revisit_self = False, fields_to_expand = []):
    _visited_objs = []

    class AlchemyEncoder(json.JSONEncoder):
        def default(self, obj):
            if isinstance(obj.__class__, DeclarativeMeta):
                # don't re-visit self
                if revisit_self:
                    if obj in _visited_objs:
                        return None
                    _visited_objs.append(obj)

                # go through each field in this SQLalchemy class
                fields = {}
                for field in [x for x in dir(obj) if not x.startswith('_') and x != 'metadata']:
                    val = obj.__getattribute__(field)

                    # is this field another SQLalchemy object, or a list of SQLalchemy objects?
                    if isinstance(val.__class__, DeclarativeMeta) or (isinstance(val, list) and len(val) > 0 and isinstance(val[0].__class__, DeclarativeMeta)):
                        # unless we're expanding this field, stop here
                        if field not in fields_to_expand:
                            # not expanding this field: set it to None and continue
                            fields[field] = None
                            continue

                    fields[field] = val
                # a json-encodable dict
                return fields

            return json.JSONEncoder.default(self, obj)

    return AlchemyEncoder

अब आप इसे कॉल कर सकते हैं:

print json.dumps(e, cls=new_alchemy_encoder(False, ['parents']), check_circular=False)

उदाहरण के लिए, केवल 'माता-पिता' नामक SQLAlchemy फ़ील्ड का विस्तार करना।


जब भी यह गैर-फ्लैट, किसी भी विचार के साथ एक रिश्ते को हिट करता है, तो मुझे एक शानदार प्रतिक्रिया मिलती है, लेकिन मुझे "बेसविक्स" को सांकेतिक शब्दों में बदलना नहीं मिल सकता है;
बेन किलाह

1
@ साशा उन मामलों के खिलाफ अधिक दानेदार तरीके से लक्षित करने के बारे में जहां एक संबंध दोहराया जाता है? उदाहरण के लिए, अगर मेरे पास है online_orderऔर addressदोनों, एक रिश्ते के साथ user, लेकिन online_orderयह भी एक रिश्ता है address। अगर मैं इस सब को क्रमानुसार करना चाहता था, मैं शामिल करने के लिए होगा addressमें fields_to_expandहै, लेकिन मैं प्रचुरता से क्रमानुसार करने नहीं चाहेंगे कि addressदोनों के संबंध की वजह से userऔर online_order
क्रिसपी

2
@BenKilah मुझे लगता है, आप फ्लास्क- SqlAlchemy का उपयोग कर रहे हैं और आपके मॉडल db.Model से प्राप्त कर रहे हैं, बेस नहीं। अगर ऐसा है, for field in [x for x in dir(obj) if not x.startswith('_') and x != 'metadata']:तो इसे संशोधित करें ताकि यह पढ़े for field in [x for x in dir(obj) if not x.startswith('_') and x != 'metadata' and not x.startswith('query')]:। ध्यान रखें यह समाधान आपको 'क्वेरी' नाम के साथ संपत्ति / संबंध रखने से रोक देगा
Pakman

उसी तरह जैसे मैंने किया, लेकिन बहुत अधिक जटिल। stackoverflow.com/questions/7102754/…
tyan

2
आप मेरे समाधान का उपयोग कर सकते हैं github.com/n0nSmoker/SQLAlchemy-serializer
n0nSmoker

270

आप एक शब्दकोश के रूप में अपनी वस्तु का उत्पादन कर सकते हैं:

class User:
   def as_dict(self):
       return {c.name: getattr(self, c.name) for c in self.__table__.columns}

और फिर आप User.as_dict()अपनी वस्तु को क्रमबद्ध करने के लिए उपयोग करते हैं।

जैसा कि कन्वर्ट sqlalchemy पंक्ति वस्तु में अजगर को तानाशाही


2
@charlax, मैं डेटटाइम कैसे तय करूंगा? जब मैं json.dumps करता हूँ, तो इसका उपयोग करके मुझे 'datetime.datetime (2013, 3, 22, 16, 50, 11) नहीं मिलता है'
Ask

1
यह JSONEncoderवस्तु की जिम्मेदारी है । आप इसे किसी वस्तु के लिए अपने स्वयं के एनकोडर को परिभाषित करने के लिए उप-वर्ग कर सकते हैं, जिसमें डेटाइम भी शामिल है। Flaskउदाहरण के लिए, ध्यान दें कि बॉक्स के बाहर JSON में एन्कोडिंग डेटाइम का समर्थन करें (नवीनतम संस्करण के साथ)।
charlax

3
यदि आप sqlalchemy की "घोषणात्मक" विधि का उपयोग करते हैं, तो आप कस्टम बेस क्लास में ऐसा कुछ जोड़ सकते हैं - यह बहुत आसान है क्योंकि आप तब किसी भी ORM ऑब्जेक्ट पर my_orm_object.toDict () कॉल कर सकते हैं। इसी तरह आप .toJSON () विधि को परिभाषित कर सकते हैं जो आपकी टॉड विधि का उपयोग करता है और तारीखों,
ब्लब्स

7
डेटाइम का समर्थन करने के लिए भी:return {c.name: unicode(getattr(self, c.name)) for c in self.__table__.columns}
शोहम

1
यह काम नहीं करता है यदि आपके वर्ग चर आपके कॉलम नामों के समान नहीं हैं। किसी भी विचार के बजाय वर्ग के नाम कैसे प्राप्त करें?
जेम्स बर्क

55

आप एक RowProxy को इस तरह से एक डिक्टेट में बदल सकते हैं

 d = dict(row.items())

फिर इसे JSON पर अनुक्रमित करें (आपको datetimeमूल्यों जैसी चीजों के लिए एक एनकोडर निर्दिष्ट करना होगा ) यह इतना मुश्किल नहीं है यदि आप सिर्फ एक रिकॉर्ड चाहते हैं (और संबंधित रिकॉर्ड की पूरी पदानुक्रम नहीं)।

json.dumps([(dict(row.items())) for row in rs])

1
यह db.engine.connect () के रूप में con: rs = con.execute (sql)
JZ के

1
यह बहुत सरल और काम करता है। इस उत्तर और स्वीकृत उत्तर में क्या अंतर है?
सुन्दीप

46

मैं मार्शमैलो का उपयोग करने की सलाह देता हूं । यह आपको संबंधों और नेस्टेड वस्तुओं के समर्थन के साथ अपने मॉडल के उदाहरणों का प्रतिनिधित्व करने के लिए धारावाहिक बनाने के लिए अनुमति देता है।

यहाँ उनके डॉक्स से एक छोटा उदाहरण है। ORM मॉडल लें Author:

class Author(db.Model):
    id = db.Column(db.Integer, primary_key=True)
    first = db.Column(db.String(80))
    last = db.Column(db.String(80))

उस वर्ग के लिए एक मार्शमैलो स्कीमा का निर्माण इस तरह किया जाता है:

class AuthorSchema(Schema):
    id = fields.Int(dump_only=True)
    first = fields.Str()
    last = fields.Str()
    formatted_name = fields.Method("format_name", dump_only=True)

    def format_name(self, author):
        return "{}, {}".format(author.last, author.first)

... और इस तरह इस्तेमाल किया:

author_schema = AuthorSchema()
author_schema.dump(Author.query.first())

... इस तरह एक उत्पादन का उत्पादन होगा:

{
        "first": "Tim",
        "formatted_name": "Peters, Tim",
        "id": 1,
        "last": "Peters"
}

उनके पूर्ण फ्लास्क-SQLAlchemy उदाहरण पर एक नज़र है ।

एक पुस्तकालय जिसे marshmallow-sqlalchemyविशेष रूप से SQLAlchemy और marshmallow एकीकृत किया गया है। उस लाइब्रेरी में, Authorऊपर वर्णित मॉडल के लिए स्कीमा इस तरह दिखता है:

class AuthorSchema(ModelSchema):
    class Meta:
        model = Author

एकीकरण SQLAlchemy Columnप्रकार से फ़ील्ड प्रकारों का अनुमान लगाने की अनुमति देता है ।

मार्शमॉलो-स्क्वैल्सीमी यहाँ।


12
मैंने marshmallow-sqlalchemy.readthedocs.io/en/latest भी पाया है जो स्कीमा पीढ़ी को सरल बनाता है
Foo L

41

पायथॉन 3.7+ और फ्लास्क 1.1+ बिल्ट-इन डेटासल्स पैकेज का उपयोग कर सकते हैं

from dataclasses import dataclass
from datetime import datetime
from flask import Flask, jsonify
from flask_sqlalchemy import SQLAlchemy


app = Flask(__name__)
db = SQLAlchemy(app)


@dataclass
class User(db.Model):
  id: int
  email: str

  id = db.Column(db.Integer, primary_key=True, auto_increment=True)
  email = db.Column(db.String(200), unique=True)


@app.route('/users/')
def users():
  users = User.query.all()
  return jsonify(users)  


if __name__ == "__main__":
  users = User(email="user1@gmail.com"), User(email="user2@gmail.com")
  db.create_all()
  db.session.add_all(users)
  db.session.commit()
  app.run()

/users/मार्ग अब उपयोगकर्ताओं की सूची वापस आ जाएगी।

[
  {"email": "user1@gmail.com", "id": 1},
  {"email": "user2@gmail.com", "id": 2}
]

ऑटो-सीरियल संबंधित मॉडल

@dataclass
class Account(db.Model):
  id: int
  users: User

  id = db.Column(db.Integer)
  users = db.relationship(User)  # User model would need a db.ForeignKey field

से प्रतिक्रिया jsonify(account)यह होगी।

{  
   "id":1,
   "users":[  
      {  
         "email":"user1@gmail.com",
         "id":1
      },
      {  
         "email":"user2@gmail.com",
         "id":2
      }
   ]
}

डिफ़ॉल्ट JSON एनकोडर को अधिलेखित करें

from flask.json import JSONEncoder


class CustomJSONEncoder(JSONEncoder):
  "Add support for serializing timedeltas"

  def default(o):
    if type(o) == datetime.timedelta:
      return str(o)
    elif type(o) == datetime.datetime:
      return o.isoformat()
    else:
      return super().default(o)

app.json_encoder = CustomJSONEncoder      

1
यह देखने में बिल्कुल साधारण तरह का लगता है। क्या यह डिसेरिएलाइजेशन के लिए भी काम करता है?
Ender2050

आप पार्स किए गए JSON के डिक्शनरी को कीवर्ड तर्क का उपयोग करके एक मॉडल में बदल सकते हैं:data = request.json['user']; user = User(**data)
tom

3
ध्यान दें कि id: int = Columnकाम करेगा, लेकिन id = Columnऐसा नहीं लगेगा, आपको लगता है कि क्षेत्र को क्रमबद्ध करने के लिए जौन के लिए स्थैतिक टाइपिंग की घोषणा करनी है, अन्यथा आपको एक खाली {}वस्तु मिलती है ।
राजदूत

1
यह मेरे लिए काम कर रहा है, यह स्वीकृत उत्तर क्यों नहीं है? मैं इसे फ्लास्क-मार्शमैलो के साथ काम करने के लिए घंटों तक app_context के आसपास खेलता रहा।
निक डाट ले

1
मेरे लिए भी काम किया। ध्यान दें कि यदि आप Python 3.6 पर हैं, तो आप सिर्फ पैकेज इंस्टॉल करना चाहेंगे pipenv install dataclasses:। और फिर यह ठीक काम करेगा।
AleksandrH

14

फ्लास्क- JsonTools पैकेज में आपके मॉडल के लिए JsonSerializableBase बेस क्लास का कार्यान्वयन है ।

उपयोग:

from sqlalchemy.ext.declarative import declarative_base
from flask.ext.jsontools import JsonSerializableBase

Base = declarative_base(cls=(JsonSerializableBase,))

class User(Base):
    #...

अब Userमॉडल जादुई रूप से क्रमबद्ध है।

यदि आपकी रूपरेखा फ्लास्क नहीं है, तो आप बस कोड को पकड़ सकते हैं


2
यह केवल आधी समस्या को हल करता है, क्योंकि यह केवल एक पंक्ति को क्रमबद्ध करता है। संपूर्ण क्वेरी परिणाम को कैसे क्रमांकित करें?
स्टीव बेनेट

Jsontools 'का उपयोग @SteveBennett jsonapi प्रतिक्रिया एन्कोड करने के लिए। यह स्वचालित रूप से वापसी ऑब्जेक्ट को सांकेतिक शब्दों में बदलना होगा
Tjorriemorrie

मेरे पास बहुत ही सरल sqlalchemy मॉडल है, और मैं प्राप्त कर रहा हूँ: TypeError: <ORM.State object at 0x03577A50> JSON serializable नहीं है
Matej

1
यह अंततः मेरे मॉडल ऑब्जेक्ट पर स्पष्ट रूप से __json __ () कहकर काम करता है: my_object .__ json __ ()
Matej

लाइब्रेरी फ्लास्क 1.0 और इसके बाद के संस्करण के साथ काम नहीं करता है, जैसा import flask.ext.whateverकि फ्लास्क 1.0 में अब समर्थित नहीं है।
आदर्श मडरेचा

14

सुरक्षा कारणों से आपको सभी मॉडल के फ़ील्ड कभी नहीं लौटाने चाहिए। मैं चुनिंदा रूप से उन्हें चुनना पसंद करता हूं।

फ्लास्क के जोंस एन्कोडिंग अब यूयूआईडी, डेटाइम और रिलेशनशिप (और जोड़ा queryऔर query_classफ्लास्क_सक्लाकेम db.Modelक्लास के लिए) का समर्थन करता है। मैंने एनकोडर को इस प्रकार अद्यतन किया है:

एप्लिकेशन / json_encoder.py

    from sqlalchemy.ext.declarative import DeclarativeMeta
    from flask import json


    class AlchemyEncoder(json.JSONEncoder):
        def default(self, o):
            if isinstance(o.__class__, DeclarativeMeta):
                data = {}
                fields = o.__json__() if hasattr(o, '__json__') else dir(o)
                for field in [f for f in fields if not f.startswith('_') and f not in ['metadata', 'query', 'query_class']]:
                    value = o.__getattribute__(field)
                    try:
                        json.dumps(value)
                        data[field] = value
                    except TypeError:
                        data[field] = None
                return data
            return json.JSONEncoder.default(self, o)

app/__init__.py

# json encoding
from app.json_encoder import AlchemyEncoder
app.json_encoder = AlchemyEncoder

इसके साथ मैं वैकल्पिक रूप से एक __json__संपत्ति जोड़ सकता हूं जो उन क्षेत्रों की सूची देता है जिन्हें मैं एनकोड करना चाहता हूं:

app/models.py

class Queue(db.Model):
    id = db.Column(db.Integer, primary_key=True)
    song_id = db.Column(db.Integer, db.ForeignKey('song.id'), unique=True, nullable=False)
    song = db.relationship('Song', lazy='joined')
    type = db.Column(db.String(20), server_default=u'audio/mpeg')
    src = db.Column(db.String(255), nullable=False)
    created_at = db.Column(db.DateTime, server_default=db.func.now())
    updated_at = db.Column(db.DateTime, server_default=db.func.now(), onupdate=db.func.now())

    def __init__(self, song):
        self.song = song
        self.src = song.full_path

    def __json__(self):
        return ['song', 'src', 'type', 'created_at']

मैं अपने दृश्य में @jsonapi जोड़ता हूं, परिणाम सूची वापस करता हूं और फिर मेरा आउटपुट निम्नानुसार है:

[

{

    "created_at": "Thu, 23 Jul 2015 11:36:53 GMT",
    "song": 

        {
            "full_path": "/static/music/Audioslave/Audioslave [2002]/1 Cochise.mp3",
            "id": 2,
            "path_name": "Audioslave/Audioslave [2002]/1 Cochise.mp3"
        },
    "src": "/static/music/Audioslave/Audioslave [2002]/1 Cochise.mp3",
    "type": "audio/mpeg"
}

]

सुंदर! एक बार फिर, सबूत है कि कभी-कभी आपको हर बेवकूफ छोटे काम के लिए वसा पैकेज की आवश्यकता नहीं होती है - कि डीएसएल सीखना "कठिन" तरीके से करने से कठिन हो सकता है। मैंने यहां उतरने से पहले कई JSON और REST पैकेजों को देखा। यह सच है, यह अभी भी एक पैकेज की आवश्यकता है, flask_jsontools (जोड़ने के लिए @jsonapiकरने के लिए @app.routeमें views.py आदि), लेकिन मैं इसे की सादगी से प्यार है। मुझे लगता है कि यह सस्ता फ्लास्क जोड़ा गया डेटाइम है, लेकिन तारीख नहीं, इसलिए मैंने इसे खुद json_encoder.py में जोड़ा : value=...^ if isinstance(value, date):^ data[field] = datetime.combine(value, time.min).isoformat()^ else:^try:...
juanitogan

10

आप SqlAlchemy के आत्मनिरीक्षण का उपयोग इस प्रकार कर सकते हैं:

mysql = SQLAlchemy()
from sqlalchemy import inspect

class Contacts(mysql.Model):  
    __tablename__ = 'CONTACTS'
    id = mysql.Column(mysql.Integer, primary_key=True)
    first_name = mysql.Column(mysql.String(128), nullable=False)
    last_name = mysql.Column(mysql.String(128), nullable=False)
    phone = mysql.Column(mysql.String(128), nullable=False)
    email = mysql.Column(mysql.String(128), nullable=False)
    street = mysql.Column(mysql.String(128), nullable=False)
    zip_code = mysql.Column(mysql.String(128), nullable=False)
    city = mysql.Column(mysql.String(128), nullable=False)
    def toDict(self):
        return { c.key: getattr(self, c.key) for c in inspect(self).mapper.column_attrs }

@app.route('/contacts',methods=['GET'])
def getContacts():
    contacts = Contacts.query.all()
    contactsArr = []
    for contact in contacts:
        contactsArr.append(contact.toDict()) 
    return jsonify(contactsArr)

@app.route('/contacts/<int:id>',methods=['GET'])
def getContact(id):
    contact = Contacts.query.get(id)
    return jsonify(contact.toDict())

यहां एक उत्तर से प्रेरित हो जाओ: sqlalchemy पंक्ति वस्तु को अजगर के हुक्म में परिवर्तित करें


5

एक अधिक विस्तृत विवरण। अपने मॉडल में, जोड़ें:

def as_dict(self):
       return {c.name: str(getattr(self, c.name)) for c in self.__table__.columns}

str()यदि ऐसा है तो अजगर 2 उपयोग का उपयोग कर अजगर 3 के लिए है unicode()। यह तारीखों को डिसेर्बलाइज करने में मदद करनी चाहिए। यदि आप उन लोगों के साथ व्यवहार नहीं कर रहे हैं, तो आप इसे हटा सकते हैं।

अब आप डेटाबेस को इस तरह से क्वेरी कर सकते हैं

some_result = User.query.filter_by(id=current_user.id).first().as_dict()

First()अजीब त्रुटियों से बचने के लिए आवश्यक है। as_dict()अब परिणाम को डिसअर्सलाइज़ करेगा। डिसेरिएलाइजेशन के बाद, इसे जसन में बदलने के लिए तैयार है

jsonify(some_result)

3

यह इतना straighforward नहीं है। मैंने ऐसा करने के लिए कुछ कोड लिखे। मैं अभी भी इस पर काम कर रहा हूं, और यह मोचीकट ढांचे का उपयोग करता है। यह मूल रूप से एक छद्म और पंजीकृत JSON कन्वर्टर्स का उपयोग करके पायथन और जावास्क्रिप्ट के बीच मिश्रित वस्तुओं का अनुवाद करता है।

डेटाबेस ऑब्जेक्ट्स के लिए ब्राउज़र पक्ष db.js है। इसे प्रॉक्सी . js में मूल पायथन प्रॉक्सी स्रोत की आवश्यकता है

पायथन की तरफ बेस प्रॉक्सी मॉड्यूल है । में फिर अंत में SQLAlchemy वस्तु एनकोडर webserver.py । यह मॉडल-थ्रेड फ़ाइल में मिले मेटाडेटा एक्सट्रैक्टर्स पर भी निर्भर करता है ।


पहली नज़र से काफी जटिल ... मुझे क्या चाहिए - जावास्क्रिप्ट / XML प्रारूप में SQLAlchemy ऑब्जेक्ट्स क्वेरी परिणाम प्राप्त करने के लिए इसे जावास्क्रिप्ट डेटाग्रेड (JQGrid trirand.com/blog ) में उपयोग करने के लिए
Zelid

कभी-कभी समस्याएं पहली नज़र में आपसे अधिक जटिल होती हैं ... यह वस्तुएं विदेशी कुंजियों के रूप में वापस आ जाती हैं, और गहरे संबंधों के साथ होने वाली अनंत पुनरावृत्ति से बचने की कोशिश करती हैं। हालाँकि, आप शायद कुछ कस्टम क्वेरी लिख सकते हैं जो केवल आधार प्रकारों को वापस करते हैं और सीधे सरलजन के साथ उन लोगों को अनुक्रमित करते हैं।
कीथ

1
ठीक है, शायद मैं SQLAlchemy का उपयोग करके dicts के लिए क्वेरी के साथ जाऊंगा और ओआरएम प्रदर्शन के लाभ का उपयोग केवल सेव / सेविंग एक्शन कार्यों के लिए करूंगा।
जेलिड

3

हालांकि मूल प्रश्न थोड़ी देर में वापस आ जाता है, यहाँ उत्तर की संख्या (और मेरे अपने अनुभव) यह सुझाव देते हैं कि यह एक गैर-तुच्छ प्रश्न है, जिसमें विभिन्न ट्रेड-ऑफ के साथ बदलती जटिलता के बहुत सारे दृष्टिकोण हैं।

इसलिए मैंने SQLAthanor लाइब्रेरी का निर्माण किया जो SQLAlchemy की घोषणात्मक ORM को कॉन्फ़िगर करने योग्य सीरियललाइज़ेशन / डे- सीरियललाइज़ेशन समर्थन के साथ विस्तारित करता है जिसे आप एक नज़र रखना चाहते हैं।

पुस्तकालय का समर्थन करता है:

  • पायथन 2.7, 3.4, 3.5 और 3.6।
  • SQLAlchemy संस्करण 0.9 और उच्चतर
  • JSON, CSV, YAML और पायथन से / के लिए क्रम-निर्धारण / de-serialization dict
  • क्रमांकन / स्तंभों / विशेषताओं, संबंधों, हाइब्रिड गुणों, और एसोसिएशन प्रॉक्सिज़ का डी-सीरियलाइज़ेशन
  • विशेष स्वरूपों और स्तंभों / रिश्तों / विशेषताओं के लिए क्रमांकन को सक्षम और अक्षम करना (जैसे आप इनबाउंड password मान का समर्थन करना चाहते हैं , लेकिन कभी भी एक आउटबाउंड शामिल नहीं करें )
  • पूर्व-क्रमांकन और पश्च-विस्मरण मूल्य प्रसंस्करण (सत्यापन या प्रकार के जोर के लिए)
  • एक बहुत सरल वाक्यविन्यास है जो पाइथोनिक और मूल रूप से SQLAlchemy के अपने दृष्टिकोण के अनुरूप है

आप यहां (मुझे आशा है!) व्यापक डॉक्स देख सकते हैं: https://sqlathanor.readthedocs.io/en/atatest

उम्मीद है की यह मदद करेगा!


2

कस्टम क्रमांकन और deserialization।

"from_json" (क्लास मेथड) json डेटा के आधार पर एक मॉडल ऑब्जेक्ट बनाता है।

"डिसेरियलाइज़" को केवल उदाहरण पर कहा जा सकता है, और json से सभी डेटा को मॉडल उदाहरण में मर्ज किया जा सकता है।

"क्रमबद्ध करें" - पुनरावर्ती क्रमांकन

__write_only__ संपत्ति को केवल गुण लिखने के लिए आवश्यक है (उदाहरण के लिए "password_hash")।

class Serializable(object):
    __exclude__ = ('id',)
    __include__ = ()
    __write_only__ = ()

    @classmethod
    def from_json(cls, json, selfObj=None):
        if selfObj is None:
            self = cls()
        else:
            self = selfObj
        exclude = (cls.__exclude__ or ()) + Serializable.__exclude__
        include = cls.__include__ or ()
        if json:
            for prop, value in json.iteritems():
                # ignore all non user data, e.g. only
                if (not (prop in exclude) | (prop in include)) and isinstance(
                        getattr(cls, prop, None), QueryableAttribute):
                    setattr(self, prop, value)
        return self

    def deserialize(self, json):
        if not json:
            return None
        return self.__class__.from_json(json, selfObj=self)

    @classmethod
    def serialize_list(cls, object_list=[]):
        output = []
        for li in object_list:
            if isinstance(li, Serializable):
                output.append(li.serialize())
            else:
                output.append(li)
        return output

    def serialize(self, **kwargs):

        # init write only props
        if len(getattr(self.__class__, '__write_only__', ())) == 0:
            self.__class__.__write_only__ = ()
        dictionary = {}
        expand = kwargs.get('expand', ()) or ()
        prop = 'props'
        if expand:
            # expand all the fields
            for key in expand:
                getattr(self, key)
        iterable = self.__dict__.items()
        is_custom_property_set = False
        # include only properties passed as parameter
        if (prop in kwargs) and (kwargs.get(prop, None) is not None):
            is_custom_property_set = True
            iterable = kwargs.get(prop, None)
        # loop trough all accessible properties
        for key in iterable:
            accessor = key
            if isinstance(key, tuple):
                accessor = key[0]
            if not (accessor in self.__class__.__write_only__) and not accessor.startswith('_'):
                # force select from db to be able get relationships
                if is_custom_property_set:
                    getattr(self, accessor, None)
                if isinstance(self.__dict__.get(accessor), list):
                    dictionary[accessor] = self.__class__.serialize_list(object_list=self.__dict__.get(accessor))
                # check if those properties are read only
                elif isinstance(self.__dict__.get(accessor), Serializable):
                    dictionary[accessor] = self.__dict__.get(accessor).serialize()
                else:
                    dictionary[accessor] = self.__dict__.get(accessor)
        return dictionary

2

यहां एक समाधान है जो आपको उन संबंधों का चयन करने की अनुमति देता है जिन्हें आप अपने आउटपुट में शामिल करना चाहते हैं जितना गहरा आप चाहते हैं। नोट: यह पूरी तरह से एक सूची के बजाय एक आर्ग के रूप में एक तानाशाह / स्ट्रेट को फिर से लिखना है। कुछ सामान ठीक करता है ..

def deep_dict(self, relations={}):
    """Output a dict of an SA object recursing as deep as you want.

    Takes one argument, relations which is a dictionary of relations we'd
    like to pull out. The relations dict items can be a single relation
    name or deeper relation names connected by sub dicts

    Example:
        Say we have a Person object with a family relationship
            person.deep_dict(relations={'family':None})
        Say the family object has homes as a relation then we can do
            person.deep_dict(relations={'family':{'homes':None}})
            OR
            person.deep_dict(relations={'family':'homes'})
        Say homes has a relation like rooms you can do
            person.deep_dict(relations={'family':{'homes':'rooms'}})
            and so on...
    """
    mydict =  dict((c, str(a)) for c, a in
                    self.__dict__.items() if c != '_sa_instance_state')
    if not relations:
        # just return ourselves
        return mydict

    # otherwise we need to go deeper
    if not isinstance(relations, dict) and not isinstance(relations, str):
        raise Exception("relations should be a dict, it is of type {}".format(type(relations)))

    # got here so check and handle if we were passed a dict
    if isinstance(relations, dict):
        # we were passed deeper info
        for left, right in relations.items():
            myrel = getattr(self, left)
            if isinstance(myrel, list):
                mydict[left] = [rel.deep_dict(relations=right) for rel in myrel]
            else:
                mydict[left] = myrel.deep_dict(relations=right)
    # if we get here check and handle if we were passed a string
    elif isinstance(relations, str):
        # passed a single item
        myrel = getattr(self, relations)
        left = relations
        if isinstance(myrel, list):
            mydict[left] = [rel.deep_dict(relations=None)
                                 for rel in myrel]
        else:
            mydict[left] = myrel.deep_dict(relations=None)

    return mydict

एक व्यक्ति / परिवार / घरों / कमरों का उपयोग करके एक उदाहरण के लिए ... इसे जसन में बदलना जो आपको चाहिए

json.dumps(person.deep_dict(relations={'family':{'homes':'rooms'}}))

यह ठीक है, मुझे लगता है कि बस अपने बेस क्लास में डाल दें ताकि सभी वस्तुओं में यह हो। मैं जोंस एनकोडिंग को आपके पास छोड़ दूँगा ...
tahoe

ध्यान दें कि इस संस्करण में सभी सूची संबंध मिल जाएंगे ताकि वस्तुओं की एक टन के साथ संबंध प्रदान करने के लिए सतर्क रहें ...
tahoe

1
def alc2json(row):
    return dict([(col, str(getattr(row,col))) for col in row.__table__.columns.keys()])

मैंने सोचा कि मैं इस एक के साथ थोड़ा कोड गोल्फ खेलूंगा।

FYI करें: मैं autoap_base का उपयोग कर रहा हूं क्योंकि हमारे पास व्यावसायिक आवश्यकताओं के अनुसार एक अलग रूप से डिज़ाइन किया गया स्कीमा है। मैंने आज ही SQLAlchemy का उपयोग करना शुरू कर दिया था, लेकिन प्रलेखन में कहा गया है कि automap_base घोषणात्मक_बेस के लिए एक विस्तार है जो SQLAlchemy ORM में विशिष्ट प्रतिमान प्रतीत होता है, इसलिए मेरा मानना ​​है कि यह काम करना चाहिए।

यह Tjorriemorrie के समाधान के अनुसार विदेशी कुंजी का पालन करने के साथ फैंसी नहीं मिलता है , लेकिन यह बस मूल्यों से स्तंभों से मेल खाता है और str द्वारा पायथन प्रकारों को संभालता है () - स्तंभ मानों को सम्मिलित करें। हमारे मूल्यों में पायथन डेटाइम.टाइम और दशमलव शामिल हैं। दशमलव वर्ग प्रकार के परिणाम इसलिए इसे काम मिलता है।

आशा है कि यह किसी भी राहगीरों की मदद करता है!


1

मुझे पता है कि यह काफी पुरानी पोस्ट है। मैंने @ साशा द्वारा दिया गया समाधान लिया और अपनी आवश्यकता के अनुसार संशोधित किया।

मैंने इसमें निम्नलिखित बातें जोड़ीं:

  1. फ़ील्ड की अनदेखी सूची: क्रमांकन करते समय फ़ील्ड की सूची को अनदेखा किया जाना चाहिए
  2. फ़ील्ड बदलें सूची: क्रमांकन करते समय मानों द्वारा प्रतिस्थापित किए जाने वाले फ़ील्ड नामों वाला शब्दकोश।
  3. हटाए गए तरीके और बेसाइक सीरीज़ हो रहे हैं

मेरा कोड इस प्रकार है:

def alchemy_json_encoder(revisit_self = False, fields_to_expand = [], fields_to_ignore = [], fields_to_replace = {}):
   """
   Serialize SQLAlchemy result into JSon
   :param revisit_self: True / False
   :param fields_to_expand: Fields which are to be expanded for including their children and all
   :param fields_to_ignore: Fields to be ignored while encoding
   :param fields_to_replace: Field keys to be replaced by values assigned in dictionary
   :return: Json serialized SQLAlchemy object
   """
   _visited_objs = []
   class AlchemyEncoder(json.JSONEncoder):
      def default(self, obj):
        if isinstance(obj.__class__, DeclarativeMeta):
            # don't re-visit self
            if revisit_self:
                if obj in _visited_objs:
                    return None
                _visited_objs.append(obj)

            # go through each field in this SQLalchemy class
            fields = {}
            for field in [x for x in dir(obj) if not x.startswith('_') and x != 'metadata' and x not in fields_to_ignore]:
                val = obj.__getattribute__(field)
                # is this field method defination, or an SQLalchemy object
                if not hasattr(val, "__call__") and not isinstance(val, BaseQuery):
                    field_name = fields_to_replace[field] if field in fields_to_replace else field
                    # is this field another SQLalchemy object, or a list of SQLalchemy objects?
                    if isinstance(val.__class__, DeclarativeMeta) or \
                            (isinstance(val, list) and len(val) > 0 and isinstance(val[0].__class__, DeclarativeMeta)):
                        # unless we're expanding this field, stop here
                        if field not in fields_to_expand:
                            # not expanding this field: set it to None and continue
                            fields[field_name] = None
                            continue

                    fields[field_name] = val
            # a json-encodable dict
            return fields

        return json.JSONEncoder.default(self, obj)
   return AlchemyEncoder

आशा है कि यह किसी की मदद करता है!


1

SQLAlchemy में बिल्ट-इन serializer का उपयोग करें :

from sqlalchemy.ext.serializer import loads, dumps
obj = MyAlchemyObject()
# serialize object
serialized_obj = dumps(obj)

# deserialize object
obj = loads(serialized_obj)

यदि आप सत्रों के बीच ऑब्जेक्ट को स्थानांतरित कर रहे हैं, तो वर्तमान सत्र का उपयोग करके ऑब्जेक्ट को अलग करना याद रखें session.expunge(obj)। इसे फिर से संलग्न करने के लिए, बस करें session.add(obj)


निफ्टी, लेकिन JSON में परिवर्तित नहीं होता है।
ब्लेक डेव

2
JSON 'सीरियलाइज़ेशन' के लिए marshmallow-sqlalchemy देखें । निश्चित रूप से सबसे अच्छा समाधान जब आप ग्राहकों को वस्तुओं को उजागर कर रहे हैं। marshmallow-sqlalchemy.readthedocs.io
क्रिस्बेन

धारावाहिक मॉड्यूल केवल क्वेरी संरचनाओं के लिए उपयुक्त है। इसकी आवश्यकता नहीं है: उपयोगकर्ता-परिभाषित कक्षाओं के उदाहरण। इनमें विशिष्ट मामले में इंजन, सत्र या अभिव्यक्ति निर्माण का कोई संदर्भ नहीं है और इसे सीधे क्रमबद्ध किया जा सकता है।
थोमसड

1

निम्नलिखित कोड js में sqlalchemy परिणाम को क्रमबद्ध करेगा।

import json
from collections import OrderedDict


def asdict(self):
    result = OrderedDict()
    for key in self.__mapper__.c.keys():
        if getattr(self, key) is not None:
            result[key] = str(getattr(self, key))
        else:
            result[key] = getattr(self, key)
    return result


def to_array(all_vendors):
    v = [ ven.asdict() for ven in all_vendors ]
    return json.dumps(v) 

मज़ा आ रहा है,

def all_products():
    all_products = Products.query.all()
    return to_array(all_products)

1

कीमियाइन्कोडर अद्भुत है लेकिन कभी-कभी दशमलव मानों के साथ विफल हो जाता है। यहाँ एक बेहतर एनकोडर है जो दशमलव समस्या को हल करता है -

class AlchemyEncoder(json.JSONEncoder):
# To serialize SQLalchemy objects 
def default(self, obj):
    if isinstance(obj.__class__, DeclarativeMeta):
        model_fields = {}
        for field in [x for x in dir(obj) if not x.startswith('_') and x != 'metadata']:
            data = obj.__getattribute__(field)
            print data
            try:
                json.dumps(data)  # this will fail on non-encodable values, like other classes
                model_fields[field] = data
            except TypeError:
                model_fields[field] = None
        return model_fields
    if isinstance(obj, Decimal):
        return float(obj)
    return json.JSONEncoder.default(self, obj)

1

एक db से कनेक्ट करने के लिए sqlalchemy का उपयोग करते समय I यह एक सरल समाधान है जो अत्यधिक विन्यास योग्य है। पांडा का उपयोग करें।

import pandas as pd
import sqlalchemy

#sqlalchemy engine configuration
engine = sqlalchemy.create_engine....

def my_function():
  #read in from sql directly into a pandas dataframe
  #check the pandas documentation for additional config options
  sql_DF = pd.read_sql_table("table_name", con=engine)

  # "orient" is optional here but allows you to specify the json formatting you require
  sql_json = sql_DF.to_json(orient="index")

  return sql_json

0

फ्लास्क के तहत, यह काम करता है और डेटाटाइम क्षेत्रों को संभालता है, प्रकार के एक क्षेत्र को इसमें
'time': datetime.datetime(2018, 3, 22, 15, 40)परिवर्तित करता है
"time": "2018-03-22 15:40:00":

obj = {c.name: str(getattr(self, c.name)) for c in self.__table__.columns}

# This to get the JSON body
return json.dumps(obj)

# Or this to get a response object
return jsonify(obj)

0

Utf-8 के साथ सीरियलाइज़र चोक में निर्मित कुछ इनपुट के लिए अमान्य स्टार्ट बाइट को डिकोड नहीं कर सकता है। इसके बजाय, मैं साथ गया:

def row_to_dict(row):
    temp = row.__dict__
    temp.pop('_sa_instance_state', None)
    return temp


def rows_to_list(rows):
    ret_rows = []
    for row in rows:
        ret_rows.append(row_to_dict(row))
    return ret_rows


@website_blueprint.route('/api/v1/some/endpoint', methods=['GET'])
def some_api():
    '''
    /some_endpoint
    '''
    rows = rows_to_list(SomeModel.query.all())
    response = app.response_class(
        response=jsonplus.dumps(rows),
        status=200,
        mimetype='application/json'
    )
    return response

0

हो सकता है कि आप इस तरह एक वर्ग का उपयोग कर सकते हैं

from sqlalchemy.ext.declarative import declared_attr
from sqlalchemy import Table


class Custom:
    """Some custom logic here!"""

    __table__: Table  # def for mypy

    @declared_attr
    def __tablename__(cls):  # pylint: disable=no-self-argument
        return cls.__name__  # pylint: disable= no-member

    def to_dict(self) -> Dict[str, Any]:
        """Serializes only column data."""
        return {c.name: getattr(self, c.name) for c in self.__table__.columns}

Base = declarative_base(cls=Custom)

class MyOwnTable(Base):
    #COLUMNS!

उसके साथ सभी वस्तुओं की to_dictविधि है


0

कुछ कच्चे sql और अपरिभाषित वस्तुओं का उपयोग करते समय, cursor.descriptionमैं जो देख रहा था उसे पाने के लिए उपयोग किया गया:

with connection.cursor() as cur:
    print(query)
    cur.execute(query)
    for item in cur.fetchall():
        row = {column.name: item[i] for i, column in enumerate(cur.description)}
        print(row)

0
step1:
class CNAME:
   ...
   def as_dict(self):
       return {item.name: getattr(self, item.name) for item in self.__table__.columns}

step2:
list = []
for data in session.query(CNAME).all():
    list.append(data.as_dict())

step3:
return jsonify(list)

3
बिना किसी स्पष्टीकरण के कोड डंप शायद ही कभी सहायक होते हैं। स्टैक ओवरफ्लो सीखने के बारे में है, नेत्रहीन कॉपी और पेस्ट करने के लिए स्निपेट्स प्रदान नहीं करना। कृपया अपने प्रश्न को संपादित करें और यह बताएं कि ओपी ने जो प्रदान किया है, उससे बेहतर कैसे काम करता है।
क्रिस

-2

मेरा उपयोग करना (बहुत सारे?) शब्दकोशों:

def serialize(_query):
    #d = dictionary written to per row
    #D = dictionary d is written to each time, then reset
    #Master = dictionary of dictionaries; the id Key (int, unique from database) 
    from D is used as the Key for the dictionary D entry in Master
    Master = {}
    D = {}
    x = 0
    for u in _query:
        d = u.__dict__
        D = {}
        for n in d.keys():
           if n != '_sa_instance_state':
                    D[n] = d[n]
        x = d['id']
        Master[x] = D
    return Master

JSON के रूप में आउटपुट प्रिंट करने के लिए फ्लास्क (jsonify सहित) और फ्लास्क_sqlalchemy के साथ चल रहा है।

Jsonify (क्रमबद्ध) () के साथ फ़ंक्शन को कॉल करें।

सभी SQLAlchemy प्रश्नों के साथ काम करता है जो मैंने अब तक कोशिश की है (SQLite3 चला रहा है)

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.