स्थानिक ईटीएल (अर्क, ट्रांसफ़ॉर्म, लोड) के विकल्प की तलाश?


33

मैं विभिन्न स्थानिक ईटीएल (एक्सट्रैक्ट, ट्रांसफॉर्म, लोड) टूल्स के पेशेवरों और विपक्षों में दिलचस्पी रखता हूं। यदि आपने यहां सूचीबद्ध वस्तुओं का उपयोग किया है (या अपना खुद का जोड़ें), मैं आपकी राय और अनुभव चाहता हूं। विशेष रूप से मैं प्रयोज्य तुलना देखना चाहेंगे:

उल्लिखित सभी सॉफ्टवेयर की समीक्षा देने की आवश्यकता नहीं है। यदि आप एक से भी अनुभवी हैं तो यह निर्णय लेने में बहुत फायदेमंद होगा कि किस दिशा में जाना है।

उदाहरण: मैं एक स्कीमा रूपांतरण फ़ंक्शन बनाना चाह रहा हूं जो मुझे इनपुट लेयर का चयन करने, अनुवाद बनाने और नए, पूर्व-परिभाषित स्कीमा को आउटपुट देने की अनुमति देगा। वैकल्पिक रूप से, अनुवाद स्क्रिप्ट बनाने के बाद, मैं एक संवादात्मक रूप रखना चाहूंगा जहां मैं अपनी इनपुट परत में फ़ील्ड को आउटपुट लेयर पर "मैप" कर सकता हूं (अर्थात- आउटपुट लेयर में एक फ़ील्ड होगा जिसे "पता" कहा जाएगा, इसे क्या कहा जाता है इनपुट परत में?)

कुछ को Q & A में उल्लेख किया गया था कि किस डेटा को एक डेटाबेस में जीआईएस डेटा अपलोड करने के लिए उपलब्ध है?

और यहाँ कुछ संबंधित लेख हैं जो मुझे मिले।

जवाबों:


17

इस प्रश्न को कम्युनिटी विकी में बदल दिया गया है और विकी लॉक किया गया है क्योंकि यह एक प्रश्न का एक उदाहरण है जो उत्तरों की एक सूची की तलाश करता है और इसे बंद होने से बचाने के लिए पर्याप्त लोकप्रिय प्रतीत होता है। इसे एक विशेष मामले के रूप में माना जाना चाहिए और इसे उस प्रकार के प्रश्न के रूप में नहीं देखा जाना चाहिए जो इस पर प्रोत्साहित किया जाता है, या किसी भी स्टैक एक्सचेंज साइट पर, लेकिन यदि आप इसे और अधिक सामग्री योगदान करना चाहते हैं, तो इस उत्तर को संपादित करके ऐसा करने के लिए स्वतंत्र महसूस करें। ।


मैं केवल उसी बारे में बात करूंगा जो मैंने पेशेवर संदर्भ में देखा है। मेरे एक छात्र ने एक प्रसिद्ध स्रोत (TeleAtlas) से अपने जीआईएस में बड़ी मात्रा में स्थानिक डेटा प्राप्त करने, मान्य करने और एकीकृत करने के लिए एक उद्यम के साथ काम किया। उसने FME का उपयोग करते हुए कई वर्कफ़्लोज़ का उपयोग किया, फ़्लाय पर बहुत जटिल वेरिफिकेशन और ट्रांसफ़ॉर्मेशन करते हुए, एक फॉर्मेट से दूसरे में, जैसे फीचर सलेक्शन, टोपोलॉजी वेरिफिकेशन, डुप्लिकेट रिमूवल इत्यादि। वर्कफ़्लो बाद में आने वाले डेटासेट को प्रोसेस करने में सक्षम था।

मैं एक चिरायु परिवीक्षा रिपोर्ट (क्षमा करें, "soutenance de rapport de stage" का Google ट्रैडिशन) के लिए एक जूरी पर था, जहां छात्र ने इस तरह से एक और FME वर्कफ़्लो का वर्णन किया था, लेकिन इस बार एकीकरण के लिए राष्ट्रीय स्तर पर भेजे गए क्षेत्रीय डेटासेट को मान्य करने के लिए। राष्ट्रीय जोखिम डेटाबेस के लिए। मुख्य अंतर यह है कि इस अंतिम उदाहरण में डेटासेट बहुत विविध फ़ाइल स्वरूपों, रेखापुंज और वेक्टर, तराजू और शैलियों में थे।

अंतिम, मैंने स्पेसियल डेटा इंटीग्रेटर, टैलेंड ओपन स्टूडियो पर आधारित ओपन सोर्स ईटीएल का परीक्षण किया। सुविधाएँ कई थीं, हालाँकि FME की तुलना में कम, लेकिन मुझे लगता है कि मुख्य अंतर प्रलेखन और वर्कफ़्लो निर्माण के उपयोगकर्ता-मित्रता पर थे। मैं अक्सर वर्कफ़्लो घटकों के जावा कोड स्रोत को संशोधित करने के लिए मजबूर किया गया था। लेकिन यह sdi का एक पुराना संस्करण था, और जिन कमियों का मैं यहां वर्णन करता हूं, वे अपनी शुरुआत में खुले स्रोत परियोजनाओं के साथ कुछ हद तक सामान्य हैं, और हम एक ही स्तर के मालिकाना अच्छी तरह से सम्मानित सॉफ्टवेयर और मुक्त खुले स्रोत के युवा दावेदारों पर तुलना नहीं कर सकते हैं।


24

कई जीबी स्थानिक डेटा के साथ काम करने वाली एक हालिया परियोजना के लिए, मैंने एफएमई के साथ डेटा लोडिंग / रीप्रोजेक्शन शुरू किया। यह अच्छी तरह से काम किया है, लेकिन एक सीखने की अवस्था है।

इस परियोजना के अंत तक मैं पायथन लिपियों का उपयोग कर रहा था ताकि रीमिंग प्रक्रियाओं को स्वचालित किया जा सके। FME को स्क्रिप्ट किया जा सकता है, लेकिन अगर आपके पास पायथन की मूल बातें हैं तो चीजों को और अधिक जटिल क्यों किया जाता है? पायथन आपको पूर्ण लचीलापन देता है और प्रत्येक आयात स्क्रिप्ट के साथ आपके पायथन कौशल में सुधार हो रहा है।

डेटा परिवर्तनों के साथ काम करते समय मुझे निम्नलिखित पायथन पैकेज अमूल्य लगे:

  • PyProj
  • GeoPy
  • सुडौल
  • एक्सेल स्प्रेडशीट से डेटा आयात करने के लिए xlrd
  • डेटाबेस से कनेक्ट करने के लिए pyobdc
  • SQL कथन को चलाने और डेटाबेस के साथ काम करने के लिए SQLAlchemy

यदि आपके पास डेवलपर / प्रोग्रामिंग पृष्ठभूमि है, तो मैं अजगर का उपयोग करने की सलाह दूंगा, यदि आप GUI के साथ काम करना पसंद करते हैं (जो प्रलेखन के लिए अच्छी छवियां भी उत्पन्न कर सकते हैं) तो मैं FME की सिफारिश करूंगा।


11

मैं ओपन-सोर्स से प्यार करता हूं लेकिन एफएमई आसानी से ओपनसोर्स ईटीएल के खिलाफ जीतता है जैसा कि मैं बता सकता हूं। यह वास्तव में रखरखाव और समर्थन के लिए काफी सस्ता है (कम से कम अधिकांश अन्य कॉर्पोरेट समाधानों की तुलना में जो हमारे पास हैं)।

यदि आप प्रारूपों के बीच अनुवाद की तलाश कर रहे हैं तो OGR कर सकते हैं ( परिवर्तनों के लिए GDAL में कुछ पाइपिंग के साथ )। बेशक, यह कमांड लाइन है

"संभव डुप्लिकेट" टिप्पणी में सूचीबद्ध लोगों से परे दृश्य मॉडलिंग के लिए , वे एक QGIS / SEXTANTE मॉडल बिल्डर पर काम कर रहे हैं; अवधारणा वीडियो का प्रमाण: https://www.youtube.com/watch?v=LTUu-I2ouqU

(नहीं, मैं सेफ के लिए काम नहीं करता, मैं सिर्फ एक अपेक्षाकृत खुश ग्राहक हूं)।


वीडियो लिंक टूट गया है क्या तुम इसे ठीक कर सकते हो?
जियोस्टोनमार्टन

6

अधिकांश सरल संचालन इन खुले स्रोत उपयोगिताओं द्वारा किए जा सकते हैं

  • वेक्टर के लिए ogr2ogr
  • gdal_translate और रेखापुंज के लिए gdalwarp

FWtools http://fwtools.maptools.org/ प्राप्त करें और इसे आज़माएं।


6

मैंने एक साल पहले विभिन्न उपकरणों की तुलना की थी जिसमें इस धागे में वर्णित अधिकांश विकल्प भी शामिल हैं।

अधिक प्रत्यक्ष उत्तर के रूप में, मैं इसकी बहुमुखी प्रतिभा के कारण FME का बहुत उपयोग करता हूं। हालांकि, जब मैं इस तरह के CityGML प्रेरित GML या बड़ा डेटाबेस मॉडल में के रूप में जटिल डेटा संरचनाओं के साथ काम करते हैं, मैं का उपयोग HALE , एक खुला स्रोत ETL और विशेष रूप से सामंजस्य के लिए विकसित अनुप्रयोग।

यहाँ छवि विवरण दर्ज करें

वर्तमान में (संस्करण 2.9.0 के रूप में) यह एफएमई (2014 SP1) की तुलना इस प्रकार है:

  • HALE के प्रारूपों की संख्या कम है (HALE: 20, FME 200) और ट्रांसफार्मर (HALE: 30+, FME: 400 से अधिक), लेकिन सभी XML / GML बोलियों के लिए बहुत अच्छा समर्थन
  • HALE पूर्वावलोकन परिवर्तन इंटरेक्टिव रूप से मानचित्र और तालिका दृश्य में परिणाम देता है, और आउटपुट को सीधे मान्य करता है
  • HALE आम तौर पर बहुत तेज़ होती है, क्योंकि प्रत्येक विशेषता के लिए स्थानीय संदर्भ बनाए रखा जाता है, उदाहरण के लिए, आपको बहुत अधिक फ़ीचर्स की बचत होती है
  • हैले ओपन सोर्स है और 2010 से उत्पादन उपयोग में है
  • एचएएल एक घोषणात्मक मैपिंग यूआई का उपयोग करता है, जो प्रक्रियात्मक दृष्टिकोण की तुलना में आवश्यक उपयोगकर्ता इनपुट की कम संख्या की ओर जाता है

ध्यान दें कि मैं HALE टीम में काफी सालों से हूं।


आपको कैसे लगता है कि यह आज बनाम FME के ​​ढेर है? विशेष रूप से वेब और जियोआरएसएस डेटा के फीड के लिए?
डॉ। आईएसजी

@ डॉ.वाईएसजी ने ओले का रखरखाव 2015 में वेट्रांसफॉर्म जीएमबीएच द्वारा किया था, इसलिए इसके विकास के पीछे एक समर्पित टीम है। पिछले चार वर्षों में पर्याप्त विकास हुआ है। गिटहब रिलीज़ नोट में परिवर्तन दर्ज़ किए गए हैं। यह JSON / GeoJSON डेटा के प्रसंस्करण का समर्थन करता है। जियोआरएसएस एक सरल एक्सएमएल प्रारूप है जो जीएमएल के कुछ हिस्सों का फिर से उपयोग करता है, इसलिए यह पूरी तरह से समर्थित है। स्वचालित रूप से जियोआरएस फीड्स को संसाधित करने के लिए, आप हेल-क्ली (कमांड लाइन इंटरफेस और अन्य एपीआई) देखना चाहते हैं।
tr_xsdi

5

यदि आप blah238s डुप्लिकेट लिंक को देखते हैं तो आपको अधिक जानकारी मिलती है। मैं कहूंगा कि टैलेंड ओपन स्टूडियो और पेंटाहो जियो केटेल सबसे प्रमुख ओपन सोर्स समाधान हैं जिन्हें कोई भी चुन सकता है। इन दो टालेंड टारगेट में से सिर्फ ETL और जियो केटल से थोड़ा ज्यादा आसान है जहाँ तक मैंने पढ़ा है।

मेरी नगरपालिका जियो केटल को स्थानीय अधिकारियों और क्षेत्रों (सलार) के सिन एसोसिएशन द्वारा एक साथ रखी गई जीएमएल बोली लिखने के लिए जाने वाली है और हमें इस प्रारूप को अलग-अलग वाणिज्यिक इंट्रास्ट के लिए जियोडाटा देने की आवश्यकता है।

मेरा मानना ​​है कि GeoKettle को संस्करण 2.0 से OGR / GDAL का समर्थन है।


5

FME संभवतः इस स्पेस में उपयोग करने के लिए सबसे अच्छा उत्पाद है। इसके बाद यह GDAL / OGR है। इस स्पेस में एक और ओपन सोर्स प्रोडक्ट जियोकेटेट है - http://www.spatialytics.org/projects/geokettle/ हालाँकि मैंने कभी भी इसे गुस्से में इस्तेमाल नहीं किया है (उल्लेखित दोनों अन्य उत्पादों के लिए पर्याप्त भाग्यशाली है)।

यदि उन सामान्य विकल्पों में से कोई भी काम नहीं करता है, तो आप शायद एक विशिष्ट रूपांतरण उपकरण का उपयोग करना चाहते हैं।


3

एक छोटे से प्रोजेक्ट हाई लर्निंग कर्व के लिए जब तक आप एक यूआई यूआई का उपयोग नहीं करते थे, तब तक जियोकेटले का धार्मिक रूप से उपयोग किया जाता है ... वास्तव में शक्तिशाली है जैसा कि GDAL1.10 के खिलाफ संकलित सभी भू प्रकारों का समर्थन करता है ... मुझे जो पसंद आया वह सेवाओं के माध्यम से संग्रहीत डेटा और डेटा दोनों के लिए इसका समर्थन था। ... मैंने इसे एक स्थानीय पोस्टगिस उदाहरण पर आर्कगिस सर्वर डेटासेट को फिर से बनाने और सिंक करने के लिए ईएसआरआई जोंसन के माध्यम से जेजेन्सन के लिए इस्तेमाल किया ... वर्कफ़्लो परिस्थितियों में बना सकता है और सत्यापन इसे ऑब्जेक्ट के # के लिए क्वेरी पर सेट करता है और उस पर आधारित एक पूर्वनिर्धारित सीएसवी संकलित करता है पहली क्वेरी के आधार पर एक समय में 500 सुविधाओं के लिए पोस्ट अनुरोध को पुनरावृत्ति करने में सक्षम था, एक जियोजोन फ़ाइल में सभी अनुरोधों को समेकित करने में सक्षम था, वैक्यूम के साथ और इंडेक्स चलाने के लिए स्क्रिप्टेड पोस्टगिस को लोड करने के लिए ओग 2 आर 2 आरआर चलाएं ... सिर्फ संबद्ध नहीं एक प्रशंसक

आप इसे चला सकते हैं और डेस्कटॉप गुई पर वर्कफ़्लो मैप कर सकते हैं और इसे Hadoop पर सेट करने के लिए pentahos सर्वर टूल्स का उपयोग कर सकते हैं और इसे स्क्रिप्ट या क्रॉन जॉब के रूप में चला सकते हैं।


3

QGIS (कम से कम वर्तमान संस्करण 2.6) के बाद अब एक एकीकृत मॉडल बिल्डर भी है। इस टूलबॉक्स के माध्यम से आप algorythms (GDAL, GRASS, SAGA, vectortools, इत्यादि) का उपयोग कर सकते हैं। आप खुद की स्क्रिप्ट भी जोड़ सकते हैं।

मुझे स्वीकार करना चाहिए कि मैंने इसका बड़े पैमाने पर उपयोग नहीं किया है, लेकिन अगर मैं एक मॉडल बिल्डर की तलाश में था तो मैं इसे जांच के योग्य मानूंगा।


0

[चेतावनी: मैं जिस उत्पाद के साथ शामिल हूं उसका एक शानदार प्रचार]

हम ETL करने के लिए एक टूल पर काम कर रहे हैं। यह FME के ​​स्वाद में समान है लेकिन सरल कार्यों के लिए डिज़ाइन किया गया है और उपयोग करने के लिए कम विशेषज्ञता की आवश्यकता होती है। कुछ विवरण https://www.geoactive.it पर देखे जा सकते हैं बस डेटा ड्रैगन के बारे में जानकारी के लिए देखें। इस एप्लिकेशन के पीछे के अंत में GDAL / OGR का उपयोग किया जाता है और हम GDAL / OGR पर वापस आने वाले किसी भी जोड़ को आगे बढ़ा रहे हैं।

वाणिज्यिक उपयोग के लिए इसे खरीदने की आवश्यकता होती है, लेकिन हमारे पास मुफ्त में अकादमिक लाइसेंस उपलब्ध हैं, इसलिए यदि आप इसका उपयोग अध्ययन के लिए करना चाहते हैं तो मुझे मैसेज करें और मैं आपको कुछ और विवरण प्रदान करूंगा।

यह जल्दी रिलीज के चरण में है, इसलिए अभी भी कुछ छोटे कीड़े हैं, इसलिए कृपया हमारे साथ सौम्य रहें।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.