Google मानचित्र टाइल निर्माण प्रक्रियाओं का प्रदर्शन


11

मुझे पता है कि प्रश्न अस्पष्ट है, लेकिन कृपया मुझे / मुझे सहन करना चाहिए। मैं यह अनुमान लगाने की कोशिश कर रहा हूं कि किस प्रकार के उत्पाद प्रदर्शन - विशेष रूप से समय - लोगों ने विभिन्न तरीकों के लिए देखा है जो उन्होंने Google / बिंग मैप टाइल बनाने के लिए उपयोग किए हैं। ऐसा करने के तरीकों के बारे में बहुत कुछ बताया गया है (उदाहरण के लिए gdal2tiles, FME, maptiler, आदि)। बस एक बड़ी पीएनजी लेने और एक सुंदर सभ्य लिनक्स सर्वर पर इमेजमागिक का उपयोग करके टाइल बनाने का एक प्रारंभिक प्रयास, कुछ बहुत लंबे प्रसंस्करण समय मिले और इसलिए मैं यह देखना चाहता था कि अन्य लोग उत्पादन में क्या उपयोग कर रहे हैं। नई टाइलों को कम से कम दैनिक उत्पन्न करने की आवश्यकता होगी और इसलिए इस पर बदलाव का समय बहुत महत्वपूर्ण है।

केवल वास्तविक आवश्यकता यह है कि यह एक लिनक्स सर्वर पर चल सकता है। जाहिर है, मुफ्त बेहतर है लेकिन मैं खुद को उस तक सीमित नहीं रखना चाहता। इनपुट कच्चे ग्रिड / रेखापुंज डेटा या एक बड़ी छवि हो सकता है। आउटपुट को छवि टाइल के रूप में उपयोग करने की आवश्यकता होती है जो कि Google या बिंग मैप में उपयोग की जाती है।

तुलना के लिए, मैं कहूंगा कि टाइमिंग गूगल मैप के जूम लेवल 7 के लिए होनी चाहिए।

मैं हर किसी की मदद की सराहना करता हूं और फिर से माफी चाहता हूं कि यह सवाल कितना अस्पष्ट लगता है।

अद्यतन: जहां तक ​​इनपुट्स की बात है, मेरे पास वर्तमान में विभिन्न स्वरूपों में कई (कच्चे) डेटा स्रोत हैं: netCDF, GRIB, GRIB2। कच्चे डेटा के अलावा, मेरे पास उस डेटा की वास्तव में बड़ी छवियां उत्पन्न करने की क्षमता भी है, जिसे बाद में कटा हुआ / टाइल किया जा सकता है।

आदर्श रूप में, मैं बस छवि को काट रहा हूं, लेकिन मैं कोशिश करने को तैयार हूं कि मुझे सबसे तेज परिणाम मिलेंगे।


सुझाव है कि आप अत्यधिक अंतिम छवियों का उपयोग कर रहे अनुकूलन के लिए एडोब आतिशबाजी का उपयोग करें - adobe.com/products/fireworks - यहां तक कि फ़ोटोशॉप से निर्यात किया और फिर आतिशबाजी में अनुकूलित कम फ़ाइल 75% (PNG) अप करने के लिए आकार
Mapperz

@ मैपरज़- "पटाखों में अनुकूलित" पर विस्तृत रूप से बताएं?
डेरेक स्विंगली

मुझे लगता है कि आपको अपने इनपुट पर विस्तार करने की आवश्यकता है और यदि अधिक प्रसंस्करण की आवश्यकता है या यदि आप बस उन्हें काट रहे हैं।
इयान Turton

4
@ मैपरज़: मुक्त समकक्ष मात्राकरण के लिए pngcrush और pngnq है। - मैं वर्तमान में एक समान कार्य पर काम कर रहा हूं और एक स्वचालित श्रृंखला है gdal2tiles> pngnq> pngcrush> सिस्टम में खिलाई गई प्रत्येक फ़ाइल के लिए इमेजमैगिक का उपयोग करके थंबनेल को प्रीगेनरेट करना - मैं इसे तेज़ होने का दावा नहीं कर सकता, लेकिन स्वचालन बहुत अधिक बोझ लेता है । और मेरे मामले में कोई अपडेट नहीं है, यह आग है और भूल जाओ।
relet

1
@relet - कोई भी समय जो आप पास कर सकते हैं? इसके लिए आपका हार्डवेयर सेटअप क्या है? धन्यवाद
मैलोन्स

जवाबों:


3

निम्नलिखित रास्टर फ़ाइल के लिए मेरे कुछ परिणाम यहां दिए गए हैं:

JPEG 14456x14490 14456x14490+0+0 DirectClass 62mb

$ समय gdal2tiles [...]

Generating Base Tiles:
0...10...20...30...40...50...60...70...80...90...100 - done.
Generating Overview Tiles:
0...10...20...30...40...50...60...70...80...90...100 - done.

real    5m7.675s
user    5m5.070s
sys  0m2.060s

$ समय [हर टाइल के लिए pngnq && pngcrush, कुल मिलाकर 4500]

real    9m32.827s
user    18m34.190s
sys  0m27.230s

हाँ, यह मिनटों में है - मैंने आउटपुट आकार के लिए अनुकूलित किया, गति नहीं। मशीन एक वर्चुअल इंटेल Xeon 2x3GHz, 4 जी मेमोरी है। (और स्पष्ट रूप से, gdal2tiles कुछ समानांतर का उपयोग कर सकता है।)


क्या नमूना फ़ाइल डाउनलोड के लिए उपलब्ध है। मैं maptiler.com के
क्लोक टेक्नोलॉजीज जीएमबीएच

क्षमा करें, मैंने इस बीच नौकरी बदल दी। मैं शायद यह पता लगा सकता हूं कि टाइल कहां प्रकाशित हैं, लेकिन मूल फाइल नहीं।
6

6

मैं gdal2tilesकाफी बड़ी (380MB, 39K x 10K पिक्सल) को संसाधित करने के लिए काफी समय ले रहा था , जूम रेंज 0-12 के लिए Google टाइल्स में झगड़ा कर रहा था। उबंटू 12.04 64 बिट पर मल्टीप्रोसेसिंग के बिना पूरे दिन (8 घंटे) के लिए टिफ को 1.99 मिलियन टाइल्स @ 3.3GB में संसाधित करने में बस लग गया। जैसे @Stephan Talpalaru में ऊपर उल्लेख किया गया है, gdal2tiles समानांतर में रन बनाना प्रमुख है। अपने मूल का एक बैकअप बनाएं gdal2tiles.py, फिर उस निर्देशिका के भीतर से पैच स्थापित करें जो मकान gdal2tiles.py(मेरा था /usr/local/bin):

$ sudo patch -p0 -i gdal2tiles_parallelize_base_and_overview_tiles.patch

अब gdal2tilesजैसे आप सामान्य रूप से चलाते हैं। मुझे अपने सभी 4 कोर (Intel Core i7 3.4GHz) के साथ प्रदर्शन में अविश्वसनीय वृद्धि हुई है:

$ time gdal2tiles.py -p raster -z 0-12 -w none ds1105-2235df023_23_b.tif gdal-tiles12
Generating Base Tiles:
0...10...20...30...40...50...60...70...80...90...100 - done.
Generating Overview Tiles:
0...10...20...30...40...50...60...70...80...90...100 - done.

real    39m8.242s
user    104m6.808s
sys 9m16.036s

तो ~ 8 घंटे से लेकर 39 मिनट तक । खेल परिवर्तक।


5

Gdal2tiles.py के समानांतर संस्करण का प्रयास करें: http://trac.osgeo.org/gdal/ticket/4379


1
क्या आपको विंडोज पर समानांतर संस्करण चलाने में कोई सफलता मिली है? मैं उत्पन्न अस्थायी फ़ाइलों पर फ़ाइल पहुंच त्रुटियों को प्राप्त करता हूं।
मिकालिस अवराम

2

आपने FME का उल्लेख किया है और FMEpedia पर मैप टाइल बनाने पर कुछ संख्याएँ हैं

यह एक लंबा लेख है, इसलिए मैंने संबंधित हिस्सों को बाहर निकाला:

Level             Tiles           Minutes (hours)
    8            24,500           18 (0.3)
   10           245,000          105 (1.75)
   11         1,000,000          384 (6.4)

यह FME सर्वर के साथ एक बहु-मशीन प्रक्रिया का उपयोग कर रहा है। आप WeoGeo ब्लॉग पर पॉल बिसेट द्वारा इस पोस्ट को भी देख सकते हैं: http://www.weogeo.com/blog/Scaling_FME_Engines_on_WeoGeo.html

यह एक महान फिल्म है जिसमें दिखाया गया है कि इस तरह से डेटा को क्लाउड में कैसे संसाधित किया जाए - मूल रूप से प्रसंस्करण लोड को फैलाने और इसे बहुत तेज़ी से प्राप्त करने के लिए अमेज़ॅन वर्चुअल मशीनों का एक समूह फायरिंग करता है।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.