ST_Distance स्थानिक क्वेरी के लिए अनुक्रमणिका का उपयोग नहीं करता है

10

मैं PostGreSQL 9.3.5 पर चलने वाले PostGIS 2.1 को सरलतम प्रश्नों के लिए भी एक स्थानिक सूचकांक का उपयोग करने के लिए नहीं प्राप्त कर सकता हूं। पूरे डाटासेट (यहां से आबादी की गिनती ग्रिड) 8 लाख अंक है । तालिका के रूप में बनाया गया है

CREATE TABLE points (
    population DOUBLE PRECISION NOT NULL,
    location GEOGRAPHY(4326, POINT) NOT NULL
)
CREATE INDEX points_gix ON points USING GIST(location);

ये प्रश्न जितने सरल हैं उतने ही सरल भी हैं

SELECT SUM(population)
FROM points
WHERE ST_Distance(
    location,
    ST_GeographyFromText('SRID=4326; POINT(0 0)')
) < 1000

PostgreSQL हमेशा इसके लिए Seq स्कैन का उपयोग करता है, मैंने 10000 अंकों के साथ सबसेट की कोशिश की है - अभी भी Seq स्कैन। कोई विचार?

postgis  postgresql  spatial-index  st-distance  st-dwithin 
— अन्तर्ग्रथन
स्रोत
3
आप किसी भी फ़ंक्शन का उपयोग नहीं करते हैं जो इंडेक्स का उपयोग कर सकते हैं। इसके बजाय st_dwithin का उपयोग करें। फिर फक्शन सबसे पहले एक इंडेक्स स्कैन करेगा।
— निकलैस एवेन
इस बारे में सोचें कि आपकी क्वेरी क्या कर रही है - तालिका के प्रत्येक बिंदु से एक निश्चित बिंदु तक दूरी की गणना करें - और आप समझेंगे कि कोई सूचकांक क्यों नहीं इस्तेमाल किया जा सकता है। इसके बजाय एक ऑपरेटर का उपयोग करें जो एक सूचकांक का उपयोग कर सकता है, जैसे ST_DWithin
— विंस

जवाबों:

19

ST_Distance वास्तव में सभी जोड़ियों के बीच की दूरी की गणना करता है, इसलिए, जैसे, कोई भी सूचकांक इस्तेमाल नहीं किया जा सकता है। तो आपकी क्वेरी एक अनुक्रम स्कैन करेगी और फिर उन ज्यामितीयों को चुनें जो आपके द्वारा निर्दिष्ट दूरी से कम हैं। आप ST_DWithin की तलाश कर रहे हैं , जो एक इंडेक्स का उपयोग करता है।

SELECT SUM(population) FROM points 
WHERE ST_DWithin(location, ST_GeographyFromText('SRID=4326; POINT(0 0)'), 1000);

ST_Distance परिणाम के आदेश देने के लिए अधिक उपयोगी है, अक्सर ORDER BY और / या LIMIT के साथ संयोजन में, उन प्रश्नों के साथ प्राप्त किया गया है जो एक इंडेक्स का उपयोग करते हैं।

— जॉन पॉवेल
स्रोत
1
धन्यवाद। मुझे वास्तव में प्रश्न पूछने से पहले डॉक्स पढ़ना चाहिए।
— सिनैप्स
1
वाह! धन्यवाद! आपने सिर्फ मेरी धीमी क्वेरी को 100x गुना या अधिक की तरह st_dwithin को st_distance में बदलने के कारण "त्वरित" किया। (मैं कहता हूं "त्वरित" क्योंकि यह पहली जगह में कभी नहीं होना चाहिए था मैं और अधिक सावधान रहा था)
— हेंडी इरावन
1
@HendyIrawan। आपका स्वागत है। यह एक आसान गलती है।
— जॉन पॉवेल
@ JohnPowellakaBarça मैंने एक और अनुकूलन जोड़ा (हालांकि बहुत हानिपूर्ण , मैंने अपने मामले के लिए एक उत्तर जोड़ा) लेकिन आपने मुझे सही दिशा में धन्यवाद दिया।
— हेंडी इरावन
4

जैसा कि @ JohnPowellakaBarça ने कहा कि ST_DWithin()जब आप शुद्धता चाहते हैं तब जाने का रास्ता है ।

हालांकि मेरे मामले में मैं केवल एक मोटा अनुमान चाहता हूं, इसलिए ST_DWithin()मेरी जरूरतों के लिए बहुत महंगा (क्वेरी लागत में) था। मैंने इस्तेमाल किया &&और ST_Expand(box2d)( geometryसंस्करण के साथ यह गलती नहीं ) इसके बजाय। उदाहरण:

SELECT * FROM profile
  WHERE
    address_point IS NOT NULL AND
    address_point && CAST(ST_Expand(CAST(ST_GeomFromText(:point) AS box2d), 0.5) AS geometry;

यह तुरंत स्पष्ट होगा कि हम मीटर के बजाय डिग्री के साथ काम कर रहे हैं, और एक गोलाकार में सर्कल के बजाय बाउंडिंग बॉक्स का उपयोग कर रहे हैं। मेरे उपयोग के मामले के लिए, यह 24 एमएस से घटकर सिर्फ 2 एमएस (स्थानीय रूप से एसएसडी में) हो जाता है। हालांकि समवर्ती कनेक्शन और शायद ही-उदार IOPS कोटा (100 IOPS) के साथ AWS RDS PostgreSQL में मेरे उत्पादन डेटाबेस के लिए, मूल ST_DWithin()क्वेरी बहुत IOPS खर्च करती है और 2000 से अधिक एमएस निष्पादित कर सकती है और बहुत बुरा तब होता है जब OPS कोटा कम हो जाता है।

यह हर किसी के लिए नहीं है, लेकिन अगर आप गति के लिए कुछ सटीकता का त्याग कर सकते हैं (या IOPS को बचाने के लिए), तो यह दृष्टिकोण आपके लिए हो सकता है। जैसा कि आप नीचे दिए गए क्वेरी प्लान में देख सकते हैं, फिर ST_DWithinभी Recheck Cond के अतिरिक्त Bitmap Heap Scan के अंदर एक स्थानिक फ़िल्टर की आवश्यकता होती है, जबकि &&एक बॉक्स पर ज्यामिति को फ़िल्टर की आवश्यकता नहीं होती है और केवल Recheck Cond का उपयोग करता है।

मैंने यह भी देखा कि यह IS NOT NULLमायने रखता है, इसके बिना आपको बदतर क्वेरी प्लान के साथ छोड़ दिया जाएगा। ऐसा लगता है कि जीआईएसटी सूचकांक इसके लिए "स्मार्ट पर्याप्त" नहीं है। (यदि आपका कॉलम NOT NULLमेरे मामले में NULLसक्षम है तो निश्चित रूप से इसकी आवश्यकता नहीं है )

ST_DWithin(geography, geography, 100000, FALSE)200 IOPS के साथ AWS RDS 512 MB RAM पर 20000 पंक्ति तालिका :

Aggregate  (cost=4.61..4.62 rows=1 width=8) (actual time=2011.358..2011.358 rows=1 loops=1)
  ->  Bitmap Heap Scan on matchprofile  (cost=2.83..4.61 rows=1 width=0) (actual time=1735.025..2010.635 rows=1974 loops=1)
        Recheck Cond: (((address_point IS NOT NULL) AND (address_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography)) OR ((hometown_point IS NOT NULL) AND (hometown_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography)))
        Filter: (((status)::text = 'ACTIVE'::text) AND ((gender)::text = 'MALE'::text) AND (((address_point IS NOT NULL) AND (address_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography) AND ('0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography && _st_expand(address_point, '100000'::double precision)) AND _st_dwithin(address_point, '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography, '100000'::double precision, false)) OR ((hometown_point IS NOT NULL) AND (hometown_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography) AND ('0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography && _st_expand(hometown_point, '100000'::double precision)) AND _st_dwithin(hometown_point, '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography, '100000'::double precision, false))))
        Rows Removed by Filter: 3323
        Heap Blocks: exact=7014
        ->  BitmapOr  (cost=2.83..2.83 rows=1 width=0) (actual time=1716.425..1716.425 rows=0 loops=1)
              ->  Bitmap Index Scan on ik_matchprofile_address_point  (cost=0.00..1.42 rows=1 width=0) (actual time=1167.698..1167.698 rows=16086 loops=1)
                    Index Cond: ((address_point IS NOT NULL) AND (address_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography))
              ->  Bitmap Index Scan on ik_matchprofile_hometown_point  (cost=0.00..1.42 rows=1 width=0) (actual time=548.723..548.723 rows=7846 loops=1)
                    Index Cond: ((hometown_point IS NOT NULL) AND (hometown_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography))
Planning time: 47.366 ms
Execution time: 2011.429 ms

20000 पंक्ति तालिका, &&और ST_Expand(box2d)AWS RDS 512 MB RAM पर 300 IOPS के साथ:

Aggregate  (cost=3.85..3.86 rows=1 width=8) (actual time=584.346..584.346 rows=1 loops=1)
  ->  Bitmap Heap Scan on matchprofile  (cost=2.83..3.85 rows=1 width=0) (actual time=555.048..584.083 rows=1154 loops=1)
        Recheck Cond: (((address_point IS NOT NULL) AND (address_point && '0103000020E61000000100000005000000744694F606C75A40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A819C0744694F606075B40D49AE61DA7A819C0744694F606075B40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A81DC0'::geography)) OR ((hometown_point IS NOT NULL) AND (hometown_point && '0103000020E61000000100000005000000744694F606C75A40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A819C0744694F606075B40D49AE61DA7A819C0744694F606075B40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A81DC0'::geography)))
        Filter: (((status)::text = 'ACTIVE'::text) AND ((gender)::text = 'MALE'::text))
        Rows Removed by Filter: 555
        Heap Blocks: exact=3812
        ->  BitmapOr  (cost=2.83..2.83 rows=1 width=0) (actual time=553.091..553.091 rows=0 loops=1)
              ->  Bitmap Index Scan on ik_matchprofile_address_point  (cost=0.00..1.42 rows=1 width=0) (actual time=413.074..413.074 rows=4850 loops=1)
                    Index Cond: ((address_point IS NOT NULL) AND (address_point && '0103000020E61000000100000005000000744694F606C75A40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A819C0744694F606075B40D49AE61DA7A819C0744694F606075B40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A81DC0'::geography))
              ->  Bitmap Index Scan on ik_matchprofile_hometown_point  (cost=0.00..1.42 rows=1 width=0) (actual time=140.014..140.014 rows=3100 loops=1)
                    Index Cond: ((hometown_point IS NOT NULL) AND (hometown_point && '0103000020E61000000100000005000000744694F606C75A40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A819C0744694F606075B40D49AE61DA7A819C0744694F606075B40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A81DC0'::geography))
Planning time: 0.673 ms
Execution time: 584.386 ms

फिर से सरल प्रश्न के साथ:

ST_DWithin(geography, geography, 100000, FALSE)200 IOPS के साथ AWS RDS 512 MB RAM पर 20000 पंक्ति तालिका :

Aggregate  (cost=4.60..4.61 rows=1 width=8) (actual time=36.448..36.448 rows=1 loops=1)
  ->  Bitmap Heap Scan on matchprofile  (cost=2.83..4.60 rows=1 width=0) (actual time=7.694..35.545 rows=2982 loops=1)
        Recheck Cond: (((address_point IS NOT NULL) AND (address_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography)) OR ((hometown_point IS NOT NULL) AND (hometown_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography)))
        Filter: (((address_point IS NOT NULL) AND (address_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography) AND ('0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography && _st_expand(address_point, '100000'::double precision)) AND _st_dwithin(address_point, '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography, '100000'::double precision, true)) OR ((hometown_point IS NOT NULL) AND (hometown_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography) AND ('0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography && _st_expand(hometown_point, '100000'::double precision)) AND _st_dwithin(hometown_point, '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography, '100000'::double precision, true)))
        Rows Removed by Filter: 2322
        Heap Blocks: exact=2947
        ->  BitmapOr  (cost=2.83..2.83 rows=1 width=0) (actual time=7.197..7.197 rows=0 loops=1)
              ->  Bitmap Index Scan on ik_matchprofile_address_point  (cost=0.00..1.41 rows=1 width=0) (actual time=5.265..5.265 rows=5680 loops=1)
                    Index Cond: ((address_point IS NOT NULL) AND (address_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography))
              ->  Bitmap Index Scan on ik_matchprofile_hometown_point  (cost=0.00..1.41 rows=1 width=0) (actual time=1.930..1.930 rows=2743 loops=1)
                    Index Cond: ((hometown_point IS NOT NULL) AND (hometown_point && '0101000020E6100000744694F606E75A40D49AE61DA7A81BC0'::geography))
Planning time: 0.479 ms
Execution time: 36.512 ms

20000 पंक्ति तालिका, &&और ST_Expand(box2d)AWS RDS 512 MB RAM पर 300 IOPS के साथ:

Aggregate  (cost=3.84..3.85 rows=1 width=8) (actual time=6.263..6.264 rows=1 loops=1)
  ->  Bitmap Heap Scan on matchprofile  (cost=2.83..3.84 rows=1 width=0) (actual time=4.295..5.864 rows=1711 loops=1)
        Recheck Cond: (((address_point IS NOT NULL) AND (address_point && '0103000020E61000000100000005000000744694F606C75A40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A819C0744694F606075B40D49AE61DA7A819C0744694F606075B40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A81DC0'::geography)) OR ((hometown_point IS NOT NULL) AND (hometown_point && '0103000020E61000000100000005000000744694F606C75A40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A819C0744694F606075B40D49AE61DA7A819C0744694F606075B40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A81DC0'::geography)))
        Heap Blocks: exact=1419
        ->  BitmapOr  (cost=2.83..2.83 rows=1 width=0) (actual time=4.122..4.122 rows=0 loops=1)
              ->  Bitmap Index Scan on ik_matchprofile_address_point  (cost=0.00..1.41 rows=1 width=0) (actual time=3.018..3.018 rows=1693 loops=1)
                    Index Cond: ((address_point IS NOT NULL) AND (address_point && '0103000020E61000000100000005000000744694F606C75A40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A819C0744694F606075B40D49AE61DA7A819C0744694F606075B40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A81DC0'::geography))
              ->  Bitmap Index Scan on ik_matchprofile_hometown_point  (cost=0.00..1.41 rows=1 width=0) (actual time=1.102..1.102 rows=980 loops=1)
                    Index Cond: ((hometown_point IS NOT NULL) AND (hometown_point && '0103000020E61000000100000005000000744694F606C75A40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A819C0744694F606075B40D49AE61DA7A819C0744694F606075B40D49AE61DA7A81DC0744694F606C75A40D49AE61DA7A81DC0'::geography))
Planning time: 0.399 ms
Execution time: 6.306 ms
— हेंडी इरावन
स्रोत
1
अच्छा लिखना और दिलचस्प।
— जॉन पॉवेल
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.