मेरे पास पोस्टग्रेज में एक मेज है जिसमें लाखों पंक्तियों के जोड़े हैं। मैंने इंटरनेट पर जाँच की है और मैंने निम्नलिखित पाया है
SELECT myid FROM mytable ORDER BY RANDOM() LIMIT 1;
यह काम करता है, लेकिन यह वास्तव में धीमा है ... क्या उस तालिका को बनाने का एक और तरीका है, या सभी तालिका को पढ़े बिना एक यादृच्छिक पंक्ति का चयन करने का एक सीधा तरीका है? वैसे 'मायिड' एक पूर्णांक है, लेकिन यह एक खाली क्षेत्र हो सकता है।
जवाबों:
आप के OFFSETरूप में के साथ प्रयोग करना चाहते हो सकता है
SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;
Nमें पंक्तियों की संख्या है mytable। आपको पहले SELECT COUNT(*)मूल्य का पता लगाने के लिए एक करने की आवश्यकता हो सकती है N।
अपडेट (एंटनी हैचकिंस द्वारा)
आपको floorयहाँ उपयोग करना चाहिए :
SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;
2 पंक्तियों की एक तालिका पर विचार करें; random()*Nउत्पन्न करता है 0 <= x < 2और उदाहरण के SELECT myid FROM mytable OFFSET 1.7 LIMIT 1;लिए निकटतम int के लिए निहित गोलाई के कारण 0 पंक्तियाँ देता है।
SELECT COUNT(*)? मेरा मतलब है कि तालिका में सभी मूल्यों का उपयोग न करें, लेकिन उनमें से केवल एक हिस्सा है?
EXPLAIN SELECT ...एन के विभिन्न मूल्यों के साथ उपयोग करना क्वेरी के लिए समान लागत देता है, फिर मुझे लगता है कि एन के अधिकतम मूल्य के लिए जाना बेहतर है।
PostgreSQL 9.5 ने बहुत तेज़ नमूना चयन के लिए एक नया दृष्टिकोण पेश किया: TABLESAMPLE
वाक्य-विन्यास है
SELECT * FROM my_table TABLESAMPLE BERNOULLI(percentage);
SELECT * FROM my_table TABLESAMPLE SYSTEM(percentage);
यह इष्टतम समाधान नहीं है यदि आप केवल एक पंक्ति को चुनना चाहते हैं, क्योंकि आपको सटीक प्रतिशत की गणना करने के लिए तालिका के COUNT को जानना होगा।
धीमी गति से बचने के लिए और 1 पंक्ति से लेकर अरबों पंक्तियों तक की तालिकाओं के लिए तेज तालिका का उपयोग करें, आप यह कर सकते हैं:
SELECT * FROM my_table TABLESAMPLE SYSTEM(0.000001) LIMIT 1;
-- if you got no result:
SELECT * FROM my_table TABLESAMPLE SYSTEM(0.00001) LIMIT 1;
-- if you got no result:
SELECT * FROM my_table TABLESAMPLE SYSTEM(0.0001) LIMIT 1;
-- if you got no result:
SELECT * FROM my_table TABLESAMPLE SYSTEM(0.001) LIMIT 1;
...
यह इतना सुंदर नहीं लग सकता है, लेकिन शायद किसी भी अन्य उत्तर की तुलना में तेज है।
यह तय करने के लिए कि क्या आप बर्नोली ओडर सिस्टम का उपयोग करना चाहते हैं, http://blog.2ndquadrant.com/tablesample-in-postgresql-9-5-2/ पर अंतर के बारे में पढ़ें
SELECT * FROM my_table TABLESAMPLE SYSTEM(SELECT 1/COUNT(*) FROM my_table) LIMIT 1;?
SELECT reltuples FROM pg_class WHERE relname = 'my_table'गणना अनुमान के लिए उपयोग करें ।
मैंने एक सबकुछ के साथ यह कोशिश की और यह ठीक काम कर गया। ऑफसेट, कम से कम Postgresql v8.4.4 में ठीक काम करता है।
select * from mytable offset random() * (select count(*) from mytable) limit 1 ;
आपको उपयोग करने की आवश्यकता है floor:
SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;
random()*N0 <= x <2 उत्पन्न करता है और उदाहरण के SELECT myid FROM mytable OFFSET 1.7 LIMIT 1;लिए निकटतम int के लिए निहित गोलाई के कारण 0 पंक्तियाँ देता है।
order by random(), लगभग 3*O(N) < O(NlogN)- वास्तविक जीवन के आंकड़े सूचकांकों के कारण थोड़े अलग होंगे।
WHERE myid NOT IN (1st-myid)और WHERE myid NOT IN (1st-myid, 2nd-myid)नहीं होगा काम के बाद से निर्णय OFFSET द्वारा किया जाता है। हम्म् ... मुझे लगता है कि मैं दूसरे और तीसरे चयन में 1 और 2 से एन को कम कर सकता हूं।
floor() ? क्या लाभ प्रदान करता है?
कुछ अलग विकल्पों के लिए इस लिंक को देखें। http://www.depesz.com/index.php/2007/09/16/my-thoughts-on-getting-random-row/
अपडेट करें: (A.Hatchkins)
(बहुत) लंबे लेख का सारांश इस प्रकार है।
लेखक चार दृष्टिकोणों को सूचीबद्ध करता है:
1) ORDER BY random() LIMIT 1; - धीमा
2) ORDER BY id where id>=random()*N LIMIT 1- अगर कोई अंतराल हो तो नॉनफॉर्म
3) यादृच्छिक कॉलम - अब और फिर हर अपडेट किए जाने की आवश्यकता है
4) कस्टम यादृच्छिक कुल - चालाक विधि, धीमी हो सकती है: यादृच्छिक () एन बार उत्पन्न करने की आवश्यकता है
और विधि # 2 का उपयोग करके सुधार करने का सुझाव देता है
5) ORDER BY id where id=random()*N LIMIT 1
यदि परिणाम खाली है, तो बाद की आवश्यकताओं के साथ।
tsm_system_rowsविस्तार का उपयोग करने के लिए यादृच्छिक पंक्ति लाने का सबसे आसान और तेज़ तरीका है :
CREATE EXTENSION IF NOT EXISTS tsm_system_rows;
तब आप इच्छित पंक्तियों की सही संख्या का चयन कर सकते हैं:
SELECT myid FROM mytable TABLESAMPLE SYSTEM_ROWS(1);
यह PostgreSQL 9.5 और बाद में उपलब्ध है।
देखें: https://www.postgresql.org/docs/current/static/tsm-system-rows.html
ORDER BY random() LIMIT 1;पर्याप्त उपवास होना चाहिए।
मैं बिना किसी बहुत तेजी से समाधान के साथ आया हूं TABLESAMPLE। से बहुत तेज OFFSET random()*N LIMIT 1। इसके लिए टेबल काउंट की भी आवश्यकता नहीं होती है।
उदाहरण के लिए, यादृच्छिक लेकिन पूर्वानुमानित डेटा के साथ एक अभिव्यक्ति सूचकांक बनाने का विचार है md5(primary key)।
यहाँ 1M पंक्तियों के नमूने का परीक्षण किया गया है:
create table randtest (id serial primary key, data int not null);
insert into randtest (data) select (random()*1000000)::int from generate_series(1,1000000);
create index randtest_md5_id_idx on randtest (md5(id::text));
explain analyze
select * from randtest where md5(id::text)>md5(random()::text)
order by md5(id::text) limit 1;
परिणाम:
Limit (cost=0.42..0.68 rows=1 width=8) (actual time=6.219..6.220 rows=1 loops=1)
-> Index Scan using randtest_md5_id_idx on randtest (cost=0.42..84040.42 rows=333333 width=8) (actual time=6.217..6.217 rows=1 loops=1)
Filter: (md5((id)::text) > md5((random())::text))
Rows Removed by Filter: 1831
Total runtime: 6.245 ms
यह क्वेरी कभी-कभी (लगभग 1 / Number_of_rows संभावना के साथ) 0 पंक्तियाँ लौटाती है, इसलिए इसे जाँचने और पुन: चलाने की आवश्यकता होती है। इसके अलावा संभाव्यताएं समान नहीं हैं - कुछ पंक्तियाँ दूसरों की तुलना में अधिक संभावित हैं।
तुलना के लिए:
explain analyze SELECT id FROM randtest OFFSET random()*1000000 LIMIT 1;
परिणाम व्यापक रूप से भिन्न होते हैं, लेकिन बहुत खराब हो सकते हैं:
Limit (cost=1442.50..1442.51 rows=1 width=4) (actual time=179.183..179.184 rows=1 loops=1)
-> Seq Scan on randtest (cost=0.00..14425.00 rows=1000000 width=4) (actual time=0.016..134.835 rows=915702 loops=1)
Total runtime: 179.211 ms
(3 rows)