पहले, मेरी पिछली टिप्पणियों के बाद से मेरी प्रतिक्रिया में देरी के लिए मेरी माफी।
विषय टिप्पणियों में सामने आया कि एक पुनरावर्ती CTE (यहाँ से rCTE) का उपयोग करके पंक्तियों की कम संख्या के कारण काफी तेजी से चलता है। जबकि यह उस तरह से प्रकट हो सकता है, सत्य से आगे कुछ भी नहीं हो सकता है।
बिल्डिंग टैली और टेबल फंक्शन का निर्माण करें
इससे पहले कि हम परीक्षण करना शुरू करें, हमें उचित क्लस्टर इंडेक्स और एक इट्ज़िक बेन-गण शैली रैली समारोह के साथ एक भौतिक तालिका तालिका बनाने की आवश्यकता है। हम यह सब TempDB में भी करेंगे ताकि हम किसी की अच्छाइयों को न छोड़ें।
यहाँ टैली टेबल बनाने के लिए कोड और इट्ज़िक के अद्भुत कोड का मेरा वर्तमान उत्पादन संस्करण है।
--===== Do this in a nice, safe place that everyone has
USE tempdb
;
--===== Create/Recreate a Physical Tally Table
IF OBJECT_ID('dbo.Tally','U') IS NOT NULL
DROP TABLE dbo.Tally
;
-- Note that the ISNULL makes a NOT NULL column
SELECT TOP 1000001
N = ISNULL(ROW_NUMBER() OVER (ORDER BY (SELECT NULL))-1,0)
INTO dbo.Tally
FROM sys.all_columns ac1
CROSS JOIN sys.all_columns ac2
;
ALTER TABLE dbo.Tally
ADD CONSTRAINT PK_Tally PRIMARY KEY CLUSTERED (N)
;
--===== Create/Recreate a Tally Function
IF OBJECT_ID('dbo.fnTally','IF') IS NOT NULL
DROP FUNCTION dbo.fnTally
;
GO
CREATE FUNCTION [dbo].[fnTally]
/**********************************************************************************************************************
Purpose:
Return a column of BIGINTs from @ZeroOrOne up to and including @MaxN with a max value of 1 Trillion.
As a performance note, it takes about 00:02:10 (hh:mm:ss) to generate 1 Billion numbers to a throw-away variable.
Usage:
--===== Syntax example (Returns BIGINT)
SELECT t.N
FROM dbo.fnTally(@ZeroOrOne,@MaxN) t
;
Notes:
1. Based on Itzik Ben-Gan's cascading CTE (cCTE) method for creating a "readless" Tally Table source of BIGINTs.
Refer to the following URLs for how it works and introduction for how it replaces certain loops.
http://www.sqlservercentral.com/articles/T-SQL/62867/
http://sqlmag.com/sql-server/virtual-auxiliary-table-numbers
2. To start a sequence at 0, @ZeroOrOne must be 0 or NULL. Any other value that's convertable to the BIT data-type
will cause the sequence to start at 1.
3. If @ZeroOrOne = 1 and @MaxN = 0, no rows will be returned.
5. If @MaxN is negative or NULL, a "TOP" error will be returned.
6. @MaxN must be a positive number from >= the value of @ZeroOrOne up to and including 1 Billion. If a larger
number is used, the function will silently truncate after 1 Billion. If you actually need a sequence with
that many values, you should consider using a different tool. ;-)
7. There will be a substantial reduction in performance if "N" is sorted in descending order. If a descending
sort is required, use code similar to the following. Performance will decrease by about 27% but it's still
very fast especially compared with just doing a simple descending sort on "N", which is about 20 times slower.
If @ZeroOrOne is a 0, in this case, remove the "+1" from the code.
DECLARE @MaxN BIGINT;
SELECT @MaxN = 1000;
SELECT DescendingN = @MaxN-N+1
FROM dbo.fnTally(1,@MaxN);
8. There is no performance penalty for sorting "N" in ascending order because the output is explicity sorted by
ROW_NUMBER() OVER (ORDER BY (SELECT NULL))
Revision History:
Rev 00 - Unknown - Jeff Moden
- Initial creation with error handling for @MaxN.
Rev 01 - 09 Feb 2013 - Jeff Moden
- Modified to start at 0 or 1.
Rev 02 - 16 May 2013 - Jeff Moden
- Removed error handling for @MaxN because of exceptional cases.
Rev 03 - 22 Apr 2015 - Jeff Moden
- Modify to handle 1 Trillion rows for experimental purposes.
**********************************************************************************************************************/
(@ZeroOrOne BIT, @MaxN BIGINT)
RETURNS TABLE WITH SCHEMABINDING AS
RETURN WITH
E1(N) AS (SELECT 1 UNION ALL SELECT 1 UNION ALL SELECT 1 UNION ALL
SELECT 1 UNION ALL SELECT 1 UNION ALL SELECT 1 UNION ALL
SELECT 1 UNION ALL SELECT 1 UNION ALL SELECT 1 UNION ALL
SELECT 1) --10E1 or 10 rows
, E4(N) AS (SELECT 1 FROM E1 a, E1 b, E1 c, E1 d) --10E4 or 10 Thousand rows
,E12(N) AS (SELECT 1 FROM E4 a, E4 b, E4 c) --10E12 or 1 Trillion rows
SELECT N = 0 WHERE ISNULL(@ZeroOrOne,0)= 0 --Conditionally start at 0.
UNION ALL
SELECT TOP(@MaxN) N = ROW_NUMBER() OVER (ORDER BY (SELECT NULL)) FROM E12 -- Values from 1 to @MaxN
;
GO
वैसे ... ध्यान दें कि एक लाख और एक पंक्ति टैली टेबल का निर्माण किया और एक या दूसरे के बारे में एक संकुल सूचकांक जोड़ा। एक आरसीटीई के साथ प्रयास करें और देखें कि इसमें कितना समय लगता है! ;-)
निर्माण कुछ टेस्ट डेटा
हमें कुछ परीक्षण डेटा भी चाहिए। हां, मैं मानता हूं कि हम जिन सभी कार्यों का परीक्षण करने जा रहे हैं, जिनमें आरसीटीई भी शामिल है, एक मिलीसेकंड में या केवल 12 पंक्तियों के लिए चलता है, लेकिन यह जाल है कि बहुत सारे लोग गिर जाते हैं। हम बाद में उस जाल के बारे में अधिक बात करेंगे, लेकिन अब के लिए, प्रत्येक फ़ंक्शन को 40,000 बार कॉल करने की अनुमति देता है, जो कि मेरी दुकान में 8 घंटे के दिन में कितनी बार कुछ कार्यों को बुलाया जाता है। ज़रा सोचिए कि बड़े ऑनलाइन रिटेल व्यवसाय में इस तरह के कार्य कितनी बार कहे जा सकते हैं।
इसलिए, यहां यादृच्छिक तिथियों के साथ 40,000 पंक्तियों का निर्माण करने के लिए कोड है, प्रत्येक में केवल ट्रैकिंग उद्देश्यों के लिए एक पंक्ति संख्या है। मैं समय पूरे घंटे बनाने के लिए समय नहीं लिया क्योंकि यह यहाँ कोई फर्क नहीं पड़ता।
--===== Do this in a nice, safe place that everyone has
USE tempdb
;
--===== Create/Recreate a Test Date table
IF OBJECT_ID('dbo.TestDate','U') IS NOT NULL
DROP TABLE dbo.TestDate
;
DECLARE @StartDate DATETIME
,@EndDate DATETIME
,@Rows INT
;
SELECT @StartDate = '2010' --Inclusive
,@EndDate = '2020' --Exclusive
,@Rows = 40000 --Enough to simulate an 8 hour day where I work
;
SELECT RowNum = IDENTITY(INT,1,1)
,SomeDateTime = RAND(CHECKSUM(NEWID()))*DATEDIFF(dd,@StartDate,@EndDate)+@StartDate
INTO dbo.TestDate
FROM dbo.fnTally(1,@Rows)
;
12 रनों के बाद करने के लिए कुछ संकलनों का निर्माण
आगे, मैंने rCTE कोड को एक फ़ंक्शन में परिवर्तित किया और 3 अन्य फ़ंक्शन बनाए। वे सभी उच्च प्रदर्शन iTVFs (इनलाइन टेबल वेल्यूड फंक्शंस) के रूप में बनाए गए हैं। आप हमेशा बता सकते हैं क्योंकि iTVFs में कभी भी BEGIN नहीं होता है जैसे कि Scalar या mTVFs (मल्टी स्टेटमेंट टेबल वैलिड फंक्शन्स) करते हैं।
यहाँ उन 4 फ़ंक्शंस को बनाने के लिए कोड है ... मैंने उनका नाम उस पद्धति के नाम पर रखा है जो वे उपयोग करते हैं और न कि वे क्या करते हैं ताकि उन्हें पहचानना आसान हो सके।
--===== CREATE THE iTVFs
--===== Do this in a nice, safe place that everyone has
USE tempdb
;
-----------------------------------------------------------------------------------------
IF OBJECT_ID('dbo.OriginalrCTE','IF') IS NOT NULL
DROP FUNCTION dbo.OriginalrCTE
;
GO
CREATE FUNCTION dbo.OriginalrCTE
(@Date DATETIME)
RETURNS TABLE WITH SCHEMABINDING AS
RETURN
WITH Dates AS
(
SELECT DATEPART(HOUR,DATEADD(HOUR,-1,@Date)) [Hour],
DATEADD(HOUR,-1,@Date) [Date], 1 Num
UNION ALL
SELECT DATEPART(HOUR,DATEADD(HOUR,-1,[Date])),
DATEADD(HOUR,-1,[Date]), Num+1
FROM Dates
WHERE Num <= 11
)
SELECT [Hour], [Date]
FROM Dates
GO
-----------------------------------------------------------------------------------------
IF OBJECT_ID('dbo.MicroTally','IF') IS NOT NULL
DROP FUNCTION dbo.MicroTally
;
GO
CREATE FUNCTION dbo.MicroTally
(@Date DATETIME)
RETURNS TABLE WITH SCHEMABINDING AS
RETURN
SELECT [Hour] = DATEPART(HOUR,DATEADD(HOUR,t.N,@Date))
,[DATE] = DATEADD(HOUR,t.N,@Date)
FROM (VALUES (-1),(-2),(-3),(-4),(-5),(-6),(-7),(-8),(-9),(-10),(-11),(-12))t(N)
;
GO
-----------------------------------------------------------------------------------------
IF OBJECT_ID('dbo.PhysicalTally','IF') IS NOT NULL
DROP FUNCTION dbo.PhysicalTally
;
GO
CREATE FUNCTION dbo.PhysicalTally
(@Date DATETIME)
RETURNS TABLE WITH SCHEMABINDING AS
RETURN
SELECT [Hour] = DATEPART(HOUR,DATEADD(HOUR,-t.N,@Date))
,[DATE] = DATEADD(HOUR,-t.N,@Date)
FROM dbo.Tally t
WHERE N BETWEEN 1 AND 12
;
GO
-----------------------------------------------------------------------------------------
IF OBJECT_ID('dbo.TallyFunction','IF') IS NOT NULL
DROP FUNCTION dbo.TallyFunction
;
GO
CREATE FUNCTION dbo.TallyFunction
(@Date DATETIME)
RETURNS TABLE WITH SCHEMABINDING AS
RETURN
SELECT [Hour] = DATEPART(HOUR,DATEADD(HOUR,-t.N,@Date))
,[DATE] = DATEADD(HOUR,-t.N,@Date)
FROM dbo.fnTally(1,12) t
;
GO
त्योहारों को मनाने के लिए टेस्ट का उपयोग करें
अंतिम लेकिन कम से कम, हमें एक परीक्षण दोहन की आवश्यकता है। मैं बेसलाइन जांच करता हूं और फिर प्रत्येक फ़ंक्शन को एक समान तरीके से परीक्षण करता हूं।
यहाँ परीक्षण दोहन के लिए कोड है ...
PRINT '--========== Baseline Select =================================';
DECLARE @Hour INT, @Date DATETIME
;
SET STATISTICS TIME,IO ON;
SELECT @Hour = RowNum
,@Date = SomeDateTime
FROM dbo.TestDate
CROSS APPLY dbo.fnTally(1,12);
SET STATISTICS TIME,IO OFF;
GO
PRINT '--========== Orginal Recursive CTE ===========================';
DECLARE @Hour INT, @Date DATETIME
;
SET STATISTICS TIME,IO ON;
SELECT @Hour = fn.[Hour]
,@Date = fn.[Date]
FROM dbo.TestDate td
CROSS APPLY dbo.OriginalrCTE(td.SomeDateTime) fn;
SET STATISTICS TIME,IO OFF;
GO
PRINT '--========== Dedicated Micro-Tally Table =====================';
DECLARE @Hour INT, @Date DATETIME
;
SET STATISTICS TIME,IO ON;
SELECT @Hour = fn.[Hour]
,@Date = fn.[Date]
FROM dbo.TestDate td
CROSS APPLY dbo.MicroTally(td.SomeDateTime) fn;
SET STATISTICS TIME,IO OFF;
GO
PRINT'--========== Physical Tally Table =============================';
DECLARE @Hour INT, @Date DATETIME
;
SET STATISTICS TIME,IO ON;
SELECT @Hour = fn.[Hour]
,@Date = fn.[Date]
FROM dbo.TestDate td
CROSS APPLY dbo.PhysicalTally(td.SomeDateTime) fn;
SET STATISTICS TIME,IO OFF;
GO
PRINT'--========== Tally Function ===================================';
DECLARE @Hour INT, @Date DATETIME
;
SET STATISTICS TIME,IO ON;
SELECT @Hour = fn.[Hour]
,@Date = fn.[Date]
FROM dbo.TestDate td
CROSS APPLY dbo.TallyFunction(td.SomeDateTime) fn;
SET STATISTICS TIME,IO OFF;
GO
ऊपर दिए गए टेस्ट हार्नेस में एक बात ध्यान देने वाली है कि मैं सभी आउटपुट को "थ्रोअवे" वेरिएबल्स में अलग करता हूं। यह डिस्क या स्क्रीन तिरछा परिणाम के लिए किसी भी आउटपुट के बिना प्रदर्शन माप को यथासंभव शुद्ध रखने की कोशिश करना है।
सेट सांख्यिकी पर चेतावनी का एक शब्द
इसके अलावा, टेस्टर के लिए सावधानी बरतने का एक शब्द ... आप स्लैट या mTVF फ़ंक्शंस का परीक्षण करते समय SET स्टेटिक्स का उपयोग न करें। यह केवल iTVF फ़ंक्शन पर सुरक्षित रूप से उपयोग किया जा सकता है जैसे कि इस परीक्षण में। सेट स्टैटिस्टिक्स SCALAR फ़ंक्शन को सैकड़ों बार धीमी गति से चलाने के लिए सिद्ध किया गया है, क्योंकि वे वास्तव में इसके बिना करते हैं। हाँ, मैं एक और पवनचक्की को झुकाव देने की कोशिश कर रहा हूँ, लेकिन यह एक पूरी 'न्यूटेर आर्टिकल-लेंथ पोस्ट' होगी और मेरे पास इसके लिए समय नहीं है। मेरे पास SQLServerCentral.com पर एक लेख है जो सभी के बारे में बात कर रहा है, लेकिन यहां लिंक पोस्ट करने में कोई समझदारी नहीं है क्योंकि किसी को इसके बारे में आकार से बाहर झुकना होगा।
परीक्षण के परिणाम
इसलिए, यहां परीक्षा परिणाम हैं जब मैं अपने छोटे i5 लैपटॉप पर 6GB रैम के साथ टेस्ट हार्नेस चलाता हूं।
--========== Baseline Select =================================
Table 'Worktable'. Scan count 1, logical reads 82309, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
Table 'TestDate'. Scan count 1, logical reads 105, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
SQL Server Execution Times:
CPU time = 203 ms, elapsed time = 206 ms.
--========== Orginal Recursive CTE ===========================
Table 'Worktable'. Scan count 40001, logical reads 2960000, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
Table 'TestDate'. Scan count 1, logical reads 105, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
SQL Server Execution Times:
CPU time = 4258 ms, elapsed time = 4415 ms.
--========== Dedicated Micro-Tally Table =====================
Table 'Worktable'. Scan count 1, logical reads 81989, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
Table 'TestDate'. Scan count 1, logical reads 105, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
SQL Server Execution Times:
CPU time = 234 ms, elapsed time = 235 ms.
--========== Physical Tally Table =============================
Table 'Worktable'. Scan count 1, logical reads 81989, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
Table 'TestDate'. Scan count 1, logical reads 105, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
Table 'Tally'. Scan count 1, logical reads 3, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
SQL Server Execution Times:
CPU time = 250 ms, elapsed time = 252 ms.
--========== Tally Function ===================================
Table 'Worktable'. Scan count 1, logical reads 81989, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
Table 'TestDate'. Scan count 1, logical reads 105, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
SQL Server Execution Times:
CPU time = 250 ms, elapsed time = 253 ms.
"बेसिकल सिलेक्ट", जो केवल डेटा का चयन करता है (रिटर्न की समान मात्रा का अनुकरण करने के लिए प्रत्येक पंक्ति 12 बार बनाई गई), एक सेकंड के लगभग 1/5 वें हिस्से में आई। सब कुछ दूसरे के एक चौथाई हिस्से में आया। खैर, उस खूनी rcTE फ़ंक्शन को छोड़कर सब कुछ। इसमें 4 और 1/4 सेकंड या 16 गुना लंबा (1,600% धीमा) लगा।
और तार्किक रीड्स (मेमोरी आईओ) को देखें ... आरसीटीई ने 2,960,000 (लगभग 3 मिलियन रीड) का सेवन किया, जबकि अन्य कार्यों में केवल 82,100 की खपत हुई। इसका मतलब है कि आरसीटीई ने अन्य कार्यों की तुलना में 34.3 गुना अधिक मेमोरी आईओ का उपभोग किया।
मौज मस्ती करते हुए
आइए संक्षेप में बताते हैं। इस "छोटी" 12 पंक्ति चीज़ को करने के लिए rCTE विधि में 16 TIMES (1,600%) अधिक CPU (और अवधि) और 34.3 TIMES (3,430%) अधिक मेमोरी IO का उपयोग अन्य कार्यों की तुलना में किया गया।
हे ... मुझे पता है कि तुम क्या सोच रहे हो। "बिग डील! यह सिर्फ एक समारोह है।"
हाँ, सहमत हैं, लेकिन आपके पास कितने अन्य कार्य हैं? आपके पास कार्यों के बाहर कितने अन्य स्थान हैं? और क्या आपके पास उनमें से कोई है जो प्रत्येक रन के लिए केवल 12 से अधिक पंक्तियों के साथ काम करता है? और, क्या कोई मौका है कि एक विधि के लिए किसी व्यक्ति को उस आरसीटीई कोड को कॉपी करने के लिए कुछ अधिक बड़ा हो?
ठीक है, कुंद होने का समय। यह लोगों के लिए बिल्कुल सही समझ में नहीं आता है कि केवल कथित पंक्ति गणना या उपयोग के कारण प्रदर्शन को चुनौती देने वाले कोड को सही ठहराना है। सिवाय इसके कि जब आप MPP बॉक्स खरीदते हैं तो शायद लाखों डॉलर (ऐसी मशीन पर काम करने के लिए इसे दोबारा लिखने के कोड का खर्च नहीं बताया जाए), तो आप ऐसी मशीन नहीं खरीद सकते जो आपके कोड को 16 गुना तेजी से चलाए (SSD की जीत) 'या तो यह मत करो ... यह सब सामान उच्च गति मेमोरी में था जब हमने इसका परीक्षण किया)। प्रदर्शन कोड में है। अच्छा प्रदर्शन अच्छे कोड में है।
क्या आप कल्पना कर सकते हैं कि आपके सभी कोड 16 बार "ठीक" चले?
कभी भी खराब या प्रदर्शन चुनौती वाले कोड को कम रौकेट या कम उपयोग पर उचित न करें। यदि आप ऐसा करते हैं, तो आपको अपने सीपीयू को रखने के लिए विंडमिल्स में से एक को उधार लेना पड़ सकता है। ;-)
"तार" पर एक शब्द
हाँ मै सह्मत हूँ। शब्दार्थ, टैली टेबल में संख्याएँ होती हैं, न कि "लम्बे"। इस विषय पर मेरे मूल लेख में (यह तकनीक पर मूल लेख नहीं था, लेकिन यह उस पर मेरा पहला था), मैंने इसे "टैली" कहा, क्योंकि इसमें क्या शामिल है, लेकिन इसकी वजह से यह नहीं है ... यह लूपिंग के बजाय "काउंट" करने के लिए और "टैली" का उपयोग कुछ "काउंट" करने के लिए किया जाता है। ;-) इसे आप क्या कहेंगे ... नंबर टेबल, टैली टेबल, सीक्वेंस टेबल, जो भी हो। मुझे परवाह नहीं है। मेरे लिए, "टैली" अधिक अर्थ पूर्ण है और, एक अच्छा आलसी डीबीए होने के नाते, इसमें 7 के बजाय केवल 5 अक्षर (2 समान) हैं और अधिकांश लोगों के लिए कहना आसान है। यह "विलक्षण" भी है, जो तालिकाओं के लिए मेरे नामकरण सम्मेलन का अनुसरण करता है। ;-) यह ' यह भी है कि क्या लेख है कि 60 से यह कहा जाता है एक किताब से एक पृष्ठ शामिल थे। मैं हमेशा इसे "टैली टेबल" के रूप में संदर्भित करता हूं और आपको अभी भी पता चल जाएगा कि मैं या कोई और क्या मतलब है। मैं प्लेग की तरह हंगेरियन नोटेशन से भी बचता हूं, लेकिन फ़ंक्शन को "fnTally" कहा जाता है ताकि मैं कह सकूं "वेल, अगर आपने मेरे द्वारा दिखाए गए eff-en Tally फंक्शन का उपयोग किया है, तो आपके पास प्रदर्शन समस्या नहीं होगी" इसके बिना वास्तव में एक केपिटल HR का उल्लंघन ;-) इसके बिना वास्तव में मानव संसाधन उल्लंघन हो रहा है। ;-) इसके बिना वास्तव में मानव संसाधन उल्लंघन हो रहा है। ;-)
मैं जिस चीज के बारे में अधिक चिंतित हूं, लोग प्रदर्शन आरसीटीई और छिपे हुए आरबीएआर के अन्य रूपों जैसी चीजों का सहारा लेने के बजाय इसे ठीक से उपयोग करना सीख रहे हैं।