हम एक ETL प्रक्रिया कर रहे हैं। जब सब कहा जाता है और किया जाता है तो तालिकाओं का एक गुच्छा होता है जो समान होना चाहिए। यह सत्यापित करने का सबसे तेज़ तरीका क्या है कि वे टेबल (दो अलग-अलग सर्वरों पर) वास्तव में समान हैं। मैं स्कीमा और डेटा दोनों बात कर रहा हूं।
क्या मैं मेज पर एक हैश कर सकता हूं जैसे कि मैं एक व्यक्ति फ़ाइल या फ़ाइल समूह पर एक दूसरे से तुलना करने में सक्षम होऊंगा। हमारे पास रेड-गेट डेटा की तुलना है, लेकिन चूंकि तालिका में प्रश्न में लाखों पंक्तियाँ हैं, जिनमें से प्रत्येक में मुझे कुछ अधिक अच्छा प्रदर्शन करना है।
एक दृष्टिकोण जो मुझे इंटिग्रेट करता है वह है यूनियन स्टेटमेंट का यह रचनात्मक उपयोग । लेकिन, यदि संभव हो तो थोड़ा और आगे हैश विचार तलाशना चाहूंगा।
सबसे पहले अद्यतन
किसी भी भविष्य के लिए ... यहां सटीक दृष्टिकोण है जिसे मैंने लेना शुरू कर दिया है। यह इतनी अच्छी तरह से काम कर रहा है कि हम इसे प्रत्येक डेटाबेस में हर मेज पर कर रहे हैं। मुझे सही दिशा में इंगित करने के लिए नीचे दिए गए उत्तर के लिए धन्यवाद।
CREATE PROCEDURE [dbo].[usp_DatabaseValidation]
@TableName varchar(50)
AS
BEGIN
SET NOCOUNT ON;
-- parameter = if no table name was passed do them all, otherwise just check the one
-- create a temp table that lists all tables in target database
CREATE TABLE #ChkSumTargetTables ([fullname] varchar(250), [name] varchar(50), chksum int);
INSERT INTO #ChkSumTargetTables ([fullname], [name], [chksum])
SELECT DISTINCT
'[MyDatabase].[' + S.name + '].['
+ T.name + ']' AS [fullname],
T.name AS [name],
0 AS [chksum]
FROM MyDatabase.sys.tables T
INNER JOIN MyDatabase.sys.schemas S ON T.schema_id = S.schema_id
WHERE
T.name like IsNull(@TableName,'%');
-- create a temp table that lists all tables in source database
CREATE TABLE #ChkSumSourceTables ([fullname] varchar(250), [name] varchar(50), chksum int)
INSERT INTO #ChkSumSourceTables ([fullname], [name], [chksum])
SELECT DISTINCT
'[MyLinkedServer].[MyDatabase].[' + S.name + '].['
+ T.name + ']' AS [fullname],
T.name AS [name],
0 AS [chksum]
FROM [MyLinkedServer].[MyDatabase].sys.tables T
INNER JOIN [MyLinkedServer].[MyDatabase].sys.schemas S ON
T.schema_id = S.schema_id
WHERE
T.name like IsNull(@TableName,'%');;
-- build a dynamic sql statement to populate temp tables with the checksums of each table
DECLARE @TargetStmt VARCHAR(MAX)
SELECT @TargetStmt = COALESCE(@TargetStmt + ';', '')
+ 'UPDATE #ChkSumTargetTables SET [chksum] = (SELECT CHECKSUM_AGG(BINARY_CHECKSUM(*)) FROM '
+ T.FullName + ') WHERE [name] = ''' + T.Name + ''''
FROM #ChkSumTargetTables T
SELECT @TargetStmt
DECLARE @SourceStmt VARCHAR(MAX)
SELECT @SourceStmt = COALESCE(@SourceStmt + ';', '')
+ 'UPDATE #ChkSumSourceTables SET [chksum] = (SELECT CHECKSUM_AGG(BINARY_CHECKSUM(*)) FROM '
+ S.FullName + ') WHERE [name] = ''' + S.Name + ''''
FROM #ChkSumSourceTables S
-- execute dynamic statements - populate temp tables with checksums
EXEC (@TargetStmt);
EXEC (@SourceStmt);
--compare the two databases to find any checksums that are different
SELECT TT.FullName AS [TABLES WHOSE CHECKSUM DOES NOT MATCH]
FROM #ChkSumTargetTables TT
LEFT JOIN #ChkSumSourceTables ST ON TT.Name = ST.Name
WHERE IsNull(ST.chksum,0) <> IsNull(TT.chksum,0)
--drop the temp tables from the tempdb
DROP TABLE #ChkSumTargetTables;
DROP TABLE #ChkSumSourceTables;
END