इसलिए, कुछ शोध के बाद हमने डेटा वेयरहाउस को सौंपने से पहले SQL साइड पर ऐसा करने का निर्णय लिया। लेकिन हम इसे बहुत बेहतर तरीके से ले रहे हैं (हमारी जरूरतों और मुखौटा कैसे काम करता है इसकी नई समझ के आधार पर)।
हमें इस क्वेरी के साथ कॉलम के नाम और उनके क्रमिक पदों की एक सूची मिलती है। वापसी एक XML प्रारूप में वापस आती है ताकि हम SQL CLR से गुजर सकें।
DECLARE @colListXML varchar(max);
SET @colListXML = (SELECT column_name, column_ordinal
FROM cdc.captured_columns
INNER JOIN cdc.change_tables
ON captured_columns.[object_id] = change_tables.[object_id]
WHERE capture_instance = 'dbo_OurTableName'
FOR XML Auto);
फिर हम उस XML ब्लॉक को एक चर के रूप में और मुखौटा क्षेत्र को एक CLR फ़ंक्शन के रूप में पास करते हैं जो स्तंभों के अल्पविराम वाले स्ट्रिंग को लौटाता है जो _ $ update_mask बाइनरी फ़ील्ड के अनुसार बदल जाता है। यह clr फ़ंक्शन xml सूची में प्रत्येक कॉलम के लिए बिट बिट में बदलाव के लिए मुखौटा क्षेत्र से पूछताछ करता है और फिर संबंधित ऑर्डिनल से इसका नाम देता है।
SELECT cdc.udf_clr_ChangedColumns(@colListXML,
CAST(__$update_mask AS VARCHAR(MAX))) AS changed
FROM cdc.dbo_OurCaptureTableName
WHERE NOT __$update_mask IS NULL;
C # clr कोड इस तरह दिखता है: (CDCUtilities नामक एक असेंबली में संकलित)
using System;
using System.Data;
using System.Data.SqlClient;
using System.Data.SqlTypes;
using Microsoft.SqlServer.Server;
public partial class UserDefinedFunctions
{
[Microsoft.SqlServer.Server.SqlFunction]
public static SqlString udf_clr_cdcChangedColumns(string columnListXML, string updateMaskString)
{
/* xml of column ordinals shall be formatted as follows:
<cdc.captured_columns column_name="Column1" column_ordinal="1" />
<cdc.captured_columns column_name="Column2" column_ordinal="2" />
*/
System.Text.ASCIIEncoding encoding=new System.Text.ASCIIEncoding();
byte[] updateMask = encoding.GetBytes(updateMaskString);
string columnList = "";
System.Xml.XmlDocument colList = new System.Xml.XmlDocument();
colList.LoadXml("<columns>" + columnListXML + "</columns>"); /* generate xml with root node */
for (int i = 0; i < colList["columns"].ChildNodes.Count; i++)
{
if (columnChanged(updateMask, int.Parse(colList["columns"].ChildNodes[i].Attributes["column_ordinal"].Value)))
{
columnList += colList["columns"].ChildNodes[i].Attributes["column_name"].Value + ",";
}
}
if (columnList.LastIndexOf(',') > 0)
{
columnList = columnList.Remove(columnList.LastIndexOf(',')); /* get rid of trailing comma */
}
return columnList; /* return the comma seperated list of columns that changed */
}
private static bool columnChanged(byte[] updateMask, int colOrdinal)
{
unchecked
{
byte relevantByte = updateMask[(updateMask.Length - 1) - ((colOrdinal - 1) / 8)];
int bitMask = 1 << ((colOrdinal - 1) % 8);
var hasChanged = (relevantByte & bitMask) != 0;
return hasChanged;
}
}
}
और इस तरह सीएलआर को कार्य:
CREATE FUNCTION [cdc].[udf_clr_ChangedColumns]
(@columnListXML [nvarchar](max), @updateMask [nvarchar](max))
RETURNS [nvarchar](max) WITH EXECUTE AS CALLER
AS
EXTERNAL NAME [CDCUtilities].[UserDefinedFunctions].[udf_clr_cdcChangedColumns]
हम फिर इस कॉलम सूची को रसेट में जोड़ते हैं और विश्लेषण के लिए डेटा वेयरहाउस में भेज देते हैं। क्वेरी और clr का उपयोग करके हम प्रति परिवर्तन प्रति पंक्ति दो फ़ंक्शन कॉल का उपयोग करने से बचते हैं। हम अपने परिवर्तन कैप्चर उदाहरण के लिए अनुकूलित परिणामों के साथ मांस को सही छोड़ सकते हैं।
जॉन सीगल द्वारा सुझाई गई इस स्टैकओवरफ्लो पोस्ट के लिए धन्यवाद जिसमें मुखौटा की व्याख्या की गई थी।
इस दृष्टिकोण के साथ हमारे अनुभव में हम 3 सेकंड के तहत 10k cdc पंक्तियों से सभी परिवर्तित स्तंभों की एक सूची प्राप्त करने में सक्षम हैं।