निम्नलिखित अनुमान स्कीमा और उदाहरण डेटा के लिए
CREATE TABLE dbo.RecipeIngredients
(
RecipeId INT NOT NULL ,
IngredientID INT NOT NULL ,
Quantity INT NOT NULL ,
UOM INT NOT NULL ,
CONSTRAINT RecipeIngredients_PK
PRIMARY KEY ( RecipeId, IngredientID ) WITH (IGNORE_DUP_KEY = ON)
) ;
INSERT INTO dbo.RecipeIngredients
SELECT TOP (210000) ABS(CRYPT_GEN_RANDOM(8)/50000),
ABS(CRYPT_GEN_RANDOM(8) % 100),
ABS(CRYPT_GEN_RANDOM(8) % 10),
ABS(CRYPT_GEN_RANDOM(8) % 5)
FROM master..spt_values v1,
master..spt_values v2
SELECT DISTINCT RecipeId, 'X' AS Name
INTO Recipes
FROM dbo.RecipeIngredients
यह 205,009 घटक पंक्तियों और 42,613 व्यंजनों को आबाद करता है। यादृच्छिक तत्व के कारण यह हर बार थोड़ा अलग होगा।
यह अपेक्षाकृत कुछ डुप्लिकेट मानता है (उदाहरण के रन के बाद आउटपुट दो समूह के साथ दो या तीन व्यंजनों के साथ 217 डुप्लिकेट नुस्खा समूह था)। ओपी में आंकड़ों के आधार पर सबसे पैथोलॉजिकल केस 48,000 सटीक डुप्लिकेट होंगे।
सेट अप करने के लिए एक स्क्रिप्ट है
DROP TABLE dbo.RecipeIngredients,Recipes
GO
CREATE TABLE Recipes(
RecipeId INT IDENTITY,
Name VARCHAR(1))
INSERT INTO Recipes
SELECT TOP 48000 'X'
FROM master..spt_values v1,
master..spt_values v2
CREATE TABLE dbo.RecipeIngredients
(
RecipeId INT NOT NULL ,
IngredientID INT NOT NULL ,
Quantity INT NOT NULL ,
UOM INT NOT NULL ,
CONSTRAINT RecipeIngredients_PK
PRIMARY KEY ( RecipeId, IngredientID )) ;
INSERT INTO dbo.RecipeIngredients
SELECT RecipeId,IngredientID,Quantity,UOM
FROM Recipes
CROSS JOIN (SELECT 1,1,1 UNION ALL SELECT 2,2,2 UNION ALL SELECT 3,3,3 UNION ALL SELECT 4,4,4) I(IngredientID,Quantity,UOM)
निम्नलिखित दोनों मामलों के लिए मेरी मशीन पर एक सेकंड से भी कम समय में पूरा हुआ।
CREATE TABLE #Concat
(
RecipeId INT,
concatenated VARCHAR(8000),
PRIMARY KEY (concatenated, RecipeId)
)
INSERT INTO #Concat
SELECT R.RecipeId,
ISNULL(concatenated, '')
FROM Recipes R
CROSS APPLY (SELECT CAST(IngredientID AS VARCHAR(10)) + ',' + CAST(Quantity AS VARCHAR(10)) + ',' + CAST(UOM AS VARCHAR(10)) + ','
FROM dbo.RecipeIngredients RI
WHERE R.RecipeId = RecipeId
ORDER BY IngredientID
FOR XML PATH('')) X (concatenated);
WITH C1
AS (SELECT DISTINCT concatenated
FROM #Concat)
SELECT STUFF(Recipes, 1, 1, '')
FROM C1
CROSS APPLY (SELECT ',' + CAST(RecipeId AS VARCHAR(10))
FROM #Concat C2
WHERE C1.concatenated = C2.concatenated
ORDER BY RecipeId
FOR XML PATH('')) R(Recipes)
WHERE Recipes LIKE '%,%,%'
DROP TABLE #Concat
एक कैविएट
मैंने यह मान लिया कि समतल स्ट्रिंग की लंबाई 896 बाइट्स से अधिक नहीं होगी। यदि यह ऐसा करता है तो चुपचाप विफल होने के बजाय रन टाइम पर एक त्रुटि उत्पन्न करेगा। आपको #tempतालिका से प्राथमिक कुंजी (और अंतर्निहित रूप से बनाए गए अनुक्रमणिका) को निकालने की आवश्यकता होगी । मेरे परीक्षण सेटअप में संक्षिप्त स्ट्रिंग की अधिकतम लंबाई 125 वर्ण थी।
यदि अनुदैर्ध्य स्ट्रिंग अनुक्रमणिका के लिए बहुत लंबी है, तो XML PATHसमान व्यंजनों को समेकित करने वाली अंतिम क्वेरी का प्रदर्शन अच्छी तरह से खराब हो सकता है। एक कस्टम सीएलआर स्ट्रिंग एकत्रीकरण का उपयोग करना और उसका उपयोग करना एक समाधान होगा क्योंकि यह गैर-अनुक्रमित स्वयं शामिल होने के बजाय डेटा के एक पास के साथ संयोजन कर सकता है।
SELECT YourClrAggregate(RecipeId)
FROM #Concat
GROUP BY concatenated
मैंने भी कोशिश की
WITH Agg
AS (SELECT RecipeId,
MAX(IngredientID) AS MaxIngredientID,
MIN(IngredientID) AS MinIngredientID,
SUM(IngredientID) AS SumIngredientID,
COUNT(IngredientID) AS CountIngredientID,
CHECKSUM_AGG(IngredientID) AS ChkIngredientID,
MAX(Quantity) AS MaxQuantity,
MIN(Quantity) AS MinQuantity,
SUM(Quantity) AS SumQuantity,
COUNT(Quantity) AS CountQuantity,
CHECKSUM_AGG(Quantity) AS ChkQuantity,
MAX(UOM) AS MaxUOM,
MIN(UOM) AS MinUOM,
SUM(UOM) AS SumUOM,
COUNT(UOM) AS CountUOM,
CHECKSUM_AGG(UOM) AS ChkUOM
FROM dbo.RecipeIngredients
GROUP BY RecipeId)
SELECT A1.RecipeId AS RecipeId1,
A2.RecipeId AS RecipeId2
FROM Agg A1
JOIN Agg A2
ON A1.MaxIngredientID = A2.MaxIngredientID
AND A1.MinIngredientID = A2.MinIngredientID
AND A1.SumIngredientID = A2.SumIngredientID
AND A1.CountIngredientID = A2.CountIngredientID
AND A1.ChkIngredientID = A2.ChkIngredientID
AND A1.MaxQuantity = A2.MaxQuantity
AND A1.MinQuantity = A2.MinQuantity
AND A1.SumQuantity = A2.SumQuantity
AND A1.CountQuantity = A2.CountQuantity
AND A1.ChkQuantity = A2.ChkQuantity
AND A1.MaxUOM = A2.MaxUOM
AND A1.MinUOM = A2.MinUOM
AND A1.SumUOM = A2.SumUOM
AND A1.CountUOM = A2.CountUOM
AND A1.ChkUOM = A2.ChkUOM
AND A1.RecipeId <> A2.RecipeId
WHERE NOT EXISTS (SELECT *
FROM (SELECT *
FROM RecipeIngredients
WHERE RecipeId = A1.RecipeId) R1
FULL OUTER JOIN (SELECT *
FROM RecipeIngredients
WHERE RecipeId = A2.RecipeId) R2
ON R1.IngredientID = R2.IngredientID
AND R1.Quantity = R2.Quantity
AND R1.UOM = R2.UOM
WHERE R1.RecipeId IS NULL
OR R2.RecipeId IS NULL)
यह तब काम करता है जब अपेक्षाकृत कुछ डुप्लिकेट होते हैं (पहले उदाहरण के डेटा के लिए एक सेकंड से भी कम), लेकिन पैथोलॉजिकल मामले में बुरी तरह से प्रदर्शन करता है क्योंकि प्रारंभिक एकत्रीकरण बिल्कुल हर के लिए समान परिणाम देता है RecipeIDऔर इसलिए नीचे की संख्या में कटौती करने का प्रबंधन नहीं करता है तुलना सब पर।