मैं डुप्लिकेट पंक्तियों को कैसे निकाल सकता हूं?

Question

डुप्लिकेट पंक्तियों को काफी बड़ी SQL Serverतालिका (यानी 300,000+ पंक्तियों) से हटाने का सबसे अच्छा तरीका क्या है ?

निश्चित रूप से, पंक्तियाँ RowIDपहचान क्षेत्र के अस्तित्व के कारण सही डुप्लिकेट नहीं होंगी ।

मेरी टेबल

RowID int not null identity(1,1) primary key,
Col1 varchar(20) not null,
Col2 varchar(2048) not null,
Col3 tinyint not null

Comments

PostgreSQL के उपयोगकर्ताओं के लिए त्वरित टिप यह पढ़ने (बहुत, यह कितनी बार जुड़ा हुआ है) से जा रहा है: Pg अप करने योग्य विचारों के रूप में सीटीई शब्दों को उजागर नहीं करता है, इसलिए आप DELETE FROMसीधे सीटीई शब्द नहीं कर सकते । देखें stackoverflow.com/q/18439054/398670

— क्रेग रिंगर

@ CraigRinger Sybase के लिए भी यही सच है - मैंने यहां शेष समाधान एकत्र किए हैं (पीजी और अन्य लोगों के लिए भी मान्य होना चाहिए: stackoverflow.com/q/19544489/1855801 (बस ROWID()पंक्ति कॉलम द्वारा फ़ंक्शन को बदलें , यदि कोई हो)

— maf-soft

बस यहाँ एक चेतावनी जोड़ने के लिए। किसी भी डुप्लिकेट प्रक्रिया को चलाने के दौरान, हमेशा जांचें कि आप पहले क्या हटा रहे हैं! यह उन क्षेत्रों में से एक है जहां गलती से अच्छे डेटा को हटाना बहुत आम है।

— जेफ डेविस

Answer 1

कोई nulls मान लिया जाये कि, आप GROUP BYअद्वितीय स्तंभ, और पंक्ति के रूप में RowId रखने के लिए। फिर, उन सभी चीज़ों को हटा दें जिनमें पंक्ति आईडी नहीं थी:SELECTMIN (or MAX)

DELETE FROM MyTable
LEFT OUTER JOIN (
   SELECT MIN(RowId) as RowId, Col1, Col2, Col3 
   FROM MyTable 
   GROUP BY Col1, Col2, Col3
) as KeepRows ON
   MyTable.RowId = KeepRows.RowId
WHERE
   KeepRows.RowId IS NULL

यदि आपके पास पूर्णांक के बजाय एक GUID है, तो आप प्रतिस्थापित कर सकते हैं

MIN(RowId)

साथ में

CONVERT(uniqueidentifier, MIN(CONVERT(char(36), MyGuidColumn)))

Comments

क्या यह भी काम करेगा? DELETE FROM MyTable WHERE RowId NOT IN (SELECT MIN(RowId) FROM MyTable GROUP BY Col1, Col2, Col3);

— जॉर्ज स्कोली

@Andriy - SQL सर्वर LEFT JOINमें NOT EXISTS sqlinthewild.co.za/index.php/2010/03/23// से कम कुशल है । वही साइट NOT INबनाम की भी तुलना करती है NOT EXISTS। sqlinthewild.co.za/index.php/2010/02/18/not-exists-vs-not-in 3 में से मुझे लगता NOT EXISTSहै कि सबसे अच्छा प्रदर्शन करता है। तीनों एक सेल्फ जॉइन के साथ एक प्लान तैयार करेंगे, हालांकि इससे बचा जा सकता है।

— मार्टिन स्मिथ

@ मॉर्टिन, @ जॉर्ज: तो, मैंने एक छोटा परीक्षण किया है। एक बड़ी तालिका बनाई गई थी और यहाँ वर्णित के रूप में आबाद थी: sqlinthewild.co.za/index.php/2010/03/23/… दो चयन तब उत्पादित किए गए थे, जिनमें से एक LEFT JOIN + WHULL IS NULL तकनीक का उपयोग कर रहा है, दूसरा नहीं का उपयोग कर एक में। फिर मैं निष्पादन योजनाओं के साथ आगे बढ़ा, और क्या अनुमान लगाया? प्रश्न लागत आईईएफ के लिए 82% के मुकाबले LEFT JOIN के लिए 18% थी, मेरे लिए एक बड़ा आश्चर्य है। मैंने कुछ ऐसा किया हो सकता है जो मुझे नहीं करना चाहिए या इसके विपरीत, जो, अगर सच है, तो मैं वास्तव में जानना चाहूंगा।

— एंड्री एम

@ GeorgSchölly ने एक सुंदर जवाब दिया है। मैंने इसे एक मेज पर उपयोग किया है जहाँ मेरी एक PHP बग ने डुप्लिकेट पंक्तियाँ बनाई हैं।

— फिलिप किर्न

क्षमा करें, लेकिन DELETE MyTable FROM MyTableसही वाक्यविन्यास क्यों है ? मैं यहाँDELETE प्रलेखन में एक विकल्प के रूप में तालिका का नाम ठीक से नहीं देख रहा हूँ । क्षमा करें यदि यह दूसरों के लिए स्पष्ट है; मैं सिर्फ सीखने की कोशिश कर रहा SQL के लिए एक नौसिखिया हूँ। इससे भी महत्वपूर्ण बात यह है कि यह क्यों काम करता है: वहाँ तालिका के नाम सहित क्या अंतर है या नहीं?

— लेविनिन्जा

Answer 2

ऐसा करने का एक और संभावित तरीका है

; 

--Ensure that any immediately preceding statement is terminated with a semicolon above
WITH cte
     AS (SELECT ROW_NUMBER() OVER (PARTITION BY Col1, Col2, Col3 
                                       ORDER BY ( SELECT 0)) RN
         FROM   #MyTable)
DELETE FROM cte
WHERE  RN > 1;

मैं ORDER BY (SELECT 0)ऊपर का उपयोग कर रहा हूं क्योंकि यह मनमाना है जो टाई की स्थिति में संरक्षित करने के लिए है।

RowIDउदाहरण के लिए आप उपयोग कर सकते हैं के लिए नवीनतम एक को संरक्षित करने के लिएORDER BY RowID DESC

निष्पादन योजनाएं

इसके लिए निष्पादन योजना अक्सर सरल और अधिक कुशल होती है क्योंकि स्वीकृत उत्तर में इसे स्वयं शामिल होने की आवश्यकता नहीं होती है।

हालांकि यह हमेशा मामला नहीं है। एक जगह जहां GROUP BYसमाधान को प्राथमिकता दी जा सकती है, वह स्थिति है जहां एक हैश एग्रीगेट को एक स्ट्रीम एग्रीगेट की प्राथमिकता में चुना जाएगा।

ROW_NUMBERसमाधान हमेशा काफी एक ही योजना दे देंगे जबकि GROUP BYरणनीति अधिक लचीला है।

जो कारक हैश एग्रीगेट दृष्टिकोण के पक्ष में हो सकते हैं

• विभाजन कॉलम पर कोई उपयोगी सूचकांक नहीं
• प्रत्येक समूह में अपेक्षाकृत कम डुप्लिकेट वाले अपेक्षाकृत कम समूह

इस दूसरे मामले के चरम संस्करणों में (यदि प्रत्येक में कई डुप्लिकेट वाले बहुत कम समूह हैं) एक भी एक नई तालिका में रखने के लिए पंक्तियों को सम्मिलित करने पर विचार कर सकता है, फिर TRUNCATEमूल को कॉपी करना और उन्हें हटाने की तुलना में लॉगिंग को कम करने के लिए वापस कॉपी करना पंक्तियों का बहुत उच्च अनुपात।

Comments

अगर मैं जोड़ सकता हूं: स्वीकृत उत्तर उन तालिकाओं के साथ काम नहीं करता है जो उपयोग करता है uniqueidentifier। यह बहुत सरल है और किसी भी तालिका पर पूरी तरह से काम करता है। धन्यवाद मार्टिन।

— ब्रूनोएलएम

यह इतना जबरदस्त जवाब है! यह काम किया जब मैं पुराने पीके को हटा दिया था इससे पहले कि मुझे एहसास हुआ कि जहां डुप्लिकेट हैं। +100

— मिकेल एलियासन

मैं DBA.SE पर इस प्रश्न (और इस उत्तर के साथ) का जवाब देने का सुझाव देता हूं। फिर हम इसे विहित उत्तर की हमारी सूची में जोड़ सकते हैं ।

— निक चामास

स्वीकृत उत्तर के विपरीत, यह एक ऐसी मेज पर भी काम करता है जिसकी RowIdतुलना करने के लिए कोई कुंजी ( ) नहीं थी ।

— vossad01

यह एक ओर सभी SQL सर्वर संस्करणों पर काम नहीं करता है, दूसरी ओर

— डेविड

Answer 3

Microsoft समर्थन साइट पर डुप्लिकेट हटाने पर एक अच्छा लेख है । यह बहुत रूढ़िवादी है - वे आपके पास अलग-अलग चरणों में सब कुछ करते हैं - लेकिन यह बड़ी तालिकाओं के खिलाफ अच्छी तरह से काम करना चाहिए।

मैंने अतीत में ऐसा करने के लिए स्व-जॉइन का उपयोग किया है, हालांकि इसे संभवतः एक HAVING क्लॉज के साथ पहले से तैयार किया जा सकता है:

DELETE dupes
FROM MyTable dupes, MyTable fullTable
WHERE dupes.dupField = fullTable.dupField 
AND dupes.secondDupField = fullTable.secondDupField 
AND dupes.uniqueField > fullTable.uniqueField

Comments

उत्तम! मैंने पाया कि मेरे पुराने mariadb संस्करण 10.1.xx पर डुप्लिकेट पंक्तियों को हटाने का यह सबसे कारगर तरीका है। धन्यवाद!

— नशे में एम

बहुत सरल और समझने में आसान!

— मार्क

Answer 4

डुप्लिकेट पंक्तियों को हटाने के लिए निम्न क्वेरी उपयोगी है। इस उदाहरण की तालिका में IDएक पहचान स्तंभ है और जिन कॉलमों में डुप्लिकेट डेटा हैं Column1, Column2और हैं Column3।

DELETE FROM TableName
WHERE  ID NOT IN (SELECT MAX(ID)
                  FROM   TableName
                  GROUP  BY Column1,
                            Column2,
                            Column3
                  /*Even if ID is not null-able SQL Server treats MAX(ID) as potentially
                    nullable. Because of semantics of NOT IN (NULL) including the clause
                    below can simplify the plan*/
                  HAVING MAX(ID) IS NOT NULL) 

के निम्न स्क्रिप्ट शो उपयोग GROUP BY, HAVING, ORDER BYएक क्वेरी, और रिटर्न डुप्लिकेट स्तंभ और इसकी गिनती के साथ परिणामों में।

SELECT YourColumnName,
       COUNT(*) TotalCount
FROM   YourTableName
GROUP  BY YourColumnName
HAVING COUNT(*) > 1
ORDER  BY COUNT(*) DESC 

Comments

पहली स्क्रिप्ट के साथ MySQL त्रुटि 'आप FROM क्लॉज में अद्यतन के लिए लक्ष्य तालिका' तालिका नाम निर्दिष्ट नहीं कर सकते '

— D.Rosado

पहले से ही रिपोर्ट की गई डी। रोराडो त्रुटि के अलावा, आपकी पहली क्वेरी भी बहुत धीमी है। स्वीकृत चयन से संबंधित सेलेक्ट क्वेरी को मेरे सेटअप + - 20 बार लंबे समय तक लिया गया।

— parvus

@parvus - प्रश्न को SQL सर्वर नहीं MySQL टैग किया गया है। SQL Server में वाक्य रचना ठीक है। इसके अलावा, MySQL , उदाहरण के लिए उप प्रश्नों को देखने के अनुकूलन में बहुत बुरा है । SQL सर्वर में यह उत्तर ठीक है। वास्तव में NOT INअक्सर बेहतर प्रदर्शन करता है OUTER JOIN ... NULL। मैं HAVING MAX(ID) IS NOT NULLक्वेरी में एक जोड़ दूँगा, भले ही शब्दार्थ यह आवश्यक नहीं होना चाहिए कि यहाँ

— मार्टिन स्मिथ

PostgreSQL 8.4 में महान काम करता है।

— nortally

Answer 5

delete t1
from table t1, table t2
where t1.columnA = t2.columnA
and t1.rowid>t2.rowid

postgres:

delete
from table t1
using table t2
where t1.columnA = t2.columnA
and t1.rowid > t2.rowid

Comments

SQL सर्वर प्रश्न पर पोस्टग्रेज का समाधान क्यों पोस्ट करते हैं?

— लंकिमार्ट

@Lankymart क्योंकि पोस्टग्रैज यूजर्स यहां भी आ रहे हैं। इस उत्तर के स्कोर को देखें।

— गेब्रियल

मैंने इसे कुछ लोकप्रिय एसक्यूएल प्रश्नों में देखा है, जैसे कि यहाँ , यहाँ और यहाँ । ओपी को उसका जवाब मिला और बाकी सभी को भी कुछ मदद मिली। कोई समस्या नहीं IMHO।

— गेब्रियल

Answer 6

DELETE LU 
FROM   (SELECT *, 
               Row_number() 
                 OVER ( 
                   partition BY col1, col1, col3 
                   ORDER BY rowid DESC) [Row] 
        FROM   mytable) LU 
WHERE  [row] > 1 

Comments

मुझे यह संदेश azure SQL DW: A FROM क्लॉज पर वर्तमान में DELETE कथन में समर्थित नहीं है।

— अमित

Answer 7

यह पहली पंक्ति को छोड़कर डुप्लिकेट पंक्तियों को हटा देगा

DELETE
FROM
    Mytable
WHERE
    RowID NOT IN (
        SELECT
            MIN(RowID)
        FROM
            Mytable
        GROUP BY
            Col1,
            Col2,
            Col3
    )

देखें ( http://www.codeproject.com/Articles/157977/Remove-Duplicate-Rows-from-a-Table-in-SQL-Server )

Comments

Mysql के लिए यह त्रुटि देगा: त्रुटि कोड: 1093। आप FROM क्लॉज में अपडेट के लिए लक्ष्य तालिका 'Mytable' को निर्दिष्ट नहीं कर सकते। लेकिन यह छोटा सा परिवर्तन mysql के लिए काम करेंगे: mytable से हटाएँ कहां RowID नहीं (से (चयन मिन (RowID) के रूप में अस्थायी रूप आईडी mytable ग्रुप द्वारा Col1 से, Col2, Col3) का चयन करें ID)

— रितेश

Answer 8

मैं SQL सर्वर तालिका से डुप्लिकेट पंक्तियों को हटाने के लिए CTE को प्राथमिकता दूंगा

इस लेख का अनुसरण करने की दृढ़ता से अनुशंसा करें :: http://codaffection.com/sql-server-article/delete-duplicate-rows-in-sql-server/

मूल रखकर

WITH CTE AS
(
SELECT *,ROW_NUMBER() OVER (PARTITION BY col1,col2,col3 ORDER BY col1,col2,col3) AS RN
FROM MyTable
)

DELETE FROM CTE WHERE RN<>1

मूल रखे बिना

WITH CTE AS
(SELECT *,R=RANK() OVER (ORDER BY col1,col2,col3)
FROM MyTable)
 
DELETE CTE
WHERE R IN (SELECT R FROM CTE GROUP BY R HAVING COUNT(*)>1)

Answer 9

डुप्लिकेट पंक्तियाँ प्राप्त करने के लिए:

SELECT
name, email, COUNT(*)
FROM 
users
GROUP BY
name, email
HAVING COUNT(*) > 1

डुप्लिकेट पंक्तियों को हटाने के लिए:

DELETE users 
WHERE rowid NOT IN 
(SELECT MIN(rowid)
FROM users
GROUP BY name, email);      

Comments

MySQL उपयोगकर्ताओं के लिए, ध्यान दें कि सबसे पहले यह होना चाहिए DELETE FROM, दूसरा, यह काम नहीं करेगा, क्योंकि आप SELECTउसी तालिका से नहीं कर सकते हैं जिससे आप हैं DELETE। MySQL में यह ब्लास्ट होता है MySQL error 1093।

— 59hor Mé

Answer 10

त्वरित और डर्टी सटीक डुप्लिकेट पंक्तियों को हटाने के लिए (छोटी तालिकाओं के लिए):

select  distinct * into t2 from t1;
delete from t1;
insert into t1 select *  from t2;
drop table t2;

Comments

ध्यान दें कि प्रश्न वास्तव में गैर-सटीक दोहराव (डुएटो पंक्ति आईडी) निर्दिष्ट करता है।

— डेनिस जहरुद्दीन

Answer 11

मैं भीतर में शामिल होने के लिए सबक्वेरी \ _ गिनती (*)> 1 समाधान पसंद करता हूं क्योंकि मुझे पढ़ने में आसान लगता है और इसे चलाने से पहले यह सत्यापित करना बहुत आसान था कि इसे हटाने से पहले क्या हटाया जाएगा।

--DELETE FROM table1 
--WHERE id IN ( 
     SELECT MIN(id) FROM table1 
     GROUP BY col1, col2, col3 
     -- could add a WHERE clause here to further filter
     HAVING count(*) > 1
--)

Comments

क्या यह उन सभी रिकॉर्डों को नहीं हटाता है जो आंतरिक क्वेरी में दिखाई देते हैं। हमें केवल डुप्लिकेट को हटाने और मूल को संरक्षित करने की आवश्यकता है।

— सैंडी

आप केवल चयनित आईडी में न्यूनतम (आईडी) के आधार पर सबसे कम आईडी के साथ वापस आ रहे हैं।

— जेम्स एरिको

क्वेरी की पहली, दूसरी और अंतिम पंक्तियों को बाहर करें।

— जेम्स एरिको

यह सभी डुप्लिकेट को साफ नहीं करेगा। यदि आपके पास 3 पंक्तियाँ हैं जो डुप्लिकेट हैं, तो यह केवल MIN (id) के साथ पंक्ति का चयन करेगा, और उस एक को हटा देगा, जो दो पंक्तियों को छोड़ देगा जो डुप्लिकेट हैं।

— क्लो

फिर भी, मैंने बार-बार इस कथन का उपयोग करते हुए समाप्त कर दिया, ताकि कनेक्शन टाइमिंग समाप्त होने या कंप्यूटर के सो जाने के बजाय यह वास्तव में प्रगति करे। मैंने इसे MAX(id)बाद के डुप्लिकेट को खत्म करने के लिए बदल दिया , और LIMIT 1000000आंतरिक क्वेरी में जोड़ा ताकि इसे पूरी तालिका को स्कैन न करना पड़े। इसने अन्य उत्तरों की तुलना में बहुत तेजी से प्रगति की, जो घंटों तक लटका हुआ प्रतीत होगा। तालिका को एक प्रबंधनीय आकार में छंटनी के बाद, फिर आप अन्य प्रश्नों के साथ समाप्त कर सकते हैं। युक्ति: सुनिश्चित करें कि col1 / col2 / col3 के पास समूह के लिए सूचकांक हैं।

— च्लोए

Answer 12

SELECT  DISTINCT *
      INTO tempdb.dbo.tmpTable
FROM myTable

TRUNCATE TABLE myTable
INSERT INTO myTable SELECT * FROM tempdb.dbo.tmpTable
DROP TABLE tempdb.dbo.tmpTable

Comments

यदि आपके पास myTable के लिए विदेशी प्रमुख संदर्भ हैं तो ट्रंकटिंग काम नहीं करेगी।

— समीर अलीभाई

Answer 13

मुझे लगा कि मैं अपना समाधान साझा करूंगा क्योंकि यह विशेष परिस्थितियों में काम करता है। मेरे मामले में डुप्लिकेट मानों वाली तालिका में विदेशी कुंजी नहीं थी (क्योंकि मानों को किसी अन्य डीबी से डुप्लिकेट किया गया था)।

begin transaction
-- create temp table with identical structure as source table
Select * Into #temp From tableName Where 1 = 2

-- insert distinct values into temp
insert into #temp 
select distinct * 
from  tableName

-- delete from source
delete from tableName 

-- insert into source from temp
insert into tableName 
select * 
from #temp

rollback transaction
-- if this works, change rollback to commit and execute again to keep you changes!!

पुनश्च: जब मैं इस तरह की चीजों पर काम करता हूं, तो मैं हमेशा एक लेन-देन का उपयोग करता हूं, इससे न केवल सब कुछ एक पूरे के रूप में निष्पादित होता है, बल्कि मुझे कुछ भी जोखिम के बिना परीक्षण करने की अनुमति मिलती है। लेकिन निश्चित रूप से आपको किसी भी तरह से बैकअप लेना चाहिए बस सुनिश्चित करने के लिए ...

Answer 14

इस क्वेरी ने मेरे लिए बहुत अच्छा प्रदर्शन दिखाया:

DELETE tbl
FROM
    MyTable tbl
WHERE
    EXISTS (
        SELECT
            *
        FROM
            MyTable tbl2
        WHERE
            tbl2.SameValue = tbl.SameValue
        AND tbl.IdUniqueValue < tbl2.IdUniqueValue
    )

2M (50% डुप्लिकेट) की तालिका से 30sec से थोड़ी अधिक में 1M पंक्तियों को हटा दिया गया

Answer 15

सीटीई का उपयोग करना। विचार एक या एक से अधिक स्तंभों पर जुड़ने का है जो एक डुप्लिकेट रिकॉर्ड बनाते हैं और फिर आपको जो भी पसंद हो उसे हटा दें:

;with cte as (
    select 
        min(PrimaryKey) as PrimaryKey
        UniqueColumn1,
        UniqueColumn2
    from dbo.DuplicatesTable 
    group by
        UniqueColumn1, UniqueColumn1
    having count(*) > 1
)
delete d
from dbo.DuplicatesTable d 
inner join cte on 
    d.PrimaryKey > cte.PrimaryKey and
    d.UniqueColumn1 = cte.UniqueColumn1 and 
    d.UniqueColumn2 = cte.UniqueColumn2;

Comments

मुझे लगता है कि आप अपने जॉइन में एक और याद कर रहे हैं।

— जस्टिन आर।

Answer 16

फिर भी एक और आसान समाधान यहां चिपकाए गए लिंक पर पाया जा सकता है । यह एक आसान समझ और इसी तरह की अधिकांश समस्याओं के लिए प्रभावी लगता है। यह SQL सर्वर के लिए है, लेकिन उपयोग की जाने वाली अवधारणा स्वीकार्य से अधिक है।

यहाँ लिंक पृष्ठ से प्रासंगिक अंश हैं:

इस डेटा पर विचार करें:

EMPLOYEE_ID ATTENDANCE_DATE
A001    2011-01-01
A001    2011-01-01
A002    2011-01-01
A002    2011-01-01
A002    2011-01-01
A003    2011-01-01

तो हम उन डुप्लिकेट डेटा को कैसे हटा सकते हैं?

सबसे पहले, निम्न कोड का उपयोग करके उस तालिका में एक पहचान कॉलम डालें:

ALTER TABLE dbo.ATTENDANCE ADD AUTOID INT IDENTITY(1,1)  

इसे हल करने के लिए निम्न कोड का उपयोग करें:

DELETE FROM dbo.ATTENDANCE WHERE AUTOID NOT IN (SELECT MIN(AUTOID) _
    FROM dbo.ATTENDANCE GROUP BY EMPLOYEE_ID,ATTENDANCE_DATE) 

Comments

"ईज़ी टू ग्रैस्प", "प्रभावी प्रतीत होता है", लेकिन इस बारे में एक शब्द भी नहीं है कि इसमें क्या विधि शामिल है। बस कल्पना करें कि लिंक अमान्य हो जाता है, तब क्या उपयोग होगा यह जानने के लिए कि विधि को समझना आसान था और प्रभावी? कृपया अपने पोस्ट में विधि के विवरण के आवश्यक भागों को जोड़ने पर विचार करें, अन्यथा यह उत्तर नहीं है।

— एंड्री एम

यह पद्धति उन तालिकाओं के लिए उपयोगी है जहाँ आपके पास अभी तक कोई पहचान परिभाषित नहीं है। प्राथमिक कुंजी को परिभाषित करने के लिए अक्सर आपको डुप्लिकेट से छुटकारा पाने की आवश्यकता होती है!

— जेफ डेविस

@JeffDavis - ROW_NUMBERसंस्करण शुरू होने से पहले एक नया कॉलम जोड़ने की लंबाई पर जाने की आवश्यकता के बिना उस मामले के लिए ठीक काम करता है।

— मार्टिन स्मिथ

Answer 17

यहाँ डुप्लिकेट को हटाने पर एक और अच्छा लेख है ।

यह चर्चा करता है कि इसकी मेहनत क्यों: " SQL संबंधपरक बीजगणित पर आधारित है, और डुप्लिकेट रिलेशनल बीजगणित में नहीं हो सकता है, क्योंकि डुप्लिकेट को एक सेट में अनुमति नहीं है। "

अस्थायी तालिका समाधान, और दो mysql उदाहरण।

भविष्य में आप इसे डेटाबेस स्तर पर, या एप्लिकेशन के नजरिए से रोकने जा रहे हैं। मैं डेटाबेस स्तर का सुझाव दूंगा क्योंकि आपके डेटाबेस को संदर्भात्मक अखंडता बनाए रखने के लिए जिम्मेदार होना चाहिए, डेवलपर्स सिर्फ समस्याएं पैदा करेंगे;)

Comments

SQL मल्टी-सेट्स पर आधारित है। लेकिन भले ही यह सेट पर आधारित था, यह दो ट्यूपल (1, ए) और (2, ए) अलग हैं।

— एंड्रयू

Answer 18

हा ज़रूर। एक अस्थायी तालिका का उपयोग करें। यदि आप एक एकल, बहुत-न-परफॉर्मेंट स्टेटमेंट चाहते हैं, जो "काम करता है" आप के साथ जा सकते हैं:

DELETE FROM MyTable WHERE NOT RowID IN
    (SELECT 
        (SELECT TOP 1 RowID FROM MyTable mt2 
        WHERE mt2.Col1 = mt.Col1 
        AND mt2.Col2 = mt.Col2 
        AND mt2.Col3 = mt.Col3) 
    FROM MyTable mt)

मूल रूप से, तालिका में प्रत्येक पंक्ति के लिए, उप-चयन उन सभी पंक्तियों के शीर्ष पंक्ति को पाता है जो बिल्कुल विचाराधीन पंक्ति के समान हैं। तो आप रोविद की एक सूची के साथ समाप्त होते हैं जो "मूल" गैर-डुप्लिकेट पंक्तियों का प्रतिनिधित्व करते हैं।

Answer 19

मेरे पास एक मेज थी जहां मुझे गैर-डुप्लिकेट पंक्तियों को संरक्षित करने की आवश्यकता थी। मुझे गति या दक्षता पर यकीन नहीं है।

DELETE FROM myTable WHERE RowID IN (
  SELECT MIN(RowID) AS IDNo FROM myTable
  GROUP BY Col1, Col2, Col3
  HAVING COUNT(*) = 2 )

Comments

यह मानता है कि अधिकतम 1 डुप्लिकेट है।

— मार्टिन स्मिथ

क्यों नहीं HAVING COUNT(*) > 1?

— फिलिप एम

Answer 20

इसे इस्तेमाल करो

WITH tblTemp as
(
SELECT ROW_NUMBER() Over(PARTITION BY Name,Department ORDER BY Name)
   As RowNumber,* FROM <table_name>
)
DELETE FROM tblTemp where RowNumber >1

Answer 21

दूसरा तरीका एक ही फ़ील्ड और यूनिक इंडेक्स के साथ एक नई तालिका बनाएं । फिर पुराने टेबल से नए टेबल पर सभी डेटा ले जाएं । स्वचालित रूप से SQL सर्वर को अनदेखा करें (यदि डुप्लिकेट मान होगा तो क्या करना है इसके बारे में भी एक विकल्प है: डुप्लिकेट मानों को अनदेखा, बाधित या sth करें। तो हम डुप्लिकेट पंक्तियों के बिना एक ही तालिका है। यदि आप विशिष्ट सूचकांक नहीं चाहते हैं, तो स्थानांतरण डेटा के बाद आप इसे छोड़ सकते हैं ।

विशेष रूप से बड़ी तालिकाओं के लिए आप DTS (SSIS पैकेज का उपयोग डेटा आयात करने / निर्यात करने के लिए) कर सकते हैं ताकि सभी डेटा को आपकी नई विशिष्ट अनुक्रमित तालिका में तेज़ी से स्थानांतरित किया जा सके। 7 मिलियन पंक्ति के लिए बस कुछ ही मिनट लगते हैं।

Answer 22

नीचे क्वेरी का उपयोग करके हम सिंगल कॉलम या मल्टीपल कॉलम के आधार पर डुप्लिकेट रिकॉर्ड को हटाने में सक्षम हो सकते हैं। नीचे दो कॉलम के आधार पर क्वेरी हटा रहा है। तालिका नाम है: testingऔर स्तंभ नामempno,empname

DELETE FROM testing WHERE empno not IN (SELECT empno FROM (SELECT empno, ROW_NUMBER() OVER (PARTITION BY empno ORDER BY empno) 
AS [ItemNumber] FROM testing) a WHERE ItemNumber > 1)
or empname not in
(select empname from (select empname,row_number() over(PARTITION BY empno ORDER BY empno) 
AS [ItemNumber] FROM testing) a WHERE ItemNumber > 1)

Answer 23

1. एक ही संरचना के साथ नई रिक्त तालिका बनाएं

2. इस तरह से क्वेरी निष्पादित करें

   INSERT INTO tc_category1
   SELECT *
   FROM tc_category
   GROUP BY category_id, application_id
   HAVING count(*) > 1

3. फिर इस क्वेरी को निष्पादित करें

   INSERT INTO tc_category1
   SELECT *
   FROM tc_category
   GROUP BY category_id, application_id
   HAVING count(*) = 1

Answer 24

डुप्लिकेट रिकॉर्ड को हटाने का यह सबसे आसान तरीका है

 DELETE FROM tblemp WHERE id IN 
 (
  SELECT MIN(id) FROM tblemp
   GROUP BY  title HAVING COUNT(id)>1
 )

http://askme.indianyouth.info/details/how-to-dumplicate-record-from-table-in-using-sql-105

Comments

कोई इसे क्यों बढ़ा रहा है? यदि आपके पास एक ही आईडी से दो से अधिक है तो यह कार्य नहीं करेगा। इसके बजाय लिखें: tblemp से हटाएं जहाँ id (select min (id) से tblemp group by title) नहीं है

— crellee

Answer 25

मैं इस दृष्टिकोण का उल्लेख करता हूं और साथ ही यह सहायक हो सकता है, और सभी SQL सर्वरों में काम करता है: बहुत बार केवल एक ही होता है - दो डुप्लिकेट, और आईडीएस और डुप्लिकेट की गिनती ज्ञात होती है। इस मामले में:

SET ROWCOUNT 1 -- or set to number of rows to be deleted
delete from myTable where RowId = DuplicatedID
SET ROWCOUNT 0

Answer 26

आवेदन स्तर से (दुर्भाग्य से)। मैं मानता हूं कि डुप्लिकेट को रोकने का उचित तरीका एक अद्वितीय सूचकांक के उपयोग के माध्यम से डेटाबेस स्तर पर है, लेकिन SQL सर्वर 2005 में, एक सूचकांक को केवल 900 बाइट्स की अनुमति है, और मेरा varchar (2048) फ़ील्ड को उड़ा देता है।

मुझे पता नहीं है कि यह कितना अच्छा प्रदर्शन करेगा, लेकिन मुझे लगता है कि आप इसे लागू करने के लिए एक ट्रिगर लिख सकते हैं, भले ही आप इसे सीधे एक सूचकांक के साथ नहीं कर सकते। कुछ इस तरह:

-- given a table stories(story_id int not null primary key, story varchar(max) not null)
CREATE TRIGGER prevent_plagiarism 
ON stories 
after INSERT, UPDATE 
AS 
    DECLARE @cnt AS INT 

    SELECT @cnt = Count(*) 
    FROM   stories 
           INNER JOIN inserted 
                   ON ( stories.story = inserted.story 
                        AND stories.story_id != inserted.story_id ) 

    IF @cnt > 0 
      BEGIN 
          RAISERROR('plagiarism detected',16,1) 

          ROLLBACK TRANSACTION 
      END 

इसके अलावा, वर्चर (2048) मुझे गड़बड़ लगता है (जीवन में कुछ चीजें 2048 बाइट्स हैं, लेकिन यह बहुत असामान्य है); क्या यह वास्तव में varchar (अधिकतम) नहीं होना चाहिए?

Answer 27

इसे करने का दूसरा तरीका: -

DELETE A
FROM   TABLE A,
       TABLE B
WHERE  A.COL1 = B.COL1
       AND A.COL2 = B.COL2
       AND A.UNIQUEFIELD > B.UNIQUEFIELD 

Comments

20 अगस्त 2008 के इस मौजूदा जवाब से अलग क्या है? - stackoverflow.com/a/18934/692942

— लैंकिमार्ट

Answer 28

DELETE
FROM
    table_name T1
WHERE
    rowid > (
        SELECT
            min(rowid)
        FROM
            table_name T2
        WHERE
            T1.column_name = T2.column_name
    );

Comments

हाय टीना, आपने डिलीट कमेंट के बाद ऐलिस नाम T1 को मिस कर दिया है अन्यथा यह सिंटैक्स अपवाद को तोड़ देगा।

— नागराज एम

Answer 29

CREATE TABLE car(Id int identity(1,1), PersonId int, CarId int)

INSERT INTO car(PersonId,CarId)
VALUES(1,2),(1,3),(1,2),(2,4)

--SELECT * FROM car

;WITH CTE as(
SELECT ROW_NUMBER() over (PARTITION BY personid,carid order by personid,carid) as rn,Id,PersonID,CarId from car)

DELETE FROM car where Id in(SELECT Id FROM CTE WHERE rn>1)

Answer 30

मैं आपको उन पंक्तियों का पूर्वावलोकन करना चाहता हूं जिन्हें आप हटाने के बारे में हैं और रखने के लिए कौन सी डुप्लिकेट पंक्तियों पर नियंत्रण रखना चाहते हैं। Http://developer.azurewebsites.net/2014/09/better-sql-group-by-find-duplicate-data/ देखें

with MYCTE as (
  SELECT ROW_NUMBER() OVER (
    PARTITION BY DuplicateKey1
                ,DuplicateKey2 -- optional
    ORDER BY CreatedAt -- the first row among duplicates will be kept, other rows will be removed
  ) RN
  FROM MyTable
)
DELETE FROM MYCTE
WHERE RN > 1