Hapus duplikat dari kumpulan data besar (>100 juta baris)

Jika Anda menggunakan SQL Server, Anda dapat menggunakan hapus dari ekspresi tabel umum:

with cte as (
    select row_number() over(partition by SICComb, NameComb order by Col1) as row_num
    from Table1
)
delete
from cte
where row_num > 1

Di sini semua baris akan diberi nomor, Anda mendapatkan urutan sendiri untuk setiap kombinasi unik SICComb + NameComb . Anda dapat memilih baris mana yang ingin Anda hapus dengan memilih order by di dalam over klausa.