Saya masih mendapatkan Arithmetic overflow ketika saya memfilter pada cast datetime bahkan jika saya menggunakan IsDate()

DateTime SQL Server memiliki domain 1753-01-01 00:00:00.000 x 9999-12-31 23:59:59,97. Tahun 210 M berada di luar domain itu. Oleh karena itu masalahnya.

Jika Anda menggunakan SQL Server 2008 atau yang lebih baru, Anda dapat mentransmisikannya ke DateTime2 tipe data dan Anda akan menjadi emas (domainnya adalah 0001-01-01 00:00:000,0000000 &le x 9999-12-31 23:59:59.9999999. Tetapi dengan SQL Server 2005, Anda cukup SOL.

Ini benar-benar masalah pembersihan data. Kecenderungan saya dalam kasus seperti ini adalah memuat data pihak ke-3 ke dalam tabel pementasan dengan setiap bidang sebagai string karakter. Kemudian bersihkan data di tempat, ganti, misalnya, tanggal yang tidak valid dengan NULL. Setelah dibersihkan, lakukan pekerjaan konversi yang diperlukan untuk memindahkannya ke tujuan akhirnya.

Pendekatan lain adalah dengan menggunakan pencocokan pola dan melakukan pemfilteran tanggal tanpa mengubah apa pun menjadi datetime . Nilai tanggal/waktu ISO 8601 adalah string karakter yang memiliki sifat terpuji yaitu (A) dapat dibaca manusia dan (B) menyusun dan membandingkan dengan benar.

Apa yang telah saya lakukan di masa lalu adalah beberapa pekerjaan analitis untuk mengidentifikasi semua pola di bidang datetime dengan mengganti angka desimal dengan 'd' dan kemudian menjalankan group by untuk menghitung jumlah setiap pola berbeda yang ditemukan. Setelah Anda memilikinya, Anda dapat membuat beberapa tabel pola untuk memandu Anda. Sesuatu seperti ini:

create table #datePattern
(
  pattern varchar(64) not null primary key clustered ,
  monPos  int         not null ,
  monLen  int         not null ,
  dayPos  int         not null ,
  dayLen  int         not null ,
  yearPos int         not null ,
  yearLen int         not null ,
)

insert #datePattern values ( '[0-9]/[0-9]/[0-9] %'                          ,1,1,3,1,5,1)
insert #datePattern values ( '[0-9]/[0-9]/[0-9][0-9] %'                     ,1,1,3,1,5,2)
insert #datePattern values ( '[0-9]/[0-9]/[0-9][0-9][0-9] %'                ,1,1,3,1,5,3)
insert #datePattern values ( '[0-9]/[0-9]/[0-9][0-9][0-9][0-9] %'           ,1,1,3,1,5,4)
insert #datePattern values ( '[0-9]/[0-9][0-9]/[0-9] %'                     ,1,1,3,2,6,1)
insert #datePattern values ( '[0-9]/[0-9][0-9]/[0-9][0-9] %'                ,1,1,3,2,6,2)
insert #datePattern values ( '[0-9]/[0-9][0-9]/[0-9][0-9][0-9] %'           ,1,1,3,2,6,3)
insert #datePattern values ( '[0-9]/[0-9][0-9]/[0-9][0-9][0-9][0-9] %'      ,1,1,3,2,6,4)
insert #datePattern values ( '[0-9][0-9]/[0-9]/[0-9] %'                     ,1,2,4,1,6,1)
insert #datePattern values ( '[0-9][0-9]/[0-9]/[0-9][0-9] %'                ,1,2,4,1,6,2)
insert #datePattern values ( '[0-9][0-9]/[0-9]/[0-9][0-9][0-9] %'           ,1,2,4,1,6,3)
insert #datePattern values ( '[0-9][0-9]/[0-9]/[0-9][0-9][0-9][0-9] %'      ,1,2,4,1,6,4)
insert #datePattern values ( '[0-9][0-9]/[0-9][0-9]/[0-9] %'                ,1,2,4,2,7,1)
insert #datePattern values ( '[0-9][0-9]/[0-9][0-9]/[0-9][0-9] %'           ,1,2,4,2,7,2)
insert #datePattern values ( '[0-9][0-9]/[0-9][0-9]/[0-9][0-9][0-9] %'      ,1,2,4,2,7,3)
insert #datePattern values ( '[0-9][0-9]/[0-9][0-9]/[0-9][0-9][0-9][0-9] %' ,1,2,4,2,7,4)

create table #timePattern
(
  pattern varchar(64) not null primary key clustered ,
  hhPos int not null ,
  hhLen int not null ,
  mmPos int not null ,
  mmLen int not null ,
  ssPos int not null ,
  ssLen int not null ,
)
insert #timePattern values ( '[0-9]:[0-9]:[0-9]'                ,1,1,3,1,5,1 )
insert #timePattern values ( '[0-9]:[0-9]:[0-9][0-9]'           ,1,1,3,1,5,2 )
insert #timePattern values ( '[0-9]:[0-9][0-9]:[0-9]'           ,1,1,3,2,6,1 )
insert #timePattern values ( '[0-9]:[0-9][0-9]:[0-9][0-9]'      ,1,1,3,2,6,2 )
insert #timePattern values ( '[0-9][0-9]:[0-9]:[0-9]'           ,1,2,4,1,6,1 )
insert #timePattern values ( '[0-9][0-9]:[0-9]:[0-9][0-9]'      ,1,2,4,1,6,2 )
insert #timePattern values ( '[0-9][0-9]:[0-9][0-9]:[0-9]'      ,1,2,4,2,7,1 )
insert #timePattern values ( '[0-9][0-9]:[0-9][0-9]:[0-9][0-9]' ,1,2,4,2,7,2 )

Anda dapat menggabungkan dua tabel ini menjadi 1 tetapi jumlah kombinasi cenderung meledak, meskipun itu sangat menyederhanakan kueri.

Setelah Anda memilikinya, kueri [cukup] mudah, mengingat SQL bukanlah pilihan bahasa terbaik di dunia untuk pemrosesan string:

---------------------------------------------------------------------
-- first, get your lower bound in ISO 8601 format yyyy-mm-dd hh:mm:ss
-- This will compare/collate properly
---------------------------------------------------------------------
declare @dtLowerBound varchar(255)
set @dtLowerBound = convert(varchar,dateadd(year,-1,current_timestamp),121)

-----------------------------------------------------------------
-- select rows with a start date more recent than the lower bound
-----------------------------------------------------------------
select isoDate =       + right( '0000' + substring( t.startDate , coalesce(dt.yearPos,1) , coalesce(dt.YearLen,0) ) , 4 )
                 + '-' + right(   '00' + substring( t.startDate , coalesce(dt.monPos,1)  , coalesce(dt.MonLen,0)  ) , 2 )
                 + '-' + right(   '00' + substring( t.startDate , coalesce(dt.dayPos,1)  , coalesce(dt.dayLen,0)  ) , 2 )
                 + case
                   when tm.pattern is not null then
                       ' ' + right( '00' + substring(ltrim(rtrim( substring(t.startDate,dt.YearPos+dt.YearLen,1+len(t.startDate)-(dt.YearPos+dt.YearLen) ) ) ), tm.hhPos , tm.hhLen ) , 2 )
                     + ':' + right( '00' + substring(ltrim(rtrim( substring(t.startDate,dt.YearPos+dt.YearLen,1+len(t.startDate)-(dt.YearPos+dt.YearLen) ) ) ), tm.mmPos , tm.mmLen ) , 2 )
                     + ':' + right( '00' + substring(ltrim(rtrim( substring(t.startDate,dt.YearPos+dt.YearLen,1+len(t.startDate)-(dt.YearPos+dt.YearLen) ) ) ), tm.ssPos , tm.ssLen ) , 2 )
                   else ''
                   end
,*
from someTableWithBadData t
left join #datePattern dt on t.startDate like dt.pattern
left join #timePattern tm on ltrim(rtrim( substring(t.startDate,dt.YearPos+dt.YearLen,1+len(t.startDate)-(dt.YearPos+dt.YearLen) ) ) )
                             like tm.pattern
where @lowBound <=        + right( '0000' + substring( t.startDate , coalesce(dt.yearPos,1) , coalesce(dt.YearLen,0) ) , 4 )
                 + '-' + right(   '00' + substring( t.startDate , coalesce(dt.monPos,1)  , coalesce(dt.MonLen,0)  ) , 2 )
                 + '-' + right(   '00' + substring( t.startDate , coalesce(dt.dayPos,1)  , coalesce(dt.dayLen,0)  ) , 2 )
                 + case
                   when tm.pattern is not null then
                       ' ' + right( '00' + substring(ltrim(rtrim( substring(t.startDate,dt.YearPos+dt.YearLen,1+len(t.startDate)-(dt.YearPos+dt.YearLen) ) ) ), tm.hhPos , tm.hhLen ) , 2 )
                     + ':' + right( '00' + substring(ltrim(rtrim( substring(t.startDate,dt.YearPos+dt.YearLen,1+len(t.startDate)-(dt.YearPos+dt.YearLen) ) ) ), tm.mmPos , tm.mmLen ) , 2 )
                     + ':' + right( '00' + substring(ltrim(rtrim( substring(t.startDate,dt.YearPos+dt.YearLen,1+len(t.startDate)-(dt.YearPos+dt.YearLen) ) ) ), tm.ssPos , tm.ssLen ) , 2 )
                   else ''
                   end

Seperti yang saya katakan, SQL bukan pilihan terbaik untuk munging string.

Ini akan membuat Anda ... 90% di sana. Pengalaman memberi tahu saya bahwa Anda masih akan menemukan lebih banyak tanggal buruk:bulan kurang dari 1 atau lebih besar dari 12 , hari kurang dari 1 atau lebih besar dari 31, atau hari di luar jangkauan untuk bulan itu (tidak seperti 31 Februari untuk membuat komputer merengek) , dll. Program cobol lama khususnya, suka menggunakan bidang semua 9 untuk menunjukkan data yang hilang, misalnya (meskipun itu adalah kasus yang mudah untuk ditangani).

Teknik pilihan saya adalah menulis skrip Perl untuk menggosok data dan memuatnya secara massal ke SQL Server, menggunakan fasilitas BCP Perl. Untuk itulah perl ruang masalah dirancang.