Mysql
 sql >> Teknologi Basis Data >  >> RDS >> Mysql

mengekspor data besar yang dapat didata ke file .csv di aplikasi c# windows

Alih-alih memanggil StreamWriter.Write(..) sepanjang waktu Anda dapat mempertimbangkan menggunakan StringBuilder . Tambahkan semua string ke Builder dan hanya menulis sekali di disk !

string filePath = @"e:\temp\test.csv";
string delimiter = ",";

#region init DataTable
DataTable dt = new DataTable();
dt.Columns.Add(new DataColumn("a", typeof(string)));
dt.Columns.Add(new DataColumn("b", typeof(string)));
dt.Columns.Add(new DataColumn("c", typeof(string)));
dt.Columns.Add(new DataColumn("d", typeof(string)));
dt.Columns.Add(new DataColumn("e", typeof(string)));
dt.Columns.Add(new DataColumn("f", typeof(string)));
dt.Columns.Add(new DataColumn("g", typeof(string)));
dt.Columns.Add(new DataColumn("h", typeof(string)));
dt.Columns.Add(new DataColumn("i", typeof(string)));
dt.Columns.Add(new DataColumn("j", typeof(string)));
dt.Columns.Add(new DataColumn("k", typeof(string)));
dt.Columns.Add(new DataColumn("l", typeof(string)));
dt.Columns.Add(new DataColumn("m", typeof(string)));
dt.Columns.Add(new DataColumn("n", typeof(string)));
dt.Columns.Add(new DataColumn("o", typeof(string)));
dt.Columns.Add(new DataColumn("p", typeof(string)));

for (int i = 0; i < 100000; i++)
{
    DataRow dr = dt.NewRow();
    for (int j = 0; j < dt.Columns.Count; j++)
    {
        dr[j] = "test" + i + " " + j;
    }
    dt.Rows.Add(dr);
}
#endregion

Stopwatch sw = new Stopwatch();
sw.Start();
StringBuilder sb = new StringBuilder();
foreach (DataRow dr in dt.Rows)
{
    sb.AppendLine(string.Join(delimiter, dr.ItemArray));
}
File.WriteAllText(filePath, sb.ToString());
sw.Stop();
Console.WriteLine(sw.ElapsedMilliseconds);
Console.ReadLine();

EDIT

100000 baris membutuhkan waktu 271 md dan membuat file sekitar 18 MB

Seperti yang ditunjukkan oleh @aiodintsov, mungkin/akan ada masalah dengan menggunakan StringBuilder jika ada beberapa MB dari data. Jadi saya membuat contoh sesuai dengan komentarnya. Bekerja dengan baik untuk saya. Mengekspor 1 000 000 baris dalam 2685 md .

Stopwatch sw = new Stopwatch();
sw.Start();
using (StreamWriter swr = 
         new StreamWriter(File.Open(filePath, FileMode.CreateNew), Encoding.Default, 1000000))
         // change buffer size and Encoding to your needs
{
    foreach (DataRow dr in dt.Rows)
    {
        swr.WriteLine(string.Join(delimiter, dr.ItemArray));
    }
}
sw.Stop();
Console.WriteLine(sw.ElapsedMilliseconds);


  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Membuat pernyataan INSERT ... SELECT menjadi atomik

  2. Tingkatkan kueri SQL INSERT untuk menghindari injeksi sql

  3. Impor MYSQL:Tidak bisa mendapatkan objek geometri dari data yang Anda kirim ke bidang GEOMETRI

  4. MySQL ONLY IN() klausa yang setara

  5. Nama indeks tidak terdefinisi