Mysql
 sql >> Teknologi Basis Data >  >> RDS >> Mysql

MySQL memuat data infile - akselerasi?

jika Anda menggunakan innodb dan pemuatan massal, berikut beberapa kiatnya:

urutkan file csv Anda ke dalam urutan kunci utama dari tabel target:ingat innodb menggunakan kunci utama yang dikelompokkan sehingga akan memuat lebih cepat jika diurutkan!

biasanya memuat data infile yang saya gunakan:

truncate <table>;

set autocommit = 0;

load data infile <path> into table <table>...

commit;

pengoptimalan lain yang dapat Anda gunakan untuk meningkatkan waktu muat:

set unique_checks = 0;
set foreign_key_checks = 0;
set sql_log_bin=0;

bagi file csv menjadi potongan yang lebih kecil

statistik impor tipikal yang saya amati selama pemuatan massal:

3.5 - 6.5 million rows imported per min
210 - 400 million rows per hour


  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Cara memberikan akses jarak jauh ke satu database MySQL

  2. ProxySQL:Semua Sumber Daya Somenines

  3. Pemecahan Masalah Campuran ilegal kesalahan susunan di mysql

  4. Baca hanya tabel di mysql

  5. SQL bagaimana membandingkan dua kolom dari dua tabel yang berbeda