Mysql
 sql >> Teknologi Basis Data >  >> RDS >> Mysql

Tingkatkan kinerja mysql LOAD DATA / mysqlimport?

Mesin MySQL/MariaDB memiliki sedikit paralelisasi saat membuat penyisipan massal. Itu hanya dapat menggunakan satu inti CPU per LOAD DATA penyataan. Anda mungkin dapat memantau penggunaan CPU selama pemuatan untuk melihat satu inti digunakan sepenuhnya dan hanya dapat menyediakan begitu banyak data keluaran - sehingga membuat throughput disk kurang dimanfaatkan.

Versi terbaru MySQL memiliki fitur pemuatan paralel baru:https://dev.mysql.com/doc/mysql-shell/8.0/en/mysql-shell-utilities-parallel-table.html . Kelihatannya menjanjikan tetapi mungkin belum menerima banyak umpan balik. Saya tidak yakin itu akan membantu dalam kasus Anda.

Saya melihat berbagai daftar periksa di internet yang merekomendasikan memiliki nilai yang lebih tinggi di parameter konfigurasi berikut:log_buffer_size , log_file_size , write_io_threads , bulk_insert_buffer_size . Tetapi manfaatnya tidak terlalu terasa ketika saya melakukan tes perbandingan (mungkin 10-20% lebih cepat daripada hanya innodb_buffer_pool_size cukup besar).



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. KESALAHAN 2006 (HY000) pada baris 1:Server MySQL telah hilang

  2. Nama Pengambilan PHP/MYSQL berdasarkan kriteria lain

  3. Tukar nilai dua kolom di antara dua tabel

  4. Kesalahan kompatibilitas penyedia basis data kerangka kerja entitas

  5. MySQL Integer 0 vs NULL