Mysql
 sql >> Teknologi Basis Data >  >> RDS >> Mysql

Python:Apa yang salah dengan kode multi proses saya yang dimasukkan ke MySQL?

Ya, jika Anda memasukkan 300 juta baris secara massal ke dalam tabel yang sama, maka Anda tidak boleh mencoba memparalelkan penyisipan ini. Semua sisipan harus melalui hambatan yang sama:memperbarui indeks, dan menulis ke file fisik di hard disk. Operasi ini memerlukan akses eksklusif ke sumber daya yang mendasarinya (indeks, atau kepala disk).

Anda sebenarnya menambahkan beberapa overhead yang tidak berguna pada database yang sekarang harus menangani beberapa transaksi bersamaan. Ini menghabiskan memori, memaksa pengalihan konteks, membuat kepala baca disk melompat-lompat sepanjang waktu, dan seterusnya.

Masukkan semuanya ke dalam utas yang sama.

Sepertinya Anda benar-benar mengimpor data dari semacam file CSV. Anda mungkin ingin menggunakan LOAD DATA INFILE Perintah MySQL, dirancang untuk tujuan ini. Jelaskan file sumber Anda jika Anda memerlukan bantuan dalam menyetel perintah ini.




  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Bagaimana cara mendesain kategori dan subkategori di MySQL?

  2. Gabungkan dua baris yang memiliki nilai yang sama dalam dua kolom

  3. cara menampilkan semua data yang diambil dari MYSQL

  4. Bagaimana cara menggunakan koneksi yang sama untuk dua kueri di Musim Semi?

  5. mysql TIME_WAIT; terlalu banyak masalah koneksi