PostgreSQL
 sql >> Teknologi Basis Data >  >> RDS >> PostgreSQL

Masalah kinerja penyisipan massal PostgreSQL/JooQ saat memuat dari CSV; bagaimana cara meningkatkan proses?

Cara tercepat untuk melakukan penyisipan massal dari file CSV ke PostgreSQL adalah dengan Salin . Perintah COPY dioptimalkan untuk menyisipkan sejumlah besar baris.

Dengan Java Anda dapat menggunakan Implementasi salin untuk driver JDBC PostgreSQL

Ada contoh kecil yang bagus tentang cara menggunakannya di sini:bagaimana cara menyalin data dari file ke PostgreSQL menggunakan JDBC?

Jika Anda memiliki CSV dengan header, Anda ingin menjalankan perintah yang mirip dengan ini:

\COPY mytable FROM '/tmp/mydata.csv' DELIMITER ';' CSV HEADER

Peningkatan kinerja lainnya saat Anda menambahkan data dalam jumlah besar ke tabel yang ada, adalah dengan menghapus indeks, menyisipkan data, lalu membuat ulang indeks.



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Tidak ada operator yang cocok dengan nama dan tipe argumen yang diberikan. Anda mungkin perlu menambahkan gips tipe eksplisit. -- Netbeans, Postgresql 8.4 dan Glassfish

  2. Impor Data Excel ke PostgreSQL 9.3

  3. Cara menentukan tab di front-end COPY postgres

  4. order_by pada bidang Many-to-Many menghasilkan entri duplikat di queryset

  5. Cara menggunakan homebrew untuk menurunkan versi postgresql dari 10.1 menjadi 9.6 di Mac OS