Cara Mengimpor File XML Besar (~10GB) ke dalam PostgreSQL

1. Konversikan file XML menjadi file CSV. Selain itu, saat mengonversi, bagi menjadi 100Mb-1Gb bagian untuk pengelompokan yang lebih mudah.

2. Buat tabel dengan kolom yang Anda tentukan di file CSV.

3. Unggah file ke Postgres dengan COPY command.Ini adalah cara tercepat untuk mengunggah sejumlah besar data yang saya tahu. BTW, itu bisa dilakukan dari Java juga, dengan CopyManager kelas.

Bergantung pada jenis kueri yang akan Anda lakukan, Anda ingin membuat indeks:

1. Ini akan menjadi bagian yang paling memakan waktu. Namun, Anda dapat menggunakan BUAT INDEKS SECARA SAAT . Ini akan memungkinkan Anda untuk bekerja dengan tabel Anda saat indeks dibuat di latar belakang.

2. Jika Anda mengulangi proses impor dan sudah membuat tabel dan indeks, jatuhkan indeks sebelum mengeluarkan perintah COPY dan buat ulang nanti. Ini akan menghemat banyak waktu Anda.

3. Jika Anda masih tidak puas dengan kecepatan kueri Anda atau kecepatan pembuatan indeks, mungkin ide yang baik untuk menggunakan Clickhouse alih-alih. Namun, itu tergantung pada jenis kueri yang Anda lakukan.