Kami menggunakan ES sebagai db pelaporan dan ketika catatan baru ditulis ke SQL, kami mengambil tindakan berikut untuk memasukkannya ke dalam ES:
- Tuliskan kunci utama ke dalam antrian (kami menggunakan rabbitMQ)
- Kelinci mengambil kunci utama (bila ada waktu) dan menanyakan DB relasi untuk mendapatkan info yang dibutuhkan dan kemudian menulis data ke dalam ES
Proses ini bekerja dengan baik karena menangani data baru dan data lama. Untuk data lama, cukup tulis skrip cepat untuk menulis 300 juta kunci utama ke dalam kelinci dan selesai!
