Saya menggunakan semua database yang Anda sebutkan. Untuk beban ini saya dapat merekomendasikan MySQL atau PostgreSQL karena saya sudah bekerja dengan beban yang lebih tinggi di PostgreSQL. Tetapi MySQL juga akan melakukan pekerjaan yang sama - bahkan mungkin lebih baik karena sejak awal ia dirancang untuk beban penyisipan yang tinggi.
Solusi pada PostgreSQL yang saya gunakan digunakan untuk menyimpan pesan sistem dari jaringan telekomunikasi dan mampu mengumpulkan ~300GB data per hari pada satu mesin tanpa masalah. Tetapi Anda membutuhkan arsitektur HW yang tepat.
Anda membutuhkan mesin dengan setidaknya 8 CPU tetapi lebih banyak lebih baik dan Anda harus memiliki beberapa antrian penyisipan. Gunakan pemuat di Java atau C atau golang dengan lebih banyak ancaman paralel dan lakukan penyisipan massal dari setiap ancaman menggunakan perintah COPY untuk ~10000 catatan dalam satu massal. Anda harus menggunakan kumpulan koneksi karena PostgreSQL memiliki overhead yang lebih tinggi untuk membuka koneksi baru.
Ini juga akan membantu Anda untuk mendistribusikan data melalui lebih banyak tablespace setiap tablespace pada disk fisik yang terpisah atau lebih baik pada array disk fisik yang terpisah. Jika memungkinkan jangan gunakan indeks pada data mentah. Pisahkan data mentah Anda dari hasil gabungan.
Kami memiliki solusi lain menggunakan ekstensi pl/proxy untuk PostgreSQL dan beberapa mesin fisik untuk data mentah yang dipartisi berdasarkan waktu. Sistem ini mampu mengumpulkan setidaknya 1TB per hari tetapi dengan jumlah yang tepat dari database budak bahkan lebih.
Tetapi Anda harus memahami bahwa untuk benar-benar memproses jumlah data ini, Anda memerlukan perangkat keras yang tepat dengan konfigurasi yang tepat. Tidak ada database ajaib yang akan melakukan keajaiban pada beberapa "konfigurasi seperti notebook"...
InfluxDB adalah basis data deret waktu yang sangat bagus dan kami menggunakannya untuk pemantauan. Saya percaya dengan CPU yang cukup dan memori yang sangat banyak Anda akan dapat menggunakannya juga. Saya memperkirakan Anda akan membutuhkan minimal 64 GB RAM karena sisipan memori lebih mahal. Jadi dengan memasukkan lebih banyak antrian database akan membutuhkan lebih banyak memori karena menyimpan semuanya dalam memori dan membuat indeks secara otomatis pada tag.
