kami memiliki DB mongo kami yang menyimpan data JSON. Kami ingin memigrasikan data ke Redshift untuk beberapa tujuan kueri.
Kami menggunakan mongoexport csv untuk membuat csv dari tabel mongo dan mengunggahnya ke S3. Kami membuat skema relasional yang sesuai di Redshift dan menggunakan perintah salin untuk memuat data csv ini dari s3 ke redshift.
Kita dapat menggunakan java apis untuk meminta mongo dan membuat serta mengunggah csv ke s3. Hal yang sama dapat dimuat ke pergeseran merah.
Masalah sebenarnya adalah karena kami menggunakan mongo (json) atau NoSQL kami mungkin memiliki jumlah kolom yang berbeda untuk objek tertentu yang termasuk dalam tabel yang sama ( seperti kami JSON), tetapi di Redshift kami telah memperbaiki jumlah kolom per tabel Jadi dalam kasus seperti itu Anda perlu membuat semua kolom yang mungkin dan memuat data . Untuk objek yang tidak memiliki semua kolom, kita dapat mengisi nilai null untuk objek tersebut.
