Baca rangkaian postingan ini dari Wepay, yang menjelaskan cara menyinkronkan database MySQL ke BigQuery, menggunakan Airflow:
- https://wecode.wepay.com/posts/ wepays-data-warehouse-bigquery-airflow
- https://wecode.wepay.com/posts/airflow-wepay
- (Yang ketiga tentang BigQuery)
Sebagai ringkasan (mengutip):
- Mengatur autentikasi, koneksi, DAG.
- Tentukan kolom mana yang akan diambil dari MySQL dan dimuat ke BigQuery.
- Pilih cara memuat data:secara bertahap, atau penuh.
- Menghilangkan duplikasi.
