Sqoop di Dataproc tidak dapat mengekspor data ke format Avro

Masalahnya mungkin dalam versi Avro yang berbeda di Hadoop Dataproc (Avro 1.7.7) dan Sqoop 1.4.7 (Avro 1.8.1).

Anda mungkin ingin mencoba menurunkan versi Sqoop ke 1.4.6 yang bergantung pada Avro 1.7 dan menggunakan avro-tools-1.7.7.jar selama pengiriman pekerjaan.

Diedit:

Untuk mengatasi masalah pemuatan kelas, Anda perlu mengatur mapreduce.job.classloader=true saat mengirimkan pekerjaan Dataproc:

gcloud dataproc jobs submit hadoop --cluster=<CLUSTER_NAME> \
    --class=org.apache.sqoop.Sqoop \
    --jars=gs://<BUCKET>/sqoop-1.4.7-hadoop260.jar \
    --properties=mapreduce.job.classloader=true \
    -- \
    . . .