Saya menemukan jawaban atas pertanyaan saya. Ini adalah masalah kompatibilitas dengan konektor Mongo-Spark dan versi Spark yang saya tingkatkan. Secara khusus, nilai findTightestCommonTypeOfTwo diganti namanya di PR:
https://github.com/apache/spark/pull/16786/files
Untuk Spark 2.2.0 konektor Mongo-Spark yang kompatibel juga 2.2.0, jadi dalam contoh saya, paket akan dimuat seperti ini:
--packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.0\
Ini dapat berubah di masa mendatang sehingga saat menggunakan konektor, Anda harus memeriksa kompatibilitas dengan versi Spark yang digunakan.
