Penggunaan Anda atas --packages
argumen salah:
--packages com.mongodb.spark:hdfs:///user/liac/package/jars/mongo-spark-connector_2.11-1.0.0-assembly.jar:1.0.0
Itu harus dalam bentuk groupId:artifactId:version
seperti yang disarankan oleh output. Anda tidak dapat menggunakan URL dengannya.
Contoh menggunakan mongoDB dengan percikan dengan dukungan repositori bawaan:
$SPARK_HOME/bin/spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
Jika Anda bersikeras menggunakan toples Anda sendiri, Anda dapat menyediakannya melalui --repositories
. Nilai argumennya adalah
Misalnya, dalam kasus Anda, bisa jadi
--repositories hdfs:///user/liac/package/jars/ --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0