MongoDB
 sql >> Teknologi Basis Data >  >> NoSQL >> MongoDB

bagaimana cara menggunakan konfigurasi pengiriman Spark:toples,paket:dalam mode cluster?

Penggunaan Anda atas --packages argumen salah:

--packages com.mongodb.spark:hdfs:///user/liac/package/jars/mongo-spark-connector_2.11-1.0.0-assembly.jar:1.0.0

Itu harus dalam bentuk groupId:artifactId:version seperti yang disarankan oleh output. Anda tidak dapat menggunakan URL dengannya.

Contoh menggunakan mongoDB dengan percikan dengan dukungan repositori bawaan:

$SPARK_HOME/bin/spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0

Jika Anda bersikeras menggunakan toples Anda sendiri, Anda dapat menyediakannya melalui --repositories . Nilai argumennya adalah

Misalnya, dalam kasus Anda, bisa jadi

--repositories hdfs:///user/liac/package/jars/ --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0



  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. brew install mongodb error:Dengan pengecut menolak `Sudo brew install' Mac OSX Lion

  2. Bagaimana cara memproses permintaan penyisipan di Data Musim Semi sebelum menambahkannya ke MongoDB?

  3. Gunakan kasus untuk NoSQL

  4. $lookup mengembalikan array kosong

  5. MongoDB 3.6 cara mengonversi string ke Object Id