MongoDB
 sql >> Teknologi Basis Data >  >> NoSQL >> MongoDB

Gagal menemukan sumber data:com.mongodb.spark.sql.DefaultSource

Inilah cara saya melakukannya di notebook Jupyter:
1. Unduh toples dari pusat atau repositori lainnya dan letakkan di direktori bernama "jars":
mongo-spark-connector_2.11-2.4.0
mongo-java-driver-3.9.0
2. Buat sesi dan tulis/baca data apa pun

from pyspark import SparkConf
from pyspark.sql import SparkSession
from pyspark.sql.functions import *
from pyspark.sql.types import *

working_directory = 'jars/*'

my_spark = SparkSession \
    .builder \
    .appName("myApp") \
    .config("spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection") \
    .config("spark.mongodb.output.uri=mongodb://127.0.0.1/test.myCollection") \
    .config('spark.driver.extraClassPath', working_directory) \
    .getOrCreate()

people = my_spark.createDataFrame([("JULIA", 50), ("Gandalf", 1000), ("Thorin", 195), ("Balin", 178), ("Kili", 77),
                            ("Dwalin", 169), ("Oin", 167), ("Gloin", 158), ("Fili", 82), ("Bombur", 22)], ["name", "age"])

people.write.format("com.mongodb.spark.sql.DefaultSource").mode("append").save()

df = my_spark.read.format("com.mongodb.spark.sql.DefaultSource").load()
df.select('*').where(col("name") == "JULIA").show()

Akibatnya Anda akan melihat ini:



  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. Lingkup bernama Mongoid membandingkan dua bidang waktu dalam dokumen yang sama

  2. MongoDB cara memeriksa keberadaan

  3. MongoDB:Memperbarui rata-rata dalam dokumen dengan 2 array bersarang

  4. Bagaimana cara mendaftar AbstractMongoEventListener secara terprogram?

  5. Validasi nilai integer dengan luwak