MongoDB
 sql >> Teknologi Basis Data >  >> NoSQL >> MongoDB

Pengecualian saat menghubungkan ke mongodb di spark

Saya pikir saya telah menemukan masalahnya:mongodb-hadoop memiliki pengubah "statis" pada instance encoder/decoder BSON di core/src/main/Java/com/mongodb/hadoop/input/MongoInputSplit.java. Saat Spark berjalan dalam mode multithread, semua thread mencoba dan deserialise menggunakan sama encoder/decoder, yang kemungkinan besar memiliki hasil yang buruk.

Patch di github saya di sini (telah mengirimkan permintaan tarik ke hulu)

Saya sekarang dapat menjalankan 8 core multithreaded Spark->mongo collection count() dari Python!



  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. Daftar atribut dinamis dalam Model Mongoid

  2. Menulis tes untuk API RESTful Python Eve terhadap MongoDB asli

  3. Cara mengelompokkan berdasarkan dokumen berdasarkan minggu di mongodb

  4. Pilih bidang bersarang di mongo db

  5. Ikhtisar Enkripsi Tingkat Bidang Sisi Klien di MongoDB