Dengan menggunakan:
sc.parallelize(startDate to endDate)
Dengan startData dan endDate sebagai Longs yang dihasilkan dari Dates dengan format:
("yyyy-MM-dd HH:mm:ss")
Saya membuat percikan untuk membangun array besar (100.000+ objek) untuk bergabung dengan tabel C* dan itu tidak macet sama sekali- C* bekerja keras untuk membuat penggabungan terjadi dan mengembalikan data.
Akhirnya, saya mengubah jangkauan saya menjadi:
case class TableKey(created_dh: String)
val data = Array("2015-10-29 12:00:00", "2015-10-29 13:00:00", "2015-10-29 14:00:00", "2015-10-29 15:00:00")
val snapshotsFiltered = sc.parallelize(data, 2).map(TableKey(_)).joinWithCassandraTable("listener","snapshots_tnew")
Dan sekarang baik-baik saja.
