Jalankan ini dengan AWS Glue dan Postgres. Ada bug di Spark 2.1.0 yang memperbaikinya untuk kebanyakan orang, tetapi seseorang memposting solusi di komentar tentang menggunakan opsi customSchema .
Saya memiliki masalah serupa dengan AWS Glue dan Spark SQL:Saya menghitung jumlah mata uang sehingga hasilnya mengambang. Lem melemparkan kesalahan Decimal precision 1 exceeds max precision -1
meskipun Katalog Data Lem mendefinisikan kolom sebagai desimal. Mengambil halaman dari solusi customSchema di atas dengan secara eksplisit mentransmisikan kolom sebagai NUMERIC(10,2) dan Spark berhenti mengeluh.