- Anda sama sekali tidak dapat mencampur versi Hadoop-common, hadoop-aws, aws-s3-sdk, dan versi jackson dari yang diharapkan, atau Anda akan melihat jejak tumpukan.
- Dan semuanya open source, jadi jika Anda D/L semua JAR sumber secara lokal, IDE Anda akan membantu Anda menemukan penyebab stack trace. Ini yang kita semua lakukan . Ini bukan keajaiban, IDE modern (intellij IDEA) bahkan memiliki debug tumpukan khusus.
Yang ini masuk karena nilai fs.s3a.multipart.size atur di /core-default.xml hadoop-common resource adalah 100 juta, yang disertakan dengan HADOOP-13680
dan nomor penanganan penguraian rentang seperti "100M" alih-alih 104857600 . Jejak tumpukan ini bertuliskan "Konfigurasi Hadoop 2.8+"
Anda dapat mencoba menyetel properti di konfigurasi Anda ke nilai numerik itu, tetapi ini merupakan tanda peringatan bahwa versi JAR tidak sinkron dan Anda mungkin hanya akan mendapatkan beberapa baris lagi sebelum sesuatu yang lain rusak.
Fix:pastikan hadoop-common.jar dan hadoop-aws.jar sedang sinkron. Sepertinya Anda memiliki jackson dan aws yang berbaris, meskipun jackson cukup rumit, Anda tidak akan pernah bisa menerimanya begitu saja.
