Sepertinya Anda memiliki beberapa pertanyaan, jadi mari kita coba menguraikannya.
Mengimpor dalam HDFS
Sepertinya Anda mencari Sqoop . Sqoop adalah alat yang memungkinkan Anda dengan mudah mentransfer data masuk/keluar dari HDFS, dan dapat terhubung ke berbagai database termasuk Oracle secara asli. Sqoop kompatibel dengan driver tipis Oracle JDBC. Inilah cara Anda mentransfer dari Oracle ke HDFS:
sqoop import --connect jdbc:oracle:[email protected]:1521/db --username xxx --password yyy --table tbl --target-dir /path/to/dir
Untuk informasi lebih lanjut:di sini dan di sini . Perhatikan bahwa Anda juga dapat mengimpor langsung ke tabel Hive dengan Sqoop yang dapat memudahkan untuk melakukan analisis Anda.
Memproses
Seperti yang Anda catat, karena data Anda pada awalnya bersifat relasional, sebaiknya gunakan Hive untuk melakukan analisis karena Anda mungkin lebih familiar dengan sintaks seperti SQL. Pig adalah aljabar relasional yang lebih murni dan sintaksnya BUKAN seperti SQL, ini lebih merupakan masalah preferensi tetapi kedua pendekatan harus bekerja dengan baik.
Karena Anda dapat mengimpor data ke Hive secara langsung dengan Sqoop, data Anda harus langsung siap diproses setelah diimpor.
Di Hive, Anda dapat menjalankan kueri dan memintanya untuk menulis hasilnya dalam HDFS:
hive -e "insert overwrite directory '/path/to/output' select * from mytable ..."
Mengekspor ke TeraData
Cloudera merilis konektor untuk Teradata untuk Sqoop tahun lalu seperti yang dijelaskan di sini , jadi Anda harus melihat seperti ini persis seperti yang Anda inginkan. Inilah cara Anda melakukannya:
sqoop export --connect jdbc:teradata://localhost/DATABASE=MY_BASE --username sqooptest --password xxxxx --table MY_DATA --export-dir /path/to/hive/output
Semuanya pasti dapat dilakukan dalam periode waktu apa pun yang Anda inginkan, pada akhirnya yang penting adalah ukuran cluster Anda, jika Anda ingin cepat maka skala cluster Anda sesuai kebutuhan. Hal yang baik dengan Hive dan Sqoop adalah pemrosesan akan didistribusikan di cluster Anda, sehingga Anda memiliki kendali penuh atas jadwal.
