Metastore sarang eksternal untuk EMR

Anda dapat mengganti konfigurasi default untuk aplikasi dengan menyediakan objek konfigurasi untuk aplikasi saat Anda membuat cluster. Objek konfigurasi direferensikan sebagai file JSON. Objek konfigurasi terdiri dari klasifikasi, properti, dan konfigurasi bersarang opsional. Properties adalah pengaturan yang ingin Anda ubah dalam file itu. Anda dapat menentukan beberapa klasifikasi untuk beberapa aplikasi dalam satu objek JSON.

Untuk mengganti hive-site.xml dengan informasi metastore mysql eksternal Anda, buat file konfigurasi bernama hiveConfiguration.json yang berisi editan ke hive-site.xml:

[
    {
      "Classification": "hive-site",
      "Properties": {
        "javax.jdo.option.ConnectionURL": "jdbc:mysql:\/\/hostname:3306\/hive?createDatabaseIfNotExist=true",
        "javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
        "javax.jdo.option.ConnectionUserName": "username",
        "javax.jdo.option.ConnectionPassword": "password"
      }
    }
]

Gunakan hiveConfiguration.json dengan perintah AWS CLI berikut untuk membuat cluster:

aws emr create-cluster --release-label emr-5.11.0 --instance-type m3.xlarge --instance-count 2 \
--applications Name=Hive --configurations ./hiveConfiguration.json --use-default-roles

Referensi :

https://docs.aws.amazon .com/emr/latest/ReleaseGuide/emr-hive-metastore-external.html