Dalam tutorial Hadoop . ini , kita akan membahas konsep NameNode Automatic Failover di Hadoop Pertama-tama, kita akan melihat apa itu failover dan jenis failover. Kemudian kami akan membahas HDFS failover otomatis di Hadoop.
Komponen Hadoop Automatic Failover di HDFS seperti kuorum ZooKeeper, ZKFailoverController Process (ZKFC). Terakhir, kita juga akan membahas peran kedua komponen ini di Hadoop .
Apa itu Failover?
Proses di mana sistem mentransfer kontrolnya ke sistem sekunder ketika mendeteksi kegagalan dikenal sebagai failover .
Failover terdiri dari dua jenis:
- Kegagalan yang Mengagumkan – Administrator memulai Graceful Failover secara manual, misalnya, dalam hal pemeliharaan rutin. Sistem tidak akan mengaktifkan failover secara otomatis dari namenode aktif ke standby, meskipun node aktif telah gagal di Graceful Failover.
- Kegagalan Otomatis – Automatic Failover adalah proses di mana sistem secara otomatis mentransfer kontrolnya ke NameNode standby ketika NameNode gagal. Di Hadoop, Kegagalan otomatis terjadi jika terjadi kegagalan NameNode. Tetapi dalam kasus kegagalan NameNode, Failover akan dimulai secara otomatis. failover ini adalah failover otomatis.
NameNode Automatic Failover di Hadoop
Kegagalan otomatis di Hadoop menambahkan komponen di bawah ini ke penerapan Hadoop HDFS:
- Kuorum Penjaga Kebun Binatang.
- Proses ZKFailoverController (ZKFC).
1. Kuorum Penjaga Kebun
Zookeeper di Hadoop adalah layanan terpusat. Itu memelihara informasi konfigurasi, penamaan, dan menyediakan sinkronisasi terdistribusi. Ini juga menyediakan layanan kelompok. Zookeeper juga mengelola dan mengoordinasikan sekelompok besar mesin.
Untuk alasan di bawah ini, implementasi failover HDFS otomatis bergantung pada Zookeeper:
- Deteksi Kegagalan- Zookeeper di Hadoop mengelola sesi dengan namenode. Selama kegagalan, sesi akan kedaluwarsa. Jadi, Zookeeper akan menginformasikan node nama lain untuk memulai proses failover.
- Pemilihan NameNode Aktif- Mekanisme sederhana yang disediakan oleh Zookeeper untuk hanya memilih node sebagai aktif. Pada saat kegagalan namenode aktif, namenode lain dapat mengambil kunci eksklusif di Zookeeper yang menyatakan bahwa ia ingin menjadi namenode aktif berikutnya.
2. ZKFailoverController (ZKFC)
ZKFC adalah klien Zookeeper di Hadoop yang memantau dan mengelola status namenode. Setiap mesin yang menjalankan layanan namenode juga menjalankan ZKFS. Dapat menangani:
- Pemantauan kesehatan – Dengan perintah health-check, ZKFS melakukan ping ke namenode lokalnya. ZKFS menganggap namenode sehat, selama namenode merespons pada suatu waktu. Monitor kesehatan akan menandai sebuah node sebagai tidak sehat, jika node tersebut mogok, atau memasuki status tidak sehat.
- Manajemen sesi penjaga kebun binatang – ZKFC mengadakan sesi terbuka di Zookeeper ketika namenode lokal sehat. Itu juga memegang znode "kunci" khusus, jika namenode lokal aktif. Jika sesi berakhir, kunci akan otomatis dihapus.
- Pemilihan berbasis penjaga kebun binatang – Di HDFS, jika namenode lokal sehat, dan ZKFC melihat bahwa tidak ada node lain yang saat ini memegang znode kunci, itu sendiri akan mencoba untuk mendapatkan kunci. Dan, jika berhasil, maka ia telah memenangkan pemilihan”, dan menangani menjalankan failover untuk mengaktifkan namenode lokalnya.
Kesimpulan
Oleh karena itu, Failover Otomatis di Hadoop dimulai secara otomatis jika terjadi kegagalan NameNode. Failover otomatis menambahkan komponen kuorum ZooKeeper dan ZKFailoverController Process (ZKFC) ke penerapan HDFS.
Zookeeper di Hadoop adalah layanan yang menyediakan kemampuan failover otomatis di HDFS .
