Dalam tutorial Hadoop ini , kami akan memberi Anda pengenalan lengkap tentang Federasi HDFS. Dalam tutorial ini kita akan membahas Arsitektur HDFS, Keterbatasan arsitektur HDFS saat ini.
Kemudian setelah itu kita akan membahas arsitektur Federasi HDFS secara detail beserta kelebihannya dalam framework Hadoop.
Apa itu Federasi HDFS?
Federasi menyempurnakan HDFS Hadoop . yang ada Arsitektur. Arsitektur HDFS sebelumnya memungkinkan namespace tunggal untuk seluruh cluster. Dalam arsitektur itu, NameNode tunggal mengelola namespace.
Jika NameNode gagal, maka seluruh cluster akan tidak berfungsi. Dan cluster tidak akan tersedia sampai NameNode dimulai ulang atau dibawa ke mesin terpisah.
Federasi HDFS diperkenalkan untuk mengatasi keterbatasan ini. Ini mengatasi ini dengan menambahkan dukungan untuk banyak NameNode/Namespaces ke HDFS.
Arsitektur HDFS Saat Ini
HDFS memiliki dua lapisan utama yang diberikan di bawah ini:
a) Ruang nama – Lapisan ini mengelola file, direktori, dan blok . Lapisan ini mendukung operasi sistem file dasar seperti pembuatan, penghapusan file.
b) Blokir Penyimpanan – Ini memiliki dua bagian-
- Pengelolaan blokir – Ini mendukung operasi terkait blok seperti pembuatan, penghapusan blok. Ini mengelola node data dalam cluster dan menangani manajemen replikasi.
- Penyimpanan fisik – Ini menyimpan blok pada sistem file lokal dan menyediakan akses ke operasi baca atau tulis. Ikuti link ini untuk mempelajari operasi baca dan tulis data HDFS.
HDFS saat ini berfungsi dengan baik untuk pengaturan yang lebih kecil. Tapi, untuk organisasi besar di mana kita perlu mengurus sejumlah besar data memiliki beberapa batasan. Federasi Hadoop menangani batasan tersebut.
Batasan Arsitektur HDFS saat ini
Batasan Arsitektur HDFS saat ini diberikan di bawah ini:
1. Penyimpanan blok dan Namespace yang digabungkan dengan erat
Lapisan ruang nama dan lapisan penyimpanan digabungkan dengan erat. Itu membuat implementasi namenode alternatif menjadi sulit. Dan itu membatasi layanan lain untuk menggunakan penyimpanan blok.
2. Skalabilitas Namespace
Namespace tidak terukur seperti datanode. Penskalaan di cluster HDFS dilakukan secara horizontal dengan menambahkan datanode. Tetapi kami tidak dapat menambahkan lebih banyak namespace ke cluster yang ada. Kita dapat menskalakan namespace secara vertikal pada satu namenode.
3. Performa
Seluruh kinerja Hadoop tergantung pada throughput namenode. Operasi sistem file saat ini tergantung pada throughput dari satu namenode. NameNode saat ini mendukung 60.000 tugas bersamaan.
Mendatang MapReduce akan memiliki dukungan untuk lebih dari 1,00,000 tugas bersamaan. Dan ini akan membutuhkan lebih banyak namenode.
4. Isolasi
Tidak ada pemisahan namespace. Jadi tidak ada isolasi antar organisasi tenant yang menggunakan cluster.
HDFS Arsitektur Federasi
Federation menggunakan banyak Namenode/namespace independen untuk menskalakan layanan nama secara horizontal. Dalam Arsitektur Federasi HDFS, di bagian bawah, ada datanode. Dan datanode digunakan sebagai penyimpanan umum untuk blok oleh semua namenode.
Setiap datanodes mendaftar dengan semua namenode di cluster. Datanode ini mengirimkan detak jantung berkala, memblokir, melaporkan, dan menangani perintah dari namenodes.
Banyak namenode (NN1, NN2…, NNn) masing-masing mengelola banyak namespace (NS1, NS2…, NSn). Setiap namespace memiliki kumpulan bloknya sendiri (NS1 Memiliki kumpulan 1dan seterusnya). Blok dari pool 1 disimpan di datanode 1 dan seterusnya.
1. Blokir kumpulan
Kumpulan blok adalah Block pool yang dimiliki oleh satu namespace. Ada kumpulan kumpulan dalam arsitektur federasi HDFS. Dan setiap blok dikelola dari yang lain.
Ini memungkinkan namespace membuat ID Blokir untuk blok baru tanpa koordinasi dengan namespace lain. Semua Datanodes menyimpan blok data yang ada di semua kumpulan blok.
2. Volume ruang nama
Namespace beserta kumpulan bloknya adalah volume Namespace . Banyak volume namespace yang ada di federasi HDFS. Oleh karena itu, setiap volume namespace bekerja secara independen. Saat kita menghapus namenode atau namespace, maka kumpulan blok terkait yang ada di datanode juga akan dihapus.
Manfaat Federasi HDFS
Federasi HDFS mengatasi keterbatasan arsitektur HDFS sebelumnya. Karenanya ia menyediakan:
- Isolasi – Tidak ada isolasi dalam satu namenode dalam lingkungan multi-pengguna. Dalam federasi HDFS, berbagai kategori aplikasi dan pengguna dapat diisolasi ke ruang nama yang berbeda dengan menggunakan banyak node nama.
- Skalabilitas Namespace – Dalam federasi, banyak namenode yang ditingkatkan secara horizontal di ruang nama sistem file.
- Kinerja – Kami dapat meningkatkan throughput operasi Baca/tulis dengan menambahkan lebih banyak node nama.
Kesimpulan
Sebagai kesimpulan untuk Federasi HDFS, kita dapat mengatakan bahwa itu mengatasi keterbatasan arsitektur HDFS node tunggal. Dalam arsitektur HDFS sebelumnya untuk seluruh cluster hanya mengizinkan satu namespace. Sementara Federation menggunakan banyak Namenode/namespace independen untuk menskalakan layanan nama secara horizontal.
Ini juga memisahkan lapisan namespace dan penyimpanan lapisan. Karenanya memberikan Isolasi, Skalabilitas, dan desain sederhana.
Jika Anda memiliki pertanyaan atau saran terkait Federasi di Hadoop HDFS, beri tahu kami dengan meninggalkan komentar.
