Catatan Editor, Agustus 2020:Pusat Data CDP sekarang disebut CDP Private Cloud Base. Anda dapat mempelajarinya lebih lanjut di sini.
Pengantar
Posting blog ini adalah bagian dari seri Database Operasional (OpDB) Cloudera di CDP. Setiap posting membahas lebih detail tentang fitur dan kemampuan baru. Mulai dari awal seri dengan, Database Operasional di CDP.
Postingan blog ini memberi Anda gambaran umum tentang alat dan fitur administrasi database operasional (OpDB) di Platform Data Cloudera. Ini tersedia dalam dua faktor bentuk saat ini:sebagai penawaran semi-terkelola yang sepenuhnya aman di CDP Public Cloud – Data Hub dan sebagai penawaran yang sepenuhnya dapat disesuaikan di Pusat Data CDP (mirip dengan apa yang tersedia di CDH dan HDP). Untuk informasi selengkapnya tentang Pusat Data, lihat Pusat Data Cloudera.
Gambar 1:Cluster Hub Data OpDB.
Anda dapat menggunakan tautan dalam artikel ini untuk mendapatkan informasi dan instruksi lebih lanjut untuk menggunakan fitur-fitur ini.
Pembuatan dan kontrol basis data
Ruang nama Apache HBase adalah kelompok tabel logis yang mirip dengan database dalam sistem database relasional tradisional. Namespace dapat dibuat atau dikelola melalui Apache HBase Shell. Untuk informasi selengkapnya tentang menggunakan shell Apache HBase, lihat ikhtisar shell Apache HBase.
Dengan Manajer Replikasi &Ranger dalam gambar dengan CDP, Anda hanya dapat membuat namespace &mengelolanya di shell HBase. Namun izinnya melalui Ranger dan replikasi melalui Replication Manager.
Sama seperti dalam database relasional, ruang nama berisi kumpulan tabel dan izin, pengaturan replikasi, dan isolasi sumber daya. Anda dapat mengatur konfigurasi ini di tingkat namespace. Di CDP, Anda dapat membuat namespace dan mengelolanya menggunakan shell HBase. Anda dapat menggunakan Apache Ranger untuk kebijakan otorisasi dan audit yang terperinci. Untuk informasi selengkapnya tentang cara mengatur keamanan di CDP, lihat Keamanan menggunakan Ranger.
Manajer Replikasi membantu Anda membuat kebijakan replikasi HBase. Anda dapat menggunakan Pengelola Replikasi untuk menyiapkan replikasi antara CDH/HDP atau Apache HBase ke Pusat Data CDP.
Gambar 2:Membuat antarmuka pengguna kebijakan replikasi
Fungsi DDL dan DCL Grafis
Ada beberapa alat yang disediakan untuk ini termasuk plugin untuk:
- Cloudera Machine Learning (CML):CML membantu Anda membuat kueri data menggunakan klien HBase dan Phoenix, serta membantu Anda dalam eksplorasi, visualisasi, berbagi, dan kolaborasi data interaktif. OpDB dapat digunakan untuk menyimpan hasil prediksi Sesi/Pekerjaan/Model untuk kueri nanti oleh beberapa pengguna yang berbeda.
Gambar 3:Antarmuka pengguna Cloudera Machine Learning
- Hue:Hue adalah editor kueri interaktif berbasis web yang memungkinkan Anda berinteraksi dengan gudang data. Anda dapat menggunakan aplikasi Browser HBase di Hue untuk membuat dan menelusuri tabel HBase.
Gambar 4:Antarmuka Hue mendukung pencarian, penyisipan, pembaruan, penghapusan, DDL untuk HBase
Anda dapat menggunakan antarmuka SQL menggunakan Impala atau Hive untuk pemrosesan kueri di Hue.
Gambar 5:Antarmuka SQL menggunakan Impala
Berikut tutorial membuat tabel contoh di HBase menggunakan Hue:https://gethue.com/hadoop-tutorial-how-to-create-example-tables-in-hbase/
- Eclipse:Pemformatan kode HBase untuk Eclipse berguna saat mengedit kode HBase di Eclipse. Untuk informasi selengkapnya, lihat Membangun dan Mengembangkan Apache HBase.
Alat-alat seperti Zeppelin dan Hue bersama dengan plugin mereka disediakan di luar kotak. Namun, Anda juga dapat menggunakan utilitas SQL pihak ketiga seperti Toad.
Alat untuk peningkatan rilis basis data operasional
Anda dapat menggunakan Cloudera Manager untuk mengotomatiskan proses upgrade database operasional di Cloudera Data Platform-Data Center (CDP-DC) Anda. Upgrade disediakan melalui rilis atau patch pemeliharaan. Cloudera Manager menginstal rilis dan/atau patch dan mengelola konfigurasi serta proses restart.
Jika Anda menggunakan CDP di cloud publik seperti Amazon AWS, Anda harus membuat klaster hub Data baru untuk memutakhirkan ke versi baru berbagai komponen. Untuk informasi selengkapnya tentang membuat database operasional baru Data hub cluster, lihat Memulai dengan Database Operasional di CDP.
Penawaran Cloudera adalah penawaran berbasis cluster; pemutakhiran dan patch semua menjangkau beberapa node (server) dan instalasi, konfigurasi, reboot semuanya otomatis, termasuk reboot bergulir jika berlaku.
Alat manajemen patch di beberapa server
Di Pusat Data CDP, Cloudera Manager menginstal rilis dan mengelola konfigurasi. Cloudera Manager juga melakukan proses restart untuk setiap komponen yang terpengaruh.
Aplikasi patch tanpa waktu henti
Di Pusat Data CDP, Cloudera Manager memungkinkan Anda menerapkan patch tanpa waktu henti.
Manajemen perubahan di beberapa server
Anda dapat melakukan manajemen perubahan pada skema database di beberapa instance. Misalnya, Anda dapat melakukan ini di lingkungan pengujian/pengembangan, pementasan, atau produksi.
Anda dapat membuat skrip perubahan yang diperlukan menggunakan shell HBase, dan kemudian menyebarkannya ke instance lain.
Untuk informasi lebih lanjut tentang menggunakan shell HBase, lihat shell Apache HBase.
Partisi beban kerja
Anda dapat melakukan partisi Beban Kerja/aplikasi dalam OpDB menggunakan beberapa alat tergantung pada sifat kumpulan beban kerja, dan kebutuhan datanya.
Jika semua aplikasi mengakses tabel terpisah, maka grup server wilayah dapat digunakan untuk mendedikasikan kumpulan node untuk kumpulan tabel atau ruang nama yang ditentukan, yang membuat pendekatan partisi perangkat keras. Untuk informasi selengkapnya tentang grup server wilayah, lihat Menggunakan Pengelompokan RegionServer.
Untuk aplikasi yang menggunakan kumpulan tabel yang sama, Anda dapat menggunakan pembatasan RPC, kuota pengguna, dan kuota ruang untuk mengelola masalah tetangga yang bising. Lihat manajemen kutipan HBase untuk detail teknis lebih lanjut.
Anda juga dapat menggabungkan dua set opsi ini untuk mendapatkan skema partisi yang lebih canggih. Gunakan Cloudera Manager untuk memastikan bahwa layanan tertentu dipartisi dengan tepat di antara node klaster yang berbeda; misalnya, Anda dapat memutuskan node mana yang harus digunakan untuk pencarian SOLR, dll.
Partisi perangkat keras
Cloudera Manager dan YARN memanfaatkan cgroup Linux dan manajemen memori aktif untuk partisi statis dan dinamis sumber daya perangkat keras.
Pertama, semua proses yang berjalan di semua host dapat dipartisi secara keras dengan cgroups, yang disetel oleh Cloudera Manager. Kedua, wizard memungkinkan pengguna menentukan tata letak partisi statis untuk layanan dengan mengatur persentase, secara otomatis menerjemahkan CPU berbasis cgroup dan isolasi I/O, dan menetapkan batas memori dengan mengonfigurasi layanan itu sendiri.
Terakhir, pengelola sumber daya asli menyediakan model wadah untuk beban kerja yang menempatkan setiap unit kerja terpisah dalam wadah, menggunakan cgroups dan manajemen memori aktif (menyetel, memantau, dan mematikan) untuk isolasi aplikasi.
Perangkat lunak hypervisor
Hypervisor perangkat lunak berikut didukung
- VMware didukung untuk lingkungan lokal
- Lingkungan virtual Microsoft Azure (Azure stack)
- Layanan Web Amazon, virtualisasi Google Compute Platform, dan Microsoft Azure didukung di Cloud.
Dukungan wadah dan orkestrasi
Cloudera menyediakan image Docker yang memiliki Apache HBase, Apache ZooKeeper, dan Cloudera Manager yang terinstal di dalamnya. Anda dapat mengonfigurasi YARN untuk mengelola container Docker Anda, dan mengirimkan pekerjaan Apache HBase ke YARN pada container yang sama atau mengirimkan pekerjaan ke YARN dari container lain.
Untuk informasi lebih lanjut, lihat Mengelola container Docker di YARN.
Kembalikan patch atau Peningkatan Rilis
Cloudera Manager menyediakan otomatisasi untuk beberapa proses rollback. Upgrade terkadang melibatkan perubahan dalam format data. Alat untuk membatalkan perubahan format tidak didukung, dan Anda harus memicu pemulihan data dari cadangan sehingga rollback dapat menggunakan data lama.
Migrasi lintas platform-OS
Alat pencadangan/pemulihan/pemulihan data standar Cloudera tersedia untuk mendukung migrasi OpDB antara sistem operasi yang berbeda.
Strategi pencadangan dan pemulihan bencana HBase memastikan bahwa data Anda dicadangkan untuk melindungi Anda dari kehilangan data. Snapshot HBase memungkinkan Anda untuk mengambil snapshot dari tabel tanpa banyak dampak pada RegionServers. Juga karena operasi snapshot, clone, dan restore tidak melibatkan penyalinan data.
Untuk informasi lebih lanjut tentang pencadangan dan bencana HBase, lihat cadangan HBase dan strategi pemulihan bencana.
Alat administrator basis data (DBA)
Ada banyak alat yang disertakan untuk mendukung pengelolaan database, termasuk:
- Manajer Cloudera
- Base shell
- Hue
- HBCK2
- hbtop
- Ranger
- Atlas
- FreeIPA
- navencrypt
- Alat HDFS
- BENANG
Alat-alat ini menyediakan metrik dan pemantauan, memulai ulang klaster, menambahkan penyerapan, manajemen siklus hidup, pemutakhiran, keamanan, penyiapan Kerberos, dan fitur lainnya.
Gambar 6:Antarmuka Cloudera Manager HBase
Gambar 7:Metrik dan pemantauan di Cloudera Manager:
Gambar 8:Restart cluster di Cloudera Manager
Selain alat ini, Anda juga dapat menggunakan alat administrasi pihak ketiga dan sumber terbuka berikut:
- pengering
- HADMIN
Buka antarmuka yang didokumentasikan untuk alat manajemen pihak ketiga
Kami juga menyediakan API terbuka untuk memungkinkan alat lain digunakan untuk mengelola OpDB. Misalnya, antarmuka JMX dapat digunakan untuk berintegrasi dengan alat pemantauan pihak ketiga seperti Grafana.
Kesimpulan
Dalam posting blog ini, kami melihat bagaimana Anda dapat menggunakan berbagai alat dan kemampuan administratif yang disediakan oleh OpDB di CDP. Di artikel berikutnya, kami akan membahas bagaimana Anda dapat menggunakan kemampuan manajemen di OpDB, lihat di sini.
