Apache HBase menjadi proyek tingkat atas dengan Apache 10 tahun yang lalu dan Cloudera mulai berkontribusi untuk itu pada saat yang sama (2010). Selama ini, ini telah menjadi salah satu alat sumber terbuka terbesar dan terpopuler dalam data besar dan salah satu basis data NoSQL paling populer.
Apache Software Foundation Mengumumkan 10 Tahun Apache HBase
HBase mendukung database NoSQL nilai kunci dan kolom lebar dan digunakan oleh perusahaan jauh dan luas. Cloudera memiliki lebih dari 500 pelanggan dalam produksi yang menggunakannya untuk kasus penggunaan mulai dari aplikasi transaksi yang sangat penting, pergudangan data, pembelajaran mesin, dan rekayasa data. Pelanggan kami memilih HBase karena ketahanannya (dengan beberapa pelanggan mampu mewujudkan 100% uptime aplikasi selama bertahun-tahun), stabilitas, kinerja, dan biaya operasional yang rendah. Pelanggan Cloudera menerapkannya secara mandiri, bersama dengan Phoenix yang merupakan database berbasis SQL yang dibangun di HBase dan terkadang dengan Apache Impala dan/atau Apache Hive yang memungkinkan mereka menjalankan kueri OLAP berbasis SQL di HBase.
Saya telah menjadi Manajer Produk untuk penawaran Database Operasional Cloudera sejak 2018 dan memiliki kesempatan untuk bertemu dengan banyak pelanggan kami. Saya terus terkesan dengan berbagai cara pelanggan menggunakan HBase. Luasnya kasus penggunaan sangat besar dan bervariasi sehingga tidak dapat dipisahkan dari segmentasi. Setelah banyak analisis, saya berakhir dengan pendekatan sederhana untuk mengklasifikasikan kasus penggunaan — pelanggan yang menggunakannya untuk mendukung aplikasi mission-critical dan yang tidak. Aplikasi mission-critical cenderung bersifat transaksional dan membantu pelanggan kami mendorong pendapatan top-line mereka dan/atau mendorong efisiensi operasional. Bagi mereka, jika HBase turun ke garis atas dan/atau garis bawah terpengaruh dan, dalam kasus terburuk, orang bisa mati.
Contoh kasus penggunaan Mission-Critical :
- Vendor perangkat lunak perawatan kesehatan menggunakan HBase untuk memberi daya pada ratusan aplikasi. Jika aplikasi ini gagal, karena alasan apa pun orang bisa meninggal dan biaya perawatan kesehatan naik. Pelanggan ini telah menerapkan HBase di 7.000+ node dengan lebih dari 70PB data.
- Produsen ponsel menggunakan HBase untuk mengaktifkan asisten suara dan banyak kasus penggunaan lainnya di 6.000+ node
- Rumah media keuangan menggunakan HBase untuk menggerakkan bagian-bagian platform dan memungkinkan pedagang dan orang lain untuk memahami konteks yang relevan seputar pergerakan harga saham, tren, dll pada 1.200+ node
- Platform pemasaran email terkemuka di pasar menjalankan HBase di ~1.000 node
- Penyedia asuransi menggunakan HBase pada ~1.000 node untuk menyimpan semua informasi klaim dan menggunakannya untuk mengelola klaim tersebut sepanjang siklus hidupnya
- Penyedia layanan perpustakaan menggunakan HBase pada 400+ node untuk mendukung pinjaman antar perpustakaan di seluruh dunia
- Sebuah perusahaan distribusi daya global menggunakan HBase pada 400+ node untuk menyerap bacaan dari 7+ juta meter pintar dan untuk melakukan penyebaran otomatis tim perbaikan untuk jaringan distribusi listrik, aplikasi penagihan daya dan mendorong pelatihan berkelanjutan untuk model machine learning
- Telkomsel terbesar di Indonesia, Telkomsel, dengan lebih dari 170 juta pelanggan, memigrasikan seluruh aplikasi CRM mereka dari basis data MPP lama ke HBase dan Impala dan mampu mencapai waktu respons sub-detik pada semua kueri CRM untuk catatan panggilan pengguna individu, profil, pengisian ulang, penggunaan data, dll. Manfaat Impala untuk menanyakan HBase adalah untuk memastikan antarmuka yang kompatibel dengan ANSI SQL dapat diakses melalui JDBC untuk meminimalkan perubahan CRM.
Contoh kasus penggunaan Non-Misi-kritis:
- Produsen produk perawatan pribadi menggunakan HBase untuk mengelola semua merek produk dan materi pemasaran mereka
- Produsen semikonduktor menggunakan HBase untuk menyimpan file log dari produk mereka dan mengekstraknya ke sistem lain untuk analisis
- Penyedia telekomunikasi menggunakan HBase untuk menyimpan tabel dimensi mereka untuk Hive
Apa yang membedakan HBase dari penawaran NoSQL lainnya adalah integrasinya di seluruh Open Source, Big Data Ecosystem yang memungkinkan pelanggan untuk memiliki pengalaman end-to-end. Mereka dapat menggunakannya untuk aplikasi yang membutuhkan data dari edge atau aplikasi yang perlu menghadirkan model AI/ML dalam skala besar atau kombinasinya.
Salah satu tiket dukungan paling menarik yang pernah saya lihat di Cloudera adalah ketika seorang pelanggan HBase mengajukan tiket prioritas tinggi yang menunjukkan bahwa penyebaran misi penting mereka tidak berjalan. Mereka tidak berinteraksi dengan kami selama lebih dari setahun dan saya bahkan tidak tahu bahwa mereka adalah pelanggan penting. Hanya, dalam kasus ini, saya mengetahui bahwa mereka telah menyebarkan 1.000 node untuk memberi daya pada platform pemasaran omnichannel di HBase. Akar masalahnya adalah mereka telah membuat beberapa perubahan bermasalah pada pengaturan konfigurasi mereka 9 bulan sebelum kejadian. Ketika mereka akhirnya melakukan boot ulang, pengaturan konfigurasi yang bermasalah mulai berlaku sehingga mereka meminta bantuan Cloudera!
Cloudera sangat peduli dengan HBase dan memiliki 15 pembuat komitmen &anggota PMC dalam proyek tersebut. Kami juga berinvestasi untuk membuatnya tersedia di cloud publik, dengan faktor bentuk seperti PaaS dan dbPaaS.
Pengalaman HBase Selama Bertahun-tahun
Mengingat komitmen dan sejarah lama kami dengan proyek ini, kami ingin berbagi beberapa pengalaman dan cerita yang terkait dengan proyek ini dari seluruh tim Cloudera.
“Bertahun-tahun yang lalu, saya menghadiri konferensi teknis yang berfokus pada Apache Hadoop. Pada suatu malam, saya sedang berjalan kembali ke kamar saya, dan kebetulan saya melihat sekelompok individu yang saya kenal sebagai pelanggan lama berkerumun di sekitar meja. Sekarang, ini adalah kelompok individu yang sangat kompeten yang telah bekerja dengan saya selama bertahun-tahun. Saya berkelok-kelok, berniat untuk menyapa sebentar dan pergi setelah hari yang panjang. Ternyata, mereka mengalami gangguan produksi di salah satu sistem mereka dan sedang berusaha menyelesaikannya. Saya duduk, mengeluarkan laptop saya, dan bergaul dengan mereka selama beberapa jam berikutnya sementara kami menganalisis masalah dan mengatasi masalah yang kami temukan. Mendukung aplikasi mission-critical terkadang membutuhkan heroik, tetapi terkadang Anda juga menemukan beberapa burung berbulu di sepanjang jalan.”
— Insinyur Senior
“Dalam sifat banyak bisnis, sangat penting untuk dapat meningkatkan skala dan tetap memenuhi persyaratan latensi rendah dari sistem mission-critical mereka. Jika Anda melihat kembali arsip, pelanggan kami mengalami masa-masa sulit untuk memenuhi standar yang sulit tersebut. HBase memiliki elemen yang membuatnya terlihat mudah untuk memenuhi harapan tersebut, terutama dengan meminimalkan waktu untuk memicu tindakan terbaik berikutnya.”
— Arsitek Solusi Utama
“Tiga tahun lalu saya baru bergabung dengan Engineering Manager di Cloudera. Saya dulu tahu tentang aktivitas open-source perusahaan dan saya telah menjadi pengguna GNU Linux sejak sekolah menengah, tetapi menggunakan open source dan menjadi bagian darinya benar-benar berbeda.
Sebagai orang baru di perusahaan, saya harus memahami apa yang dilakukan tim, jadi saya mendapatkan beberapa tiket dukungan yang ditugaskan untuk diri saya sendiri dan mulai mengerjakannya. Saya hanya tahu dua hal, saya adalah seorang pengembang Java selama bertahun-tahun jadi saya harus bisa melakukannya dan Hortonworks adalah pesaing kami yang paling menantang yang berarti mungkin menarik untuk bekerja dengan mereka.
Dan kemudian itu terjadi, dengan tiket Apache HBase pertama saya, saya bertemu dengan Josh Elser – pemimpin tim HBase Hortonworks – yang menunjukkan kepada saya bahwa menerapkan tugas pemula bisa lebih sulit dari yang diharapkan (dengan standar kualitas yang dimiliki tim HBase) dan itu pesaing Anda dapat menjadi mitra terbaik Anda dalam komunitas sumber terbuka. Pada akhirnya, dia melakukan perubahan saya.
Selama tiga tahun terakhir, banyak hal telah berubah. Cloudera dan Hortonworks bergabung, kami sekarang bekerja di perusahaan yang sama tetapi Apache dan HBase sama. Saya memiliki waktu terbatas untuk mengerjakan kode tetapi melihat kekuatannya, melihat bagaimana kode itu digunakan untuk layanan yang saya tidak tahu ada dan saya melihat bagaimana hal itu membuat orang di seluruh dunia bekerja sama. Ini menghubungkan orang-orang melalui perusahaan, benua, budaya.”
— Manajer Teknik
“HBase dan Phoenix mudah dipelajari. Data Hub memudahkan untuk memulai dan sekarang menantikan Cloudera Operational Database membawa HBase ke dekade berikutnya.”
— Manajer Keberhasilan Pelanggan Teknis
“Selama 9 tahun terakhir, saya telah berada di garis depan pengembangan HBase dan melihat evolusi bagaimana pelanggan kami menggunakan HBase dari POC ke platform misi-kritis skala besar. Momen paling luar biasa saat ini adalah sebelum penggabungan Cloudera dan Hortonworks ketika tim dari kedua perusahaan bekerja sama untuk meningkatkan fungsionalitas satu fitur produk penting. Akhirnya, karya tersebut dipresentasikan di HBaseCon dan mendapat pengakuan besar dari dua pengguna terbesar HBase. Fitur ini mendukung fungsi penting yang digunakan oleh lebih dari 2 miliar perangkat seluler di seluruh dunia”.
– Insinyur Senior
“Momen hebat lainnya dari 10 tahun terakhir HBase, adalah di HBaseCon 2015 ketika Carter Page dari Google memberikan pengakuan publik tentang bagaimana HBase berkembang menjadi proyek yang sangat solid”
– Insinyur Senior
“Saya merasa senang menghadiri hampir semua HBaseCons (dan berbicara di beberapa di antaranya). Ini adalah tiga kenangan HBaseCon favorit saya:(1) keragaman HBase:pengumuman HBase 2.0 menyoroti tidak hanya jumlah JIRA yang dikirim tetapi juga jumlah pembuat HBase dan anggota PMC dari luar AS plus memiliki seorang wanita yang memimpin PMC HBase , (2) Momentum HBase:Pengumuman Facebook bahwa mereka meninggalkan garpu kustom mereka untuk pergi 100% ke hulu Apache HBase, dan (3) batu loncatan HBase:di satu HBaseCon, pengembang Bloomberg memberikan pidato replika baca dan kemudian dua HBaseCon kemudian , pengembang Apple memberikan keynote HBaseCon tentang penggunaan replika baca dalam produksi.”
– Insinyur Sistem Senior
Di Cloudera, kami terus melihat masa depan yang cerah untuk proyek ini dan mengharapkannya untuk berkembang untuk mendukung aplikasi generasi berikutnya yang dibangun di cloud dalam faktor bentuk seperti PaaS dan dbPaaS serta di pusat data dengan cloud pribadi.
Untuk pratinjau apa yang akan datang, lihat Template DB Operasional CDP Public Cloud .
