Pos blog ini adalah bagian dari seri Database Operasional (OpDB) Cloudera di CDP. Setiap posting membahas lebih detail tentang fitur dan kemampuan baru. Mulai dari awal seri dengan, Database Operasional di CDP.
OpDB Cloudera menyediakan serangkaian kemampuan yang kaya untuk menyimpan dan mengakses data. Dalam posting blog ini, kita akan melihat kemampuan aksesibilitas OpDB dan bagaimana Anda dapat menggunakan kemampuan ini untuk mengakses data Anda.
Distribusi dan sharding
Basis Data Operasional (OpDB) Cloudera adalah Sistem Manajemen Basis Data (DBMS) skala besar yang dirancang untuk menskalakan data secara linier ke Petabyte. Seperti semua DBMS, scale-out diimplementasikan melalui sharding. Dua kebijakan sharding yang berbeda didukung:
- Sharding otomatis
- Sharding yang telah ditentukan sebelumnya
Terlepas dari pendekatannya, ada API untuk mengaktifkan sharding berdasarkan hash, rentang nilai, dan kombinasi keduanya.
Sharding otomatis
Saat sharding otomatis diaktifkan, tabel didistribusikan secara dinamis ke seluruh cluster dan ketika ukuran shard melebihi batas yang dapat dikonfigurasi, tabel akan secara otomatis dibagi dan dipindahkan antar server dalam sebuah cluster.
Segmen tabel dibagi menjadi dua di tengah, membuat dua bagian yang kira-kira sama dan kedua bagian tersebut dapat dilayani oleh server yang berbeda.
Sharding otomatis diterapkan terlepas dari jaringan yang digunakan dengan OpDB (WAN atau lokal). Cluster dapat diatur untuk menjangkau WAN dalam hal ini sharding dan pergerakan data akan terjadi di seluruh WAN tanpa kehilangan data.
Sistem dapat dikonfigurasi untuk mengetahui node mana yang berada di pusat data, yang memberikan ketahanan tambahan untuk shard karena salinan shard dapat didistribusikan ke beberapa pusat data.
Sharding yang telah ditentukan sebelumnya
Pecahan dapat dibatasi pada subkumpulan node tertentu dalam kluster berdasarkan kebijakan, biasanya dengan cara khusus penyewa. Itu memungkinkan penerapan kebijakan berbasis geografis. Kemudian tabel dapat direplikasi antar cluster dan ditetapkan oleh kebijakan untuk memastikan bahwa replikasi tabel, dan shard terkait, terbatas pada geografi yang diinginkan.
OpDB Cloudera memberikan dukungan asli untuk kedaulatan data. Jika kluster menjangkau beberapa negara, grup server wilayah dapat digunakan untuk menambatkan data di negara tertentu bersama dengan konfigurasi isolasi Rak HDFS.
Permintaan
Cloudera menyediakan tiga mesin kueri yang dioptimalkan untuk berbagai jenis kasus penggunaan, baik operasional maupun analitis, dan antarmuka NoSQL untuk memungkinkan kinerja yang dioptimalkan mulai dari berbagai beban kerja operasional dan gudang data. Ini memungkinkan eksekusi kueri dan penggabungan data di beberapa pecahan.
OpDB Cloudera menyediakan mesin SQL OLTP asli yang mendukung kueri banyak data dan model objek termasuk kueri dan penggabungan di antara mereka. Dua mesin kueri OLAP kami dapat digunakan untuk memetakan tabel eksternal yang berada di dalam OpDB kami (atau di lokasi lain) dan dapat membuat kueri atau menggabungkannya untuk kueri analitik yang lebih kompleks yang khas dari pergudangan data
Alat integrasi data
Cloudera menyediakan beberapa alat untuk memungkinkan integrasi dengan pergudangan data dan pemrosesan kueri gabungan.
Misalnya:
- Ekspor massal ke gudang data disediakan oleh Flink, Spark, Hive, dan MapReduce
- Ekspor streaming ke gudang data disediakan oleh Nifi
- Kueri data in-situ dalam OpDB kami disediakan oleh Phoenix, Impala, dan Hive
- Pemrosesan kueri gabungan di seluruh OpDB, solusi gudang data, dan solusi gudang data pihak ketiga kami disediakan oleh Hive
Dukungan data eksternal
OpDB Cloudera mencakup banyak alat Hadoop dan terintegrasi dengan sebagian besar ekosistem Hadoop.
OpDB kami menyediakan antarmuka NoSQL dan SQL. Tidak ada batasan pada antarmuka ini dan ini didukung dengan sangat baik di komunitas Hadoop.
OpDB Seluler
MiNiFi dapat digunakan pada perangkat portabel di edge dan menyediakan konektivitas data dengan OpDB.
Editor kueri HUE dapat berjalan di perangkat seluler atau portabel.
Konektivitas berbasis standar
Cloudera menyediakan driver JDBC &ODBC yang disediakan melalui mesin SQL kami selain akses API langsung ke penyimpanan data dan alat kami.
Selanjutnya
Dalam posting blog ini, kami melihat beberapa kemampuan aksesibilitas OpDB seperti kueri data, integrasi data, dan konektivitas. Dalam artikel berikutnya, kami akan membahas bagaimana Anda dapat menggunakan kemampuan administrasi di OpDB, temukan di sini.
Untuk informasi lebih lanjut, silakan kunjungi:Memulai Basis Data Operasional.
