Salah satu perhatian utama DBA yang perlu membongkar data besar dari tabel database sangat besar (VLDB) adalah kecepatan. Pembongkaran yang lebih cepat membuat data dapat diakses dalam berbagai bentuk untuk tujuan dan platform yang berbeda. Semakin cepat data diperoleh, semakin cepat dapat diproses dan dikirimkan. Hasil akhirnya adalah waktu penyelesaian yang lebih cepat, dan dengan demikian produktivitas dan daya saing perusahaan yang menghasilkan uang dari informasi.
Sebagian besar alat dan metode yang tersedia saat ini digunakan untuk mengekstrak data dari tabel fakta besar terlalu lambat. Mereka yang mengaku lebih cepat rumit, eksklusif, atau memerlukan pembelian paket ETL yang mahal. Pergeseran ke paradigma ELT atau Hadoop memerlukan biaya hardware (atau peralatan DB) utama, membebani DB dasar yang sekarang berubah, dan membebankan kurva pembelajaran yang curam dan beban pemeliharaan.
Apakah tidak ada opsi lain untuk membongkar, dan proses hilir, yang lebih cepat, lebih sederhana, dan lebih terjangkau?
Mengapa Membongkar Tabel VLDB?
Ada banyak alasan mengapa Anda pertama-tama membongkar data dari tabel ini:
Migrasi Basis Data :Semakin cepat Anda mendapatkan data dari database lama, semakin cepat Anda dapat memetakan dan memindahkan data ke database baru. Perpindahan data massal akan bermanfaat jika volume data sangat besar, ada manfaat untuk transformasi offline, perlindungan, dan/atau analisis (yang mungkin dilakukan sekaligus di IRI CoSort), dan saat muatan massal yang telah diurutkan sebelumnya adalah satu-satunya cara untuk memenuhi Tenggat waktu SLA.
Pengaturan Ulang Basis Data :Bongkar, urutkan, muat ulang untuk menjaga database beroperasi secara efisien dan mengoptimalkan kueri umum dengan menjaga tabel dalam urutan gabungan. Pembongkaran dilakukan secara off-line, atau reorganisasi eksternal. Lihat perbandingan ini pada metode penataan ulang offline dan online.
Integrasi Data :Operasi DW extract-transform-load (ETL) skala besar dimulai dengan ekstraksi tabel ke area staging data. Data yang dibuang dari tabel dan digabungkan dengan kumpulan data mainframe, log web, dan file datar lainnya dapat diintegrasikan dan diproses secara efisien dalam sistem file. Transformasi eksternal melalui tidak hanya lebih efisien karena beberapa tindakan dapat dilakukan dalam satu lintasan I/O, tetapi karena overhead komputasi dari semua pekerjaan ini dihapus dari database (lihat ETL vs. ELT).
Replikasi / Arsip Data :Dengan membongkar tabel fakta, data operasional sumber emas dapat diduplikasi dan disimpan dalam format portabel. Data dalam file datar dapat ditanyakan, dimanipulasi, dan diformat ulang dengan alat seperti IRI NextForm atau CoSort, dan digunakan untuk mengisi database dan aplikasi lain. Demikian pula, repositori yang dapat diakses dari data ini juga dapat disimpan secara offline untuk pemulihan dan pengambilan cadangan, atau distribusi ke pihak yang memerlukan akses ke data di lingkungan yang berbeda.
Kecerdasan Bisnis :Mengimpor data operasional ke Excel dan alat BI lainnya dapat lebih cepat dan lebih mudah dalam format file datar seperti CSV dan XML daripada mencoba menjembatani antara tabel dan spreadsheet atau kubus BI. Oleh karena itu, membongkar tabel ke dalam file datar, merupakan langkah awal dan efisien dalam waralaba data – persiapan data untuk operasi BI.
Melihat Metode Membongkar
Metode ekstraksi VLDB bervariasi dalam kinerja dan fungsionalitas. Utilitas yang baik untuk membongkar data besar dari Oracle dan DB besar lainnya harus efisien, mudah digunakan, dan mendukung fungsi pemformatan ulang tertentu yang tidak akan membebani proses.
Perintah SQL SPOOL dapat membuang data ke file datar, tetapi biasanya volumenya lambat. Utilitas asli seperti ekspor Oracle atau pompa data lebih cepat, tetapi menghasilkan ekstrak eksklusif yang hanya dapat diimpor ulang ke database yang sama, dan tidak dapat dianalisis seperti file datar.
Jika Anda perlu membongkar tabel besar dengan cepat ke file datar portabel, pertimbangkan IRI FACT (Fast Extract) untuk Oracle, DB2, Sybase, MySQL, SQL Server, Altibase, Tibero, dll. FACT menggunakan paralelisme dan protokol koneksi database asli (seperti Oracle OCI ) untuk mengoptimalkan kinerja ekstraksi. FACT GUI (wizard) gratis yang merupakan bagian dari IRI Workbench, dibangun di atas Eclipse™, menyajikan tabel dan kolom yang tersedia untuk mengekstrak dan menggunakan sintaks SQL SELECT.
Manfaat lain menggunakan FACT adalah integrasi metadatanya dengan program SortCL di IRI Voracity untuk mengubah, melindungi, menargetkan, dan bahkan melaporkan, ekstrak file datar. FACT juga membuat file kontrol utilitas beban massal database untuk mengantisipasi populasi ulang tabel yang sama menggunakan file datar pra-CoSorted dalam operasi ETL atau reorg skala besar.
