Database
 sql >> Teknologi Basis Data >  >> RDS >> Database

Subsetting Basis Data – Cara di IRI Voracity

Setelah database melebihi ukuran tertentu, menjadi mahal — dan berisiko dari perspektif keamanan — untuk menyediakan salinan ukuran penuh untuk pengembangan, pengujian, dan pelatihan. Sebagian besar tim membutuhkan salinan yang lebih kecil dari database yang lebih besar, dan sering kali memiliki PII di dalam topeng.

Subset basis data adalah proses membuat salinan yang lebih kecil dan benar secara referensial dari basis data yang lebih besar dari ekstrak tabel nyata. Subset dapat digunakan dengan, atau sebagai pengganti, menutupi data atau mensintesis data uji untuk mengurangi biaya dan risiko yang terkait dengan set lengkap. Proses membuat subset yang bermakna secara manual itu rumit dan melelahkan, mengingat Anda harus mengisi database yang lebih kecil dengan sampel acak dari setiap tabel produksi, dan memastikan bahwa setiap struktur relasional antara tabel masih benar di subset.

Panduan pekerjaan subsetting database end-to-end di IRI Workbench membuat proses ini lebih cepat dan mudah. Wizard tersedia untuk pengguna berlisensi dari platform manajemen data IRI Voracity, IRI RowGen untuk pembuatan data uji, dan IRI FieldShield untuk penyembunyian data. Artikel ini memperkenalkan wizard dan menunjukkan cara membuat subset yang benar secara referensial, dengan opsi untuk penyembunyian kolom dan enkripsi pelestarian bidang.

Wizard untuk pembuatan subset meminta pengguna memilih sumber subset, ukuran dan penyortirannya, nama untuk target subset, dan enkripsi atau penyamaran apa pun yang harus didapatkan data subset. Wizard kemudian membuat serangkaian skrip pekerjaan yang membuat tabel subset atau file datar.

Opsi Pekerjaan

Halaman ini mendefinisikan tipe output. Jika loader dibiarkan kosong, file datar dengan pembatas tab akan dibuat. Untuk opsi basis data, ODBC atau pemuat basis data tertentu dapat dipilih.

Opsi Subset

Halaman ini adalah tempat Anda menentukan detail subset. Pilih profil koneksi dan tabel yang akan "mendorong" subset yang dibuat. Pikirkan tabel penggerak sebagai tabel utama dari mana Anda ingin subset berasal. Misalnya, jika Anda ingin membuat subset tabel penjualan dan semua tabel yang terhubung dengannya, Anda akan memilih tabel dengan info penjualan di sini. Juga, pilih ukuran subset. Misalnya, untuk mendapatkan subset dari 100 jumlah penjualan tertinggi, Anda akan mengurutkan pada bidang jumlah yang terjual (seperti dalam contoh ini) dan memasukkan 100 dalam jumlah baris. Filter juga dapat ditambahkan pada tabel driver.

Penyortiran

Halaman ini adalah tempat Anda menentukan urutan subset. Namun, jika Anda ingin baris dipilih secara acak, kosongkan daftar Bidang Kunci.

Halaman Sortir memiliki 3 bagian penting:

  1. Daftar Bidang Masukan
  2. Daftar Bidang Kunci
  3. Opsi Kunci

Langkah-langkah:

  1. Jika Anda ingin subset data yang diurutkan, pilih kolom yang akan diurutkan dan klik “Tambah Kunci”.
  2. Beberapa opsi tersedia di kotak Opsi Utama:
    • Pilih kotak centang Stabil untuk menduplikasi rekaman yang akan dimuat sesuai urutannya di tabel produksi.
    • Jika Anda tidak menginginkan duplikat atau hanya duplikat di subset Anda, pilih kotak centang Duplikat dan tombol radio yang sesuai.

Penamaan Target

Halaman ini ditampilkan jika tipe outputnya adalah database. Ini memiliki dua fungsi. Yang pertama memungkinkan Anda untuk melihat hubungan tabel driver Anda. Yang kedua adalah memberi nama target keluaran untuk subset.

Halaman Penamaan Target memiliki 5 bagian penting:

  1. Profil dan skema target
  2. Mode keluaran selalu dibuat karena tugas ini akan memotong tabel yang ada dengan nama yang sama
  3. Opsi SQL untuk pekerjaan
  4. Opsi penamaan
  5. Daftar referensi

Langkah-langkah:

  1. Pilih profil koneksi.
  2. Pilih skema.
  3. Tentukan opsi SQL.
  4. Pilih opsi penamaan untuk menamai subset target. Jika profil atau skema yang berbeda digunakan, langkah ini opsional:
    • Awalkan semua menambahkan awalan ke setiap nama tabel dan menetapkannya sebagai target tabel tersebut.
    • Pasca perbaikan semua menambahkan postfix ke setiap nama tabel dan menetapkannya sebagai target tabel itu.
    • Namai satu per satu memungkinkan setiap subset target diberi nama secara independen dari target lainnya.
  5. Tinjau Direferensikan oleh dan Referensi  daftar untuk memverifikasi bahwa hubungan tabel telah ditemukan dengan benar:
    • Dalam Diimpor oleh  list, semua tabel tempat tabel pilihan Anda diimpor akan terdaftar.
    • Dalam Impor list, semua tabel yang memiliki hubungan dengan tabel pilihan Anda akan terdaftar.

Aturan

Di halaman ini, aturan dapat ditambahkan ke salah satu target. Dalam contoh ini, pencocokan aturan telah ditambahkan ke semua bidang yang diakhiri dengan kata “NAME”. Aturan akan diterapkan ke tabel target yang cocok. Aturan ini akan menutupi kedua bidang ini dengan tanda bintang. Harus berhati-hati untuk tidak memasukkan aturan pada bidang kunci asing.

Ringkasan

Halaman ini merangkum pekerjaan. Ini dengan jelas menampilkan kolom yang cocok dengan aturan, dan tabel target yang cocok dengan tabel sumber jika tidak ada. Perhatikan bahwa  DDL akan dibuat untuk semua tabel baru.

Setelah semua halaman ini telah selesai, Anda dapat memilih Finish. Wizard kemudian akan membuat skrip pekerjaan dan file batch yang dapat dieksekusi untuk Windows atau Unix yang dapat Anda luncurkan dari Workbench atau baris perintah untuk mengekstrak subset dari tabel driver dan tabel terkait.

Berikut adalah diagram alur yang menunjukkan delapan tugas yang dibuat untuk pekerjaan di Voracity:


Hubungi [email protected] jika ada pertanyaan.


  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Apa itu Hak Istimewa Pengguna Basis Data?

  2. SQL CREATE TABLE ... SEBAGAI Pernyataan SELECT

  3. Hasilkan satu set atau urutan tanpa loop – bagian 2

  4. Menghindari Sortir dengan Merge Join Concatenation

  5. Menghubungkan Aplikasi 64-bit ke Acomba