Pembaruan:Q2’16 :Selain wizard pembuatan profil database dalam grup menu penemuan data di IRI Workbench yang dijelaskan di bawah, IRI telah memperkenalkan klasifikasi data yang kuat yang memungkinkan penerapan aturan bidang untuk transformasi dan perlindungan data multi-sumber melalui perpustakaan kelas data. Perbarui Q2’18 :IRI juga telah memperkenalkan wizard pencarian pola seluruh skema untuk menemukan PII yang cocok dengan RegEx atau nilai literal dalam beberapa tabel sekaligus. Perbarui Q2’19 :IRI sekarang juga menyediakan pencarian kelas data antar/intra-skema dan masking untuk pengguna IRI FieldShield atau Voracity. Dan, IRI baru saja menerbitkan artikel ini untuk menunjukkan bagaimana hasil pembuatan profil DB di bawah ini ditampilkan di Splunk.
Dengan lebih banyak data yang diambil dari lebih banyak aspek bisnis saat ini, kesadaran yang mudah tentang konten dan sifatnya sangat penting untuk memastikan kualitas, kuantitas, dan keamanan koleksi ini. Pembuatan profil data adalah proses penemuan penting yang membantu Anda menganalisis, mengklasifikasikan, membersihkan, mengintegrasikan, menutupi, dan melaporkan data di repositori Anda.
Selain wizard penemuan data gelap dan terstruktur (dan definisi metadata), bersama dengan diagram ER lintas-DB di Eclipse, alat pembuatan profil lintas-DB baru di IRI Workbench memungkinkan pengguna untuk memeriksa struktur dan kelengkapan data database, dan memvalidasinya data yang tepat disimpan di tempat yang tepat. Dalam artikel ini, kami akan memeriksa alat ini, dan menunjukkan bagaimana alat ini memberikan hasil penelusuran nilai tabel dan metadata statistik.
Untuk mengakses Database Profiler, buka tabel yang ingin Anda akses di Data Source Explorer. Klik kanan pada tabel dan arahkan mouse ke opsi IRI. Pada menu yang muncul, pilih Profil Database Baru .
Pada halaman wizard pertama, atur lokasi dan tujuan pekerjaan, dan pilih output dari laporan profil, sebagai file .csv atau .txt, atau keduanya.
- format .csv berguna untuk mengimpor ke tabel dan database baru, sedangkan
- format .txt adalah laporan yang telah diformat sebelumnya, berguna untuk meninjau hasil dengan cepat.
Informasi Pembuatan Profil Statistik
Bagian wizard berikutnya akan muncul dengan dua tabel:
- Tabel teratas adalah daftar semua tabel dalam database, dengan tabel yang meluncurkan wizard disorot secara default.
- Kotak centang ini memungkinkan Anda opsi sekali klik untuk memindai setiap tabel dan baris dalam database Anda.
- Tabel bawah menunjukkan opsi pembuatan profil, diikuti oleh kolom tabel yang disorot tempat Anda memilih untuk melakukan opsi.
Klik tabel mana saja dalam daftar yang ingin Anda lihat dan profil. Matriks opsi akan otomatis berubah untuk mewakili kolom tabel yang dipilih. Ada beberapa cara untuk menangani opsi tampilan:
- Untuk semua opsi, klik kotak centang atas di tabel, berlabel Semua, dan semua metadata akan dilaporkan.
- Hanya untuk opsi dasar (penghitungan dan nilai), centang kotak berlabel Dasar-dasar.
- Hanya untuk opsi panjang (panjang nilai), centang kotak berlabel Panjang.
Jika Anda memiliki banyak kolom di tabel Anda dan ingin memilih opsi yang sama untuk semuanya, klik nama opsi itu sendiri, dan semua kolom akan memiliki opsi yang dipilih. Anda dapat membatalkan pilihan kolom dalam opsi.
Setelah semuanya diatur, klik Selesai dan kemudian profil akan dibuat untuk Anda.
Penelusuran Ekspresi
Pilihan unik di tabel opsi adalah -Pencarian Ekspresi-. Opsi ini memungkinkan Anda menelusuri kolom terhadap berbagai opsi penelusuran. Opsi ini adalah:
- Ekspresi Reguler (Pencarian Pola). Ini mencari dan menghitung berapa kali suatu nilai cocok dengan format pola pencarian.
- String Kabur. Opsi ini memungkinkan Anda untuk mencari string yang mirip dengan yang Anda masukkan, dan untuk memilih atau menentukan kondisi pencarian.
- Berkas Nilai. Opsi ini memungkinkan Anda membandingkan string dengan setiap string dalam file yang ditetapkan dan menghitung setiap string yang cocok.
Halaman Pencarian Ekspresi memiliki 6 bagian penting
- Kotak kombo Jenis Penelusuran untuk memilih jenis penelusuran yang akan dilakukan.
- Grup opsi yang berubah tergantung pada jenis pencarian yang dipilih
- Ekspresi Reguler:memiliki dua tombol; jelajahi yang menelusuri ekspresi reguler yang ada, dan Buat… yang memungkinkan pembuatan ekspresi reguler baru.
- Fuzzy String:memiliki kotak penghitungan yang menentukan ambang batas pencarian fuzzy (seberapa dekat string harus dianggap cocok), dan kotak kombo untuk memilih algoritma pencarian fuzzy yang akan digunakan.
- Values File:memiliki tombol Browse… yang memungkinkan Anda mencari file yang akan digunakan untuk pencarian nilai.
- Kotak teks tempat Anda akan memasukkan data untuk pencarian Anda.
- Daftar tarik-turun tabel tempat Anda dapat menerapkan penelusuran ekspresi.
- Daftar tarik-turun kolom tempat Anda dapat menerapkan penelusuran ekspresi.
- Tabel yang mencantumkan penelusuran yang telah Anda buat yang akan dilakukan oleh profiler.
Untuk membuat filter ekspresi reguler:
- Dari kombo Jenis Penelusuran, pilih Ekspresi Reguler .
- Klik Jelajahi ke (pustaka ekspresi tersimpan Anda), atau klik Buat untuk menentukan ekspresi reguler yang akan digunakan dalam menelusuri nilai kolom.
- Dalam menu Tabel, pilih tabel yang berisi kolom yang akan difilter.
- Dalam menu Kolom, pilih kolom yang akan diterapkan ekspresi reguler.
- Klik Tambahkan ke Tabel , dan item akan muncul pada tabel di bawah yang berisi nama file, nama kolom, sumber penelusuran, ambang batas, dan label ekspresi reguler yang membentuk filter.
- Ulangi proses ini untuk setiap kolom yang ingin Anda tambahi filter. Jika Anda memiliki terlalu banyak kolom untuk membuat proses ini praktis, Anda masih dapat memindai beberapa kolom dan tabel secara otomatis — untuk data yang cocok dengan pola Anda di seluruh skema database — menggunakan wizard ini sebagai gantinya.
Untuk membuat pencarian string fuzzy:
- Dari kombo Jenis Pencarian, pilih Fuzzy String .
- Ketikkan string yang akan digunakan untuk pencarian.
- Pilih jumlah hasil yang akan dikembalikan (opsi ini akan muncul saat Pencarian Fuzzy dipilih).
- Pilih Jenis Penelusuran Fuzzy yang akan digunakan (opsi ini akan muncul saat Fuzzy String dipilih).
- Pada menu Tabel , pilih file yang berisi kolom untuk pencarian fuzzy.
- Dalam menu Kolom, pilih kolom tempat pencarian fuzzy akan dilakukan.
- Klik Tambahkan ke Tabel , dan akan muncul item pada tabel di bawah yang berisi nama file, nama kolom, sumber pencarian, threshold, dan jenis pencarian fuzzy search yang akan dilakukan.
- Ulangi proses ini untuk setiap kolom tempat Anda ingin melakukan pencarian string kabur.
Untuk membuat pencarian file nilai:
- Dari kombo Jenis Penelusuran, pilih Values File .
- Klik Jelajahi untuk memilih kumpulan file yang akan diperiksa kolomnya.
- Dalam menu Tabel, pilih tabel yang berisi kolom yang akan difilter.
- Di menu Kolom, pilih kolom tempat ekspresi reguler akan diterapkan.
- Klik Tambahkan ke Tabel , dan item akan muncul pada tabel di bawah yang berisi nama file, nama kolom, sumber penelusuran, ambang batas, dan label penelusuran daftar nilai yang membentuk filter.
Pemeriksaan Integritas Referensial
Pilihan lain dalam tabel opsi adalah -Periksa Integritas Referensial-. Opsi ini memungkinkan profiler untuk membandingkan satu atau beberapa kolom dengan kolom lain, dan menentukan apakah kolom memiliki integritas referensial. Untuk menggunakan fungsi ini, centang kotak -Centang Integritas Referensial- pada kolom untuk membandingkan integritas referensial. Tombol Berikutnya akan aktif dan memungkinkan Anda untuk menentukan parameter untuk pemeriksaan integritas referensial (lihat di bawah untuk spesifiknya).
Jika Anda memilih opsi Periksa Integritas Referensial untuk salah satu kolom Anda, klik Berikutnya untuk membuka halaman Pemeriksaan Integritas Referensi. Halaman ini memiliki beberapa fitur berikut:
- Dua kotak kombo, satu untuk memilih tabel di mana kunci utama berada, yang lain untuk menentukan kolom kunci utama.
- Dua kotak kombo, satu untuk memilih tabel tempat kunci asing berada, yang lain untuk menentukan kolom kunci asing. Ada juga tombol untuk menambahkan kunci asing ke daftar kunci asing untuk dibandingkan dengan kunci utama.
- Tombol Buat Pemeriksaan Integritas untuk menambahkan kolom utama dan kolom asing ke daftar di bawah.
- Daftar yang menyimpan semua pemeriksaan integritas referensial yang akan dilakukan oleh profiler.
Untuk membuat pemeriksaan integritas referensial:
- Dalam kotak kombo tabel di bawah Kolom Kunci Utama, pilih tabel tempat kunci utama berada.
- Dalam kotak kombo kolom di bawah Kolom Kunci Utama, pilih kunci utama.
- Di kotak kombo tabel di bawah Kolom Kunci Asing, pilih tabel tempat kunci asing tersebut berada.
- Di kotak kombo kolom di bawah Kolom Kunci Asing, pilih kunci asing.
- Klik tombol Tambahkan ke Daftar Kunci Asing…
- Ulangi langkah 3-5 untuk setiap kunci asing yang akan diperiksa terhadap kunci utama
- Klik tombol Buat Pemeriksaan Integritas…
- Ulangi proses di atas untuk melakukan setiap pemeriksaan integritas referensial.
Contoh Keluaran Profil
.csv ditampilkan di LibreOffice / .txt ditampilkan di EditPad Lite
