Oracle
 sql >> Teknologi Basis Data >  >> RDS >> Oracle

Data Warehousing ETL Data Profiling dengan Oracle Warehouse Builder

Pengantar Pembuatan Profil Data

Pembuatan Profil Data adalah proses sistematis mendokumentasikan desain dan isi data dalam file, tabel atau skema. Pembuatan Profil Data merupakan langkah awal yang penting dilakukan ketika data warehouse berada dalam tahap perencanaan. Penting bagi arsitek dan perancang gudang data untuk memahami kualitas dan sifat keseluruhan dari data sistem operasional yang mendasarinya sebelum mereka melakukan proyek pergudangan data utama. Beberapa aspek spesifik dari data sumber yang dapat diungkapkan oleh pembuatan profil meliputi:

  • Ukuran keseluruhan (dalam byte) dari setiap tabel atau file sumber termasuk spesifik pada setiap tipe data bidang/kolom.
  • Hitungan, rata-rata, rentang, dan keberadaan nol untuk setiap kolom.
  • Hubungan antar kolom data dalam tabel (seperti dependensi fungsional).
  • Hubungan antar tabel (seperti hubungan Kunci Asing).

Hasil dari tahap pembuatan profil data selanjutnya dapat digunakan untuk mengembangkan aturan untuk memeriksa kualitas data dan aturan untuk memperbaiki masalah data selama tahap pertama dari jalur pipa ETL.

Oracle Warehouse Builder menyediakan fasilitas profil data yang kuat yang dapat digunakan untuk mempelajari, dengan sangat rinci, luasan dan karakteristik data dalam suatu skema. Dokumentasi OWB resmi tentang Profiling Data dapat ditemukan di tautan ini. Oracle Warehouse Builder diinstal bersama dengan Oracle 11g Database versi standar dan Enterprise. Berikut adalah beberapa petunjuk untuk menginstal Oracle 11g Release 2 di Windows.

Jika Anda memiliki server Oracle 11g pusat, Anda dapat menggunakan Oracle Warehouse Builder Client untuk mengakses repositori pusat tersebut.

Dalam demonstrasi ini, langkah-langkah utama yang diperlukan untuk membuat profil skema sistem OLTP disajikan. Skema target akan menjadi skema Oracle “Order Entry” (OE) yang dapat diinstal dan diaktifkan pada database Oracle 11g. Perhatikan bahwa pengguna Oracle Warehouse harus memiliki akses (kredensial) ke skema OE untuk menyiapkan modul yang sesuai di OWB.

Langkah besar pertama dalam pembuatan profil adalah membuat modul yang menunjuk ke skema basis data sumber. OWB mendukung sejumlah besar sumber database serta file datar (teks).

Menyiapkan Modul baru untuk Skema Entri Pesanan

Dalam rangkaian langkah ini, skema Order Entry (OE) akan dibuat sebagai Modul baru di Oracle Warehouse Builder.

  1. Mulailah dengan masuk ke Oracle Warehouse Builder. Buka jendela Project Navigator lalu buka MY_PROJECT
    Buka Database folder dan kemudian Oracle folder.
    Klik kanan pada Oracle folder dan pilih Modul Oracle Baru seperti yang ditunjukkan di bawah ini:
  2. Saat layar Selamat Datang muncul, klik tombol Berikutnya> tombol
  3. Berikan nama dan deskripsi baru untuk database. Perhatikan bahwa Anda tidak boleh menggunakan spasi pada nama database.
    Klik tombol Next> tombol untuk melanjutkan.
  4. Langkah utama selanjutnya adalah menentukan lokasi database. Kemungkinan besar ini adalah pertama kalinya melalui langkah-langkah ini dan lokasi dari Oracle OE Schema belum ditetapkan. Dalam hal ini, klik tombol Edit... tombol ditampilkan di sebelah Lokasi cepat
  5. Isikan nama, Deskripsi dan informasi koneksi (nama host, nama pengguna, kata sandi, nomor port, nama layanan Oracle, dll.) Klik tombol OK tombol saat selesai.
  6. Konfirmasikan informasi koneksi dan klik opsi untuk Impor Setelah Selesai .
    Kemudian klik tombol Berikutnya> tombol untuk melanjutkan:
  7. Akan muncul layar ringkasan akhir yang menunjukkan bahwa pembuatan modul berhasil.
    Klik tombol Selesai tombol untuk menutup layar ini.

Mengimpor Metadata untuk Skema Entri Pesanan

  1. Dengan mencentang Impor Setelah Selesai opsi di langkah 6, Import Metadata Wizard akan diluncurkan secara otomatis setelah modul database dibuat. Jika Anda melewatkan opsi ini, klik kanan pada modul Order_Entry baru dan pilih Import Metadata dari menu.
    Setelah wizard Impor Metadata diluncurkan, klik tombol Berikutnya> tombol untuk melanjutkan.
  2. Filter Informasi layar akan muncul berikutnya. Dalam hal ini kami ingin mengimpor metadata untuk semua konten skema, jadi klik tombol Semua pilihan dan kemudian klik Berikutnya> tombol untuk melanjutkan.
  3. Layar berikutnya yang muncul menawarkan kemampuan untuk memilih beberapa atau semua objek yang ditemukan dalam skema. Awalnya Pemilihan Objek akan muncul tampilan sebagai berikut:
  4. Klik ikon panah kanan ganda untuk memindahkan semua objek dari Tersedia samping Dipilih sisi seperti yang ditunjukkan di bawah ini. Kemudian klik tombol Berikutnya> tombol untuk melanjutkan.
  5. Ringkasan dan Impor layar akan muncul berikutnya. Tinjau layar untuk memastikan bahwa semua objek telah dipilih dan klik tombol Selesai tombol untuk menyelesaikan impor.
  6. Sebuah Hasil Impor layar ringkasan akan muncul. Klik tombol Oke tombol untuk menutupnya.
  7. Dalam Oracle Warehouse Builder Projects Navigator, database ORDER_ENTRY akan diisi dengan semua objeknya termasuk tabel seperti yang ditunjukkan di bawah ini:

Pada titik ini modul database baru untuk skema database Oracle Order Entry telah dibuat dan semua metadata skema telah diimpor ke Oracle Warehouse Builder. Dalam rangkaian langkah berikutnya, Profil Data baru akan dibuat.

Membuat Profil Data di Oracle Warehouse Builder

Langkah utama berikutnya adalah membuat Profil Data .

  1. Pada Oracle Warehouse Builder Projects Navigator, klik kanan pada Data Profiles grup dan pilih Profil Data Baru
  2. Saat layar Selamat Datang muncul, klik tombol Berikutnya> tombol
  3. Berikan nama dan deskripsi Profil Data baru. Dalam contoh ini kami memberi nama profil baru:Order_Entry_Schema_Profile (perhatikan bahwa spasi tidak diperbolehkan dalam nama profil). Klik tombol Berikutnya> tombol untuk melanjutkan.
  4. Layar berikutnya menyediakan daftar objek skema. Buka Tabel folder dan tambahkan semua tabel (dengan pengecualian PURCHASEORDER table) terdaftar di bawah Database Order Entry ke Terpilih sisi layar.
    Jangan tambahkan tampilan apa pun.
    Klik tombol Berikutnya> tombol untuk melanjutkan.
  5. Pada titik ini Ringkasan layar akan muncul dan Profil Data telah diatur. Klik tombol Selesai tombol.
  6. Setelah Profil baru disiapkan, Editor Profil Data layar akan muncul.

Langkah selanjutnya adalah menjalankan profiler pada skema.

Bekerja dengan Editor Profil di Oracle Warehouse Builder

Langkah utama terakhir adalah bekerja di Editor Profil untuk memulai pekerjaan pembuatan profil data dan kemudian melihat hasilnya. Jika Anda telah mengikuti langkah-langkah sebelumnya untuk membuat Profil Data baru, maka OWB seharusnya telah meluncurkan Editor Profil Data . Semua instruksi dari titik ini mengasumsikan kita bekerja di Editor Profil Data.

  1. Di bawah ini adalah tampilan Editor Profil Data. Perhatikan bahwa modul database ORDER_ENTRY dibuka di Profile Objects jendela dan semua tabel harus dicantumkan di sini.
  2. Anda dapat membuat perubahan pada langkah-langkah pembuatan profil oleh bagian Pemeriksa Properti seperti Konfigurasi Muat dan Konfigurasi Agregasi . Deskripsi pengaturan ini dapat ditemukan di tautan ini.
    Untuk contoh ini, pastikan default pembuatan profil berikut dipilih:

    • Aktifkan Penemuan Format Umum
    • Aktifkan Penemuan Jenis
    • Aktifkan Penemuan Pola
    • Aktifkan Penemuan Domain
    • Aktifkan Penemuan Kunci Unik
    • Aktifkan Penemuan Ketergantungan Fungsional
    • Aktifkan Penemuan Kolom yang Berlebihan
    • Aktifkan Profil Aturan Data
  3. Untuk memulai tugas Pembuatan Profil Data, tarik ke bawah Profil menu dan pilih Profil
  4. Setelah pekerjaan Profil dimulai, kotak dialog akan muncul yang menunjukkan kemajuan dalam memvalidasi profil. Ini bisa memakan waktu beberapa menit tergantung pada kecepatan server dan jumlah objek database di profil.
  5. Saat langkah validasi selesai, pekerjaan profil yang sebenarnya akan dijalankan. Perhatikan bahwa pekerjaan ini berjalan secara tidak sinkron di latar belakang. Klik tombol Oke tombol untuk menutup Profil Dimulai kotak dialog.
  6. Setelah pekerjaan profil selesai, Ambil hasil Profil layar akan muncul. Klik Ya untuk mengambil hasil profil ke Editor Profil.
  7. Hasil profil akan muncul di Editor Profil. Klik nama tabel untuk melihat metadata di Kanvas hasil Profil . Klik nama kolom untuk melihat spesifikasi kolom di Panel Pengeboran Data
    Pada gambar di bawah ini (klik untuk gambar yang lebih besar), PELANGGAN tabel telah dipilih untuk dilihat di Kanvas Hasil Profil, dan NLS_TERRITORY kolom telah dipilih untuk dilihat di Panel Bor Data.

Informasi lebih lanjut tentang Profil Data OWB Oracle

Selain dokumentasi, Oracle juga menyediakan serangkaian tutorial Oracle By Example (OBE) untuk OWB termasuk:Oracle Warehouse Builder:Memeriksa Sumber Data Menggunakan Data Profiling.


  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. ORA-12154 tidak dapat menyelesaikan pengidentifikasi koneksi yang ditentukan

  2. Cara bekerja dengan Fungsi tanggal di Oracle sql

  3. Perusahaan Perangkat Lunak yang mengerjakan Oracle D2k, Teknologi PLSQL di Noida

  4. PL/SQL hak istimewa yang tidak mencukupi dalam kueri dimungkinkan secara manual

  5. Dapatkan tipe data bidang dalam pernyataan pilih di ORACLE