Database
 sql >> Teknologi Basis Data >  >> RDS >> Database

Replikasi Data Inkremental di IRI Workbench

Artikel pertama kami tentang replikasi data di GUI Workbench IRI untuk NextForm (edisi DB) atau Voracity menunjukkan cara menyalin dan mengubah data saat dipindahkan dari Oracle ke dua target. Artikel ini menunjukkan cara menyinkronkan tabel produksi dan pencadangan secara bertahap di database terpisah.

Dalam hal ini, database produksinya adalah Oracle, database cadangannya adalah MySQL, dan tabelnya diberi nama SG_TRANSACTIONS di keduanya. Terdapat baris transaksi yang berisi nomor rekening, jenis transaksi, tanggal transaksi, dan jumlah transaksi dengan kolom nama ACCT_NUM, TRANSTYPE, TRANS_DATE, dan TRANS_AMOUNT.

Perhatikan bahwa Anda juga dapat membuat tabel dengan mendefinisikan dan menjalankan pernyataan dalam file SQL dalam IRI Workbench.

Jalankan Wizard

Ada wizard di IRI Workbench yang dapat digunakan untuk membuat skrip pekerjaan migrasi yang akan menyalin baris dari satu tabel ke tabel lainnya. Dalam hal ini, kami akan mereplikasi data dari tabel ORACLE SG_TRANSACTIONS ke tabel MySQL SG_TRANSACTIONS.

Saya sebelumnya membuat proyek Replikasi. Kita harus mengklik folder itu di Project Explorer untuk menyorot proyek sebelum menjalankan wizard. Ini memastikan bahwa wizard akan menyimpan skrip pekerjaan saya di folder itu. Pekerjaan replikasi kami akan dibuat melalui wizard yang tersedia dari Menu Formulir Berikutnya di bilah alat.

Untuk menjalankan wizard, klik panah di sebelah ikon NextForm. Perhatikan bahwa di artikel sebelumnya kami menggunakan Tugas Format Ulang Baru wizard karena salah satu target difilter, ditutupi, dan diformat ulang. Karena kasus ini adalah replikasi langsung, kami akan menggunakan Tugas Migrasi Sumber Tunggal Baru sebagai gantinya.

Pada layar pertama wizard yang disebut File Spesifikasi Pekerjaan , verifikasi bahwa Folder bidang memiliki Replikasi sebagai nilai (nama proyek). Di Nama File field, ketikkan nama skrip pekerjaan yang kita buat; Saya menyebutnya SG_Transaction_Transfer. Pilih Buat skrip tombol radio, lalu pilih Berikutnya untuk membuka Migrasi Sumber Tunggal jendela.

Di bawah Informasi Sumber , pilih Jelajahi tombol di sebelah Sumber bidang. Sekarang pilih ODBC tombol radio di Sumber Data jendela, dan klik Jelajahi tombol.

Dalam Pemilihan Tabel ODBC jendela, pilih DSN dari daftar tarik-turun; lalu pilih Nama tabel, dan klik Oke . ODBC digunakan untuk terhubung ke tabel database sumber dan target kami saat memindahkan data menggunakan skrip pekerjaan kami. Klik Oke lagi untuk kembali ke Migrasi Sumber Tunggal jendela.


Jelajahi atau Temukan Metadata Sumber Anda

Semua program IRI memerlukan tata letak metadata untuk sumber dan target data Anda dalam format file definisi data (DDF) standar. Tata letak ini biasanya dibuat sekali, disimpan secara terpusat, dan digunakan sebagai referensi untuk pemetaan dan model Anda.

Jika file metadata telah dibuat, maka di bawah Informasi Sumber , klik Jelajahi tombol di sebelah Metadata bidang. Di Buka Metadata jendela, pilih file metadata di Item yang Cocok kotak yang mendefinisikan kolom di SG_TRANSACTIONS meja. Kemudian klik Oke untuk kembali ke Migrasi Sumber Tunggal jendela.

Jika Anda perlu membuat file metadata sekarang, pilih Temukan tombol. Ini membawa Anda ke Penyiapan Opsi jendela. Verifikasi bahwa folder tersebut adalah /nama proyek Anda /metadata. Di Nama file bidang, ketik nama untuk file metadata dan klik Berikutnya . Dalam Identifikasi Sumber Data jendela, verifikasi bahwa bidang diisi dengan benar dan klik Berikutnya untuk membuka Penampil dan Editor Data Bidang jendela.

Bagian atas jendela memiliki nama kolom dan contoh catatan dalam tabel, jika ada. Setengah bagian bawah memiliki bidang Nama untuk digunakan dalam skrip pekerjaan, data setara IRI Ketik untuk database asli Jenis Sumber , dan Posisi or ordinal bidang (kolom). Klik Selesai .


Sekarang Anda kembali ke Migrasi Sumber Tunggal jendela.

Tentukan Target

Di bawah Informasi Target , pilih Jelajahi tombol di sebelah bidang untuk Target . Sekarang, di Target Data jendela, pilih ODBC tombol radio dan klik Jelajahi tombol di sebelah ODBC bidang. Kemudian pilih output DSN dan Nama tabel (Twister MYSQL dan SG_Transactions) di Pemilihan Tabel ODBC jendela. Pastikan untuk memilih kotak untuk Salin metadata dari sumber . Klik Oke, dan klik Oke lagi.

Semua informasi yang diperlukan sekarang ada di Migrasi Sumber Tunggal jendela. Klik Selesai .


Skrip bahasa kontrol NextForm SG_Transaction_Transfer.ncl dibuat dan dapat dilihat di IRI Workbench kode warna, editor teks sadar sintaks.

Replikasi Catatan Baru

Script ini akan menyalin semua baris yang ada di SG_TRANSACTIONS tabel di Oracle ke tabel bernama sama di MySQL. Tapi, setelah eksekusi pertama, kami hanya ingin menyalin baris baru ke tabel cadangan. Untuk melakukan ini, kita perlu menambahkan pernyataan /QUERY ke bagian input skrip pekerjaan sehingga hanya baris terbaru yang akan diproses setiap kali Anda menjalankan pekerjaan (ad hoc atau terjadwal).

Untuk memodifikasi skrip dari editor IRI Workbench, klik kanan di badan skrip. Pilih IRI , lalu Edit Sumber . Di Sumber Data jendela dialog, pilih Edit Opsi Sumber .

Di bagian bawah Opsi Sumber jendela adalah Query bidang. Di sinilah kita menambahkan pernyataan query SQL yang hanya akan memilih baris terbaru dari tabel Oracle. Kami akan menganggap bahwa ini adalah proses akhir bulan. Pernyataan QUERY di bawah memfilter baris untuk interval satu bulan, tetapi kita dapat memilih interval apa pun. Alih-alih menggunakan tanggal tertentu dalam skrip, kita juga dapat menggunakan variabel lingkungan untuk menentukan interval.

select * from NIGHTLY.SG_TRANSACTIONS where to_char(TRANS_DATE, 'YYYY-MM-DD') > 
'2016-11-30' AND  (to_char(TRANS_DATE, 'YYYY-MM-DD') < '2017-01-01')"

Sekarang klik OK , lalu Selesai untuk memperbarui dan menyimpan skrip pekerjaan asli yang dibuat oleh wizard dengan pernyataan /QUERY baru di dalamnya:

Pertama kali skrip dijalankan, pernyataan /QUERY harus dikomentari karena kita ingin semua record disalin. Setelah itu, kami ingin menjalankan dengan pernyataan /QUERY untuk mereplikasi baris dari interval tanggal yang belum disalin ke tabel cadangan.

Pekerjaan ini dapat dijalankan dari GUI atau baris perintah di mana edisi DB NextForm, Voracity, atau CoSort (sortcl) executable dilisensikan.

Berikut adalah contoh baris dalam tabel produksi:

Dan berikut adalah contoh baris di tabel pencadangan sebelum menjalankan pencadangan akhir bulan Desember. Jadi, baris dalam tabel ini saat ini hanya sampai akhir November.

Setelah menjalankan tugas replikasi kami dengan pernyataan /QUERY di dalamnya, hanya catatan Desember yang ditambahkan ke tabel cadangan. Perhatikan ada satu record Januari di tabel produksi, tapi record ini belum disalin ke tabel backup karena nilai tanggal untuk baris itu di luar rentang yang kita tentukan.

Dimungkinkan juga untuk menambahkan fungsi masking tingkat kolom ke setiap target, seperti yang ditunjukkan oleh pekerjaan di bawah ini:

Lihat contoh replikasi antara Oracle dan MongoDB ini. Untuk bantuan mereplikasi data satu kali atau berulang, kirim email ke [email protected].


  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Bagaimana Merancang Model Database untuk Sistem Reservasi Bioskop

  2. Memisahkan String:Sebuah Tindak Lanjut

  3. Sistem informasi, data dan informasi

  4. Tidak ada bentuk caching basis data untuk mengurangi kueri basis data duplikat.

  5. Cara Mengganti Bagian dari String di T-SQL