Nama-nama produk perangkat lunak IRI dan cara kerjanya terkadang menjadi sumber misteri, atau bahkan kebingungan, bagi yang belum tahu. Artikel ini menjelaskan bagian-bagiannya dan memperjelas interaksinya, memberikan panduan cepat untuk calon pengguna, mitra, dan analisis industri baru st.
Dari Mana Semuanya Dimulai
Ini dimulai dengan IRI CoSort pada tahun 1978, penyortiran data besar, transformasi, dan utilitas pelaporan untuk Unix dan Windows masih digunakan secara luas sampai sekarang. Sebelum CoSort, produk IRI pertama ini disebut CO-SORT, COSORT, dan CoSORT, dalam urutan tersebut.
Pada tahun 1992, IRI menambahkan sintaks definisi data Sort Control Language (SortCL) dan program manipulasi ke utilitas dan API lain dalam paket CoSort. Saat ini, SortCL adalah UI yang paling banyak digunakan dan penuh fitur dalam paket CoSort.
Skrip SortCL menentukan, dan program sortcl berjalan, pekerjaan yang melakukan dan menggabungkan banyak gerakan data umum dan tugas pemetaan yang perlu dijalankan oleh pengguna CoSort. SortCL tidak hanya 4GL sederhana untuk dipelajari, dibaca, dan dimodifikasi, tetapi juga didukung melalui API (disebut sortcl_routine), dan secara grafis di IRI Workbench IDE gratis, yang dibangun di atas Eclipse.
Saat fungsionalitas SortCL diperluas, ini melampaui pasar CoSort tradisional untuk migrasi sortir dan akselerasi BI/DW. Saat ini, SortCL yang dapat dieksekusi bukan hanya mesin yang menjalankan sebagian besar pekerjaan CoSort, tetapi juga merupakan jantung dari beberapa produk spin-off, yang diilustrasikan di sini:
Produk Spin-Off CoSort / SortCL
Secara khusus, mesin SortCL yang sama dan skrip pekerjaan yang kompatibel — biasanya dirancang dan sering dikelola dari IRI Workbench, memproses sumber data terstruktur di:
- IRI FieldShield dan IRI DarkShield untuk penyembunyian data
- IRI RowGen untuk sintesis data pengujian dan subset basis data
- IRI NextForm untuk konversi dan replikasi data dan database dan,
- Pekerjaan platform manajemen data IRI Voracity, yang mencakup pekerjaan di CoSort dan produk yang ditautkan di atas, plus kemampuan front-end tambahan melalui GUI Workbench umum, seperti:
- Penemuan data (pembuatan profil, klasifikasi, dan penelusuran)
- Data warehouse ETL, CDC, dan SDC
- Migrasi dan pembuatan prototipe Data Vault 2.0
- Kualitas data (validasi, pembersihan, homogenisasi)
- Analitik atau perselisihan data untuk Splunk dan KNIME, dan alat BI lainnya melalui handoff
Cara lain untuk melihat hierarki produk adalah dengan cara ini:
di mana Workbench IDE adalah tempat semua pekerjaan produk IRI dirancang — termasuk fitur tambahan yang didukung di Voracity.
Pertanyaan yang Sering Diajukan
Karena SortCL dimulai dengan CoSort, dan umum untuk semua produk ini, apakah ini berarti saya dapat menggunakan CoSort atau produk lain di atas untuk melakukan apa yang dilakukan produk lain juga?
Jawabannya adalah ya dan tidak. Ya, Anda memiliki SortCL, dan secara teori dapat menyelesaikan beberapa pekerjaan yang sama yang dilakukan oleh produk IRI lain yang kompatibel dengan SortCL. Tapi itu akan lebih sulit dan mewakili risiko produksi. IRI hanya menyediakan dokumentasi dan dukungan untuk tugas yang paling terkait dengan produk IRI berlisensi Anda.
Oleh karena itu, kemampuan crossover terbatas dalam praktiknya. Namun demikian, fungsionalitas kombinasi umum dalam banyak kasus (seperti subset DB yang diurutkan), dan di Voracity, kasus penggunaan multi-tugas, multi-langkah (seperti pemetaan inkremental, masking, pembersihan, dan pemformatan ulang) sangat efisien dan didukung penuh.
SortCL adalah mesin default di semua IRI Voracity CDC, ETL, CDC, pembersihan, rekonsiliasi, subsetting ,
Tugas penyamaran PII, sintesis data uji, konversi, pemformatan ulang, perselisihan, analitik, dan pelaporan.
Arsitektur Waktu Proses
Sekarang setelah Anda mengetahui nama produk, mari kita bahas bagaimana produk tersebut saling terkait dan diterapkan.
Perangkat lunak IRI biasanya beroperasi dalam model klien/server, di mana pekerjaan yang kompatibel dengan SortCL ditentukan dalam lingkungan pengeditan front-end seperti IRI Workbench atau editor teks lainnya, atau melalui IRI API. Pekerjaan tersebut biasanya dijalankan di program back-end SortCL pada mesin Linux, Unix atau Windows (fisik atau virtual), di tempat atau di cloud:
Beberapa pekerjaan yang ditulis dalam sintaks SortCL juga dapat berjalan tanpa modifikasi secara langsung di Map Reduce 2, Spark, Spark Stream, Story, atau Tez untuk pemegang lisensi edisi Voracity Grid (VGrid) untuk Hadoop.
Namun perhatikan bahwa tidak seperti banyak program ETL dan penyamaran data lainnya, tidak ada server CoSort di mana SortCL harus dijalankan atau dikelola secara terpusat. SortCL yang ringan dapat dijalankan di mana saja dari Raspberry Pi hingga mainframe z/Linux.
Oleh karena itu, menurut diagram di atas, biasanya situs memiliki instans pengujian dan QA SortCL yang diinstal pada laptop pengembang yang menjalankan IRI Workbench, serta pada file atau server database terpusat untuk mengoptimalkan kinerja. FAQ ini mencakup pertanyaan tentang di mana melisensikan SortCL dalam konteks produk penyamaran data IRI, misalnya, dan bagaimana memperhitungkan biayanya.
Jika Anda memiliki pertanyaan tentang produk IRI yang Anda butuhkan, atau cara terbaik untuk menerapkannya pada perangkat keras yang Anda miliki (atau berencana untuk menyediakan), silakan hubungi perwakilan IRI Anda.
