BigQuery adalah gudang data tanpa server terkelola di Google Cloud yang dirancang untuk memungkinkan analisis skalabel pada petabyte data. Ini adalah Platform basis data relasional sebagai Layanan (PaaS) yang mendukung kueri ANSI SQL. Dengan demikian, ini berfungsi dengan perangkat lunak IRI.
Menghubungkan Google BigQuery RDB ke IRI Workbench dan program pemrosesan SortCL back-end itu sederhana, dan memungkinkan pergerakan dan manipulasi data terstrukturnya melalui produk IRI yang kompatibel. Ini berarti IRI CoSort, FieldShield, NextForm dan RowGen, atau platform IRI Voracity yang mencakup semuanya.
Konektivitas mengikuti paradigma yang sama seperti semua database relasional lainnya yang didukung IRI. Ini berarti pengunduhan dan penginstalan driver ODBC dan JDBC, konfigurasi (menggunakan dan menguji dengan kredensial Anda), pendaftaran, dan validasi.
Karena Workbench dibuat di Eclipse, ia memerlukan koneksi JDBC untuk melihat skema BigQuery dan mengurai metadata tabel. Dan untuk meneruskan data antara BigQuery dan mesin manipulasi data SortCL, driver ODBC juga diperlukan. Hasil akhirnya bisa seperti ini:
Google telah bekerja sama dengan Magnitude Simba untuk menyediakan driver ODBC dan JDBC untuk terhubung ke BigQuery. Namun, pada saat penulisan ini, driver JDBC-nya tidak memiliki fungsi utama yang dibutuhkan Workbench. Untuk menyiasatinya, gunakan driver JDBC dari CData.
Artikel ini memberikan petunjuk langkah demi langkah bagi software IRI untuk mengakses BigQuery.
Akun Layanan di BigQuery
BigQuery mengotorisasi akses ke resource berdasarkan identitas terverifikasi, yang memerlukan ID pengguna dalam bentuk akun layanan dan kunci/sandi. Untuk membuat identitas terverifikasi, login ke BigQuery, buka Akun Layanan di bagian IAM &Admin, lalu buat akun:
Bidang pertama membuat nama akun layanan, untuk pengaturan saya, saya menyebutnya iri-simba. Kolom kedua akan otomatis diisi dengan alamat email akun layanan menggunakan nama yang Anda pilih. Kolom terakhir dapat dilewati. Klik Buat dan Lanjutkan.
Sekarang setelah akun layanan dibuat, kita dapat beralih ke jenis izin yang dapat dimiliki akun ini. Klik Pilih peran dan cari BigQuery untuk menambahkan peran spesifik untuk database.
Mengarahkan kursor ke setiap peran akan memberi Anda deskripsi singkat tentang jenis akses yang akan diberikan peran ini ke akun layanan; temukan penjelasan lebih detail di sini. Ini memungkinkan kontrol yang lebih besar dalam memberikan izin kepada pengguna tertentu seperti kemampuan untuk dapat melihat tabel, membuat kueri, atau menjalankan sebagai administrator.
Saya memilih peran Pengguna BigQuery, yang akan memungkinkan akun layanan ini melihat dan memanipulasi tabel. "Berikan akses pengguna ke akun layanan ini" dilewati. Mengklik Selesai membawa Anda kembali ke halaman utama akun layanan tempat Anda dapat melihat akun:
Pindah ke bagian kedua, mari kita buat kunci yang akan dikaitkan dengan akun layanan baru. Di bidang Tindakan, klik Kelola Kunci untuk membuat kunci untuk akun layanan — baik dengan menambahkan kunci Anda sendiri atau membuatnya untuk Anda.
Jika Anda meminta Google membuat kunci Anda, itu akan memberi Anda dua opsi jenis kunci, JSON atau P12. Pilih tipe JSON karena kunci ini juga akan digunakan untuk driver JDBC yang menggunakan format JSON.
Ketika kunci JSON dibuat, itu akan diunduh ke komputer. Anda dapat menempatkannya di mana pun Anda suka, tetapi ingat jalurnya karena ini akan digunakan dalam menyiapkan driver ODBC dan JDBC.
Sekarang akun layanan telah dibuat dan memiliki kunci yang akan bertindak sebagai kata sandi, mari kita beralih ke mengunduh koneksi ODBC dan menyiapkannya.
ODBC – Unduh dan Konfigurasi
Saya menggunakan sistem operasi Windows dan memilih versi Windows 64-bit untuk kompatibilitas dengan CoSort V10.5 SortCL yang dapat dieksekusi. Setelah Anda mengikuti instruksi dan menerima perjanjian lisensi untuk Penginstal Simba, buka ODBC Data Source Administrator (64-bit) untuk mengonfigurasi koneksi.
Cukup tambahkan dan cari driver bernama “Simba ODBC Driver for Google BigQuery”.
Dengan driver yang dipilih, halaman pengaturan akan terlihat seperti ini:
Di sini konfigurasinya sangat sederhana, dimulai dengan nama sumber data.
Saya memilih nama Google BigQuery tetapi Anda dapat memilih nama apa pun untuk kasus penggunaan Anda.
Untuk otentikasi, simpan opsi default Akun Layanan dan pindah ke email. Di sini Anda dapat menyalin dan menempelkan email akun layanan yang telah dibuat sebelumnya di artikel ini.
Bidang di bawah ini (Jalur File Kunci) menggunakan jalur ke file kunci JSON sebagai input. Di bagian bawah yang menyatakan Katalog (Proyek) klik menu tarik-turun. Jika semuanya dikonfigurasi dengan benar, itu harus menunjukkan nama proyek dan node yang berisi kumpulan data dan tabel.
Anda dapat melakukan hal yang sama untuk opsi Dataset, klik menu tarik-turun untuk memilih kumpulan data tertentu atau biarkan kosong untuk melihat semua kumpulan data dalam proyek ini. Terakhir, uji koneksi untuk memastikan semuanya berfungsi dengan benar.
Ketika ODBC diatur, kita dapat mengkonfigurasi driver JDBC.
JDBC – Unduh dan Konfigurasi
Unduh driver JDBC dari CData di sini. Setelah instalasi selesai akan ada folder bernama GoogleBigQueryJDBCDriver dengan setup.jar di dalamnya.
Setup.jar akan menginstal semua file yang diperlukan agar koneksi JDBC berfungsi. Ini juga berisi toples khusus untuk membantu membuat URL koneksi untuk driver JDBC.
Setelah setup.jar menyelesaikan instalasi, kita harus menyiapkan konfigurasi di Workbench. Di Data Source Explorer (di dalam Workbench), tambahkan koneksi baru dengan mengklik Profil Koneksi Baru .
Sebuah pop akan muncul (seperti gambar di bawah) dan memberikan beberapa pilihan pada jenis koneksi yang dapat dibuat. Pilih JDBC Generik dan beri nama seperti BigQuery, ini akan membuatnya mudah dikenali di Penjelajah Sumber Data.
Halaman berikutnya akan mengarahkan Anda untuk mengatur driver dan memberikan detail koneksi. Klik Definisi Driver Baru yang terlihat seperti kompas dengan tanda plus berwarna hijau.
Halaman berikut memungkinkan Anda untuk memberikan nama khusus untuk driver jika diinginkan. Pindah ke tab Daftar JAR, di sinilah toples yang diperlukan ditambahkan agar driver JDBC berfungsi.
Jika lokasi default digunakan saat menginstal file untuk driver JDBC, lokasinya harus berada di folder Program Files dengan nama CData. Di dalam folder lib ada file Jar bernama cdata.jdbc.googlebigquery.GoogleBigQueryDriver , tambahkan toples itu ke daftar dan lanjutkan ke tab Properties.
*Jalur default terlihat pada gambar di bawah jika ada masalah dalam menemukan file jar*
Di tab Properties, kita perlu membuat URL koneksi, memberi nama ke Database, dan menentukan Kelas Driver. Berfokus pertama pada pembuatan URL koneksi, di File Explorer temukan file jar yang baru saja ditambahkan dan jalankan.
Ini akan membantu membuat URL koneksi dalam format yang disarankan CDData. Seperti terlihat pada gambar di bawah, ada properti di sebelah kiri yang perlu diatur untuk membuat URL koneksi.
CData memiliki dokumentasi tentang properti mana yang perlu diatur tergantung pada bagaimana pengguna memilih untuk mengautentikasi. Karena kami mengautentikasi dengan Akun Layanan, properti yang perlu disetel tercantum di bawah ini.
- AuthScheme – Setel ke OAuthJWT
- ProjectID – Terletak di beranda BigQuery
- InitiateOAuth – Setel ke GETANDREFRESH
- OAuthJWTCertType – Setel ke GOOGLEJSON
- OAuthJWTCert – Jalur ke file .json yang disediakan oleh Google
Setelah semua properti disetel, uji koneksi untuk memastikan semuanya berfungsi. Jika berhasil, salin string koneksi di bagian bawah. Jika Anda keluar tanpa menyalin URL koneksi, Anda harus menyetel properti lagi.
Kembali ke Workbench, tempel URL di sebelah properti Connection URL dan tambahkan nama database untuk properti Database Name. Untuk properti Kelas Pengemudi, ada tombol dengan tiga titik di bidang kosong.
Klik di atasnya dan itu akan memberi Anda opsi untuk memasukkan nama kelas driver atau memintanya memindai Daftar JAR untuk driver. Setelah semuanya selesai, tampilannya akan seperti ini:
Klik Oke dan Anda akan diarahkan kembali ke halaman "Specify a Driver and Connection Details". Tidak perlu menambahkan nama pengguna atau kata sandi karena semua informasi ada di URL koneksi. Uji koneksi untuk terakhir kalinya dan klik selesai.
Profil koneksi sekarang akan terlihat di Data Source Explorer dan skema/tabel dapat dilihat setelah Anda mengklik kanan pada profil dan memilih terhubung.
Tugas terakhir adalah membuat Registri Koneksi Data yang memetakan DSN ke Profil Koneksi yang baru saja dibuat. Buka Menu IRI, pilih preferensi dan temukan Data Connection Registry seperti yang ditunjukkan gambar di bawah ini.
Di sebelah kiri adalah DSN dan di sebelah kanan adalah profil koneksi. Temukan DSN yang dibuat di bagian ODBC di atas dan klik Edit…. Pilih DSN, versi, dan profil koneksi.
Karena DSN memiliki kredensial yang disimpan di URL koneksi, tidak perlu mengautentikasi dengan pengguna/sandi. Klik Oke dan Daftar dan Tutup untuk keluar dari menu.
Anda sekarang telah menyelesaikan langkah-langkah konektivitas database untuk Google BigQuery. Jika Anda memerlukan bantuan, kirim email ke [email protected].
