Menjadwalkan transfer Oracle

Dengan konektor BigQuery Data Transfer Service untuk Oracle, Anda dapat menjadwalkan dan mengelola tugas pemuatan berulang secara otomatis dari Oracle ke BigQuery.

Batasan

Transfer Oracle tunduk pada batasan berikut:

  • Jumlah maksimum koneksi serentak ke database Oracle terbatas, dan akibatnya, jumlah transfer serentak yang berjalan ke satu database Oracle dibatasi hingga jumlah maksimum tersebut.
  • Anda harus menyiapkan lampiran jaringan jika IP publik tidak tersedia untuk koneksi database Oracle, dengan persyaratan berikut:
    • Sumber data harus dapat diakses dari subnet tempat lampiran jaringan berada.
    • Lampiran jaringan tidak boleh berada di subnet dalam rentang 240.0.0.0/24.
    • Lampiran jaringan tidak dapat dihapus jika ada koneksi aktif ke lampiran. Untuk menghapus lampiran jaringan, hubungi Cloud Customer Care.
    • Untuk multi-region us, lampiran jaringan harus berada di region us-central1. Untuk multi-region eu, lampiran jaringan harus berada di region europe-west4.
  • Konsol Google Cloud hanya mendukung penggunaan peran pengguna Oracle NORMAL ke konektor Oracle ke BigQuery Data Transfer Service. Anda harus menggunakan BigQuery CLI untuk terhubung menggunakan peran pengguna Oracle SYSDBA dan SYSOPER.
  • Waktu interval minimum antar-transfer Oracle berulang adalah 15 menit. Interval default untuk transfer berulang adalah 24 jam.

Sebelum memulai

Bagian berikut menjelaskan langkah-langkah yang perlu Anda lakukan sebelum membuat transfer Oracle.

Prasyarat Oracle

Anda juga harus memiliki informasi database Oracle berikut saat membuat transfer Oracle.

Nama Parameter Deskripsi
database Nama database.
host

Nama host atau alamat IP database.

port

Nomor port database.

username

Nama pengguna untuk mengakses database.

password

Sandi untuk mengakses database.

connectionType

Jenis koneksi. Ini dapat berupa SERVICE, SID, atau TNS.

oracleObjects

Daftar objek Oracle yang akan ditransfer.

Prasyarat BigQuery

Peran BigQuery yang diperlukan

Untuk mendapatkan izin yang diperlukan guna membuat transfer, minta administrator untuk memberi Anda peran IAM BigQuery Admin (roles/bigquery.admin). Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat transfer. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat transfer:

  • bigquery.transfers.update pada pengguna
  • bigquery.datasets.get pada set data target
  • bigquery.datasets.update pada set data target

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Menyiapkan transfer data Oracle

Pilih salah satu opsi berikut:

Konsol

  1. Buka halaman Data transfers di konsol Google Cloud.

    Buka Data transfers

  2. Klik Create transfer.

  3. Di bagian Source type, untuk Source, pilih Oracle.

  4. Di bagian Detail sumber data, lakukan hal berikut:

    • Untuk Network attachment, pilih lampiran jaringan yang ada atau klik Create Network Attachment.
    • Untuk Host, masukkan nama host atau IP database.
    • Untuk Port, masukkan nomor port yang digunakan database Oracle untuk koneksi masuk, seperti 1520.
    • Untuk Database name, masukkan nama database Oracle.
    • Untuk Jenis koneksi, masukkan jenis URL koneksi, baik SERVICE, SID, atau TNS.
    • Untuk Nama pengguna, masukkan nama pengguna pengguna yang memulai koneksi database Oracle.
    • Untuk Sandi, masukkan sandi pengguna yang memulai koneksi database Oracle.
    • Untuk Objek Oracle yang akan ditransfer, klik BROWSE untuk memilih tabel yang akan ditransfer ke set data tujuan BigQuery.

      • Anda juga dapat memasukkan objek apa pun secara manual untuk disertakan dalam transfer data di kolom ini.

      Mengonfigurasi konfigurasi transfer Oracle

  5. Di bagian Destination settings, untuk Dataset, pilih set data yang Anda buat untuk menyimpan data.

  6. Di bagian Transfer config name, untuk Display name, masukkan nama untuk transfer data.

  7. Di bagian Schedule options:

    • Dalam daftar Repeat frequency, pilih opsi untuk menentukan frekuensi transfer data ini dijalankan. Untuk menentukan frekuensi pengulangan kustom, pilih Custom. Jika Anda memilih On-demand, transfer ini akan berjalan saat Anda memicu transfer secara manual.

    • Jika berlaku, pilih Start now atau Start at set time dan masukkan tanggal mulai dan waktu proses.

  8. Di menu Service Account, pilih service account yang terkait dengan project Google Cloud Anda. Akun layanan yang dipilih harus memiliki peran yang diperlukan untuk menjalankan transfer data ini.

    Jika Anda login dengan identitas gabungan, akun layanan diperlukan untuk membuat transfer data. Jika Anda login dengan Akun Google, akun layanan untuk transfer bersifat opsional.

    Untuk mengetahui informasi selengkapnya tentang cara menggunakan akun layanan dengan transfer data, lihat Menggunakan akun layanan.

  9. Opsional: Di bagian Opsi notifikasi, lakukan hal berikut:

    • Untuk mengaktifkan notifikasi email, klik tombol Notifikasi email. Jika Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat proses transfer gagal.
    • Untuk mengaktifkan notifikasi operasi transfer Pub/Sub untuk transfer ini, klik tombol Notifikasi Pub/Sub. Anda dapat memilih nama topik, atau klik Create a topic untuk membuatnya.
  10. Klik Simpan.

bq

Masukkan perintah bq mk dan berikan flag pembuatan transfer --transfer_config:

bq mk \
    --transfer_config \
    --project_id=PROJECT_ID \
    --data_source=DATA_SOURCE \
    --display_name=DISPLAY_NAME \
    --target_dataset=DATASET \
    --params='PARAMETERS'

Dengan keterangan:

  • PROJECT_ID (opsional): project ID Google Cloud Anda. Jika --project_id tidak diberikan untuk menentukan project tertentu, project default akan digunakan.
  • DATA_SOURCE: sumber data — oracle.
  • DISPLAY_NAME: nama tampilan untuk konfigurasi transfer. Nama transfer data dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.
  • DATASET: set data target untuk konfigurasi transfer.
  • PARAMETERS: parameter untuk konfigurasi transfer yang dibuat dalam format JSON. Contoh: --params='{"param":"param_value"}'. Berikut adalah parameter untuk transfer data Oracle:

    • connector.networkAttachment (opsional): nama lampiran jaringan untuk terhubung ke database Oracle.
    • connector.authentication.Username: nama pengguna akun Oracle.
    • connector.authentication.Password: sandi akun Oracle.
    • connector.database: nama database Oracle.
    • connector.endpoint.host: nama host atau IP database.
    • connector.endpoint.port: nomor port yang digunakan database Oracle untuk koneksi masuk, seperti 1520.
    • connector.connectionType: jenis URL koneksi, baik SERVICE, SID, atau TNS.
    • assets: jalur ke objek Oracle yang akan ditransfer ke BigQuery, menggunakan format: DATABASE_NAME/SCHEMA_NAME/TABLE_NAME

Misalnya, perintah berikut akan membuat transfer data Oracle di project default dengan semua parameter yang diperlukan:

bq mk \
    --transfer_config \
    --target_dataset=mydataset \
    --data_source=oracle \
    --display_name='My Transfer' \
    --params='{"assets":["DB1/USER1/DEPARTMENT","DB1/USER1/EMPLOYEES"], \
        "connector.authentication.username": "User1", \
        "connector.authentication.password":"ABC12345", \
        "connector.database":"DB1", \
        "Connector.endpoint.host":"192.168.0.1", \
        "Connector.endpoint.port":"1520", \
        "connector.connectionType":"SERVICE", \
        "connector.networkAttachment": \
        "projects/dev-project1/regions/us-central1/networkattachments/na1"}'

API

Gunakan metode projects.locations.transferConfigs.create dan berikan instance resource TransferConfig.

Memecahkan masalah penyiapan transfer

Jika Anda mengalami masalah saat menyiapkan transfer data, lihat Masalah transfer Oracle.

Harga

Tidak ada biaya untuk mentransfer data Oracle ke BigQuery saat fitur ini dalam Pratinjau.

Langkah selanjutnya