Membuat stream

Di bagian ini, Anda akan mempelajari cara membuat aliran. Datastream menggunakan stream ini untuk mentransfer data dari database sumber ke BigQuery atau Cloud Storage.

Pembuatan stream mencakup:

  • Menentukan setelan untuk streaming.
  • Memilih profil koneksi yang Anda buat, atau membuat profil koneksi.
  • Mengonfigurasi informasi tentang database sumber untuk aliran data dengan menentukan tabel dan skema dalam database sumber yang akan:
    • Dapat ditransfer ke tujuan.
    • Dibatasi agar tidak ditransfer ke tujuan.

  • Menentukan apakah Datastream akan mengisi ulang data historis, serta mengalirkan perubahan yang sedang berlangsung ke tujuan, atau hanya mengalirkan perubahan pada data. Saat mengaktifkan pengisian ulang historis, Anda dapat secara opsional menentukan skema dan tabel dalam database sumber yang tidak boleh diisi ulang oleh Datastream ke tujuan.

  • Memilih profil koneksi yang Anda buat untuk BigQuery atau Cloud Storage (profil koneksi tujuan), atau membuat profil koneksi tujuan jika Anda belum membuatnya.

  • Mengonfigurasi informasi tentang tujuan untuk aliran data. Informasi ini mencakup:

    • Untuk BigQuery:
      • Kumpulan data tempat Datastream akan mereplikasi skema, tabel, dan data dari database sumber.
    • Untuk Cloud Storage:
      • Folder bucket tujuan tempat Datastream akan mentransfer skema, tabel, dan data dari database sumber.

  • Memvalidasi aliran untuk memastikan aliran akan berjalan dengan berhasil. Memvalidasi aliran memeriksa:

    • Apakah sumber dikonfigurasi dengan benar untuk memungkinkan Datastream melakukan streaming data dari sumber tersebut.
    • Apakah aliran dapat terhubung ke sumber dan tujuan.
    • Konfigurasi aliran data secara menyeluruh.

Sebelum memulai

  • Pastikan Anda telah menyiapkan database sumber untuk replikasi. Untuk mengetahui informasi tentang langkah-langkah yang diperlukan untuk setiap jenis sumber yang didukung, lihat Mengonfigurasi sumber.
  • Cari tahu langkah-langkah yang mungkin diperlukan untuk menyiapkan negara tujuan yang Anda pilih. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi tujuan.

Menentukan setelan untuk streaming

  1. Buka halaman Streams di konsol Google Cloud .

    Buka halaman Streams

  2. Klik BUAT ALIRAN DATA.

  3. Gunakan tabel berikut untuk mengisi kolom bagian Tentukan detail aliran data di halaman Buat aliran data:

    KolomDeskripsi
    Nama aliran dataMasukkan nama tampilan streaming.
    ID Aliran DataDatastream mengisi kolom ini secara otomatis berdasarkan nama stream yang Anda masukkan. Anda dapat mempertahankan ID yang dibuat secara otomatis atau mengubahnya.
    WilayahPilih region tempat aliran disimpan. Seperti halnya semua resource, aliran data disimpan di region. Pemilihan region tidak memengaruhi apakah stream Anda dapat terhubung ke database sumber atau tujuan, tetapi dapat memengaruhi ketersediaan jika region mengalami periode nonaktif. Sebaiknya simpan semua resource untuk aliran di region yang sama dengan data sumber Anda untuk mengoptimalkan biaya dan performa.
    Jenis sumber

    Pilih jenis profil yang Anda tentukan saat membuat profil koneksi untuk sumber Anda. Atau, jika Anda belum membuat profil koneksi untuk database sumber, Anda dapat membuatnya sekarang.

    Jenis tujuanPilih jenis profil yang Anda tentukan saat membuat profil koneksi untuk tujuan BigQuery atau Cloud Storage. Atau, jika belum membuat profil koneksi untuk tujuan, Anda dapat membuatnya sekarang.
    Enkripsi

    Secara default, data Anda dienkripsi dengan kunci yang dikelola oleh Google Cloud. Jika ingin mengelola enkripsi, Anda dapat menggunakan kunci enkripsi yang dikelola pelanggan (CMEK):

    1. Centang kotak Kunci Cloud KMS.
    2. Dari menu drop-down Key type, pilih Cloud KMS, lalu pilih CMEK Anda.

    Jika Anda tidak melihat kunci Anda, klik MASUKKAN NAMA RESOURCE KUNCI untuk memberikan nama resource kunci yang ingin Anda gunakan. Misalnya, Anda dapat memasukkan projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key di kolom Key resource name, lalu mengklik SAVE.

  4. Secara opsional, gunakan label untuk mengatur resource Datastream Anda.

    1. Untuk membuat label, klik TAMBAHKAN LABEL, lalu masukkan pasangan nilai kunci untuk label.
    2. Untuk menghapus label, klik ikon tempat sampah di sebelah kanan baris yang berisi label.

  5. Secara opsional, tambahkan kebijakan pemberitahuan untuk streaming Anda. Kebijakan pemberitahuan menentukan kapan dan bagaimana Anda ingin diberi tahu tentang kegagalan streaming.

    1. Untuk membuat kebijakan pemberitahuan, klik Tambahkan kebijakan pemberitahuan.
    2. Halaman Buat kebijakan pemberitahuan akan muncul di Cloud Monitoring. Di halaman ini, Anda menentukan kebijakan pemberitahuan jika streaming Anda gagal.

    Untuk mengetahui informasi selengkapnya tentang kebijakan pemberitahuan, lihat Mengelola kebijakan pemberitahuan berbasis metrik.

  6. Tinjau prasyarat yang diperlukan yang dibuat secara otomatis guna mencerminkan cara lingkungan harus disiapkan untuk stream. Prasyarat ini dapat mencakup cara mengonfigurasi database sumber dan cara menghubungkannya ke tujuan. Sebaiknya Anda menyelesaikan prasyarat tersebut pada langkah ini, tetapi Anda dapat menyelesaikannya kapan saja sebelum menguji atau memulai streaming. Untuk mengetahui informasi selengkapnya tentang prasyarat ini, lihat Sumber.

  7. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis database sumber Anda.

Menentukan informasi tentang profil koneksi sumber

  1. Jika Anda telah membuat profil koneksi sumber, pilih profil tersebut dari daftar profil koneksi.

    Jika Anda belum membuat profil koneksi sumber, buat profil koneksi dengan mengklik BUAT PROFIL KONEKSI di bagian bawah daftar drop-down, lalu lakukan langkah-langkah yang sama seperti di Membuat profil koneksi.

  2. Klik RUN TEST untuk memverifikasi bahwa database sumber dan Datastream dapat saling berkomunikasi.

    Jika pengujian gagal, masalah yang terkait dengan profil koneksi akan muncul. Lihat halaman Mendiagnosis masalah untuk mengetahui langkah-langkah pemecahan masalah. Lakukan perubahan yang diperlukan untuk memperbaiki masalah, lalu tes ulang.

  3. Klik LANJUTKAN. Panel Konfigurasi sumber aliran data di halaman Buat aliran data akan muncul.

Mengonfigurasi informasi tentang database sumber untuk aliran data

Mengonfigurasi database sumber PostgreSQL

  1. Tentukan properti replikasi untuk database sumber PostgreSQL Anda. Di bagian Replication properties, tentukan properti berikut:
    1. Di kolom Replication slot name, masukkan nama slot yang Anda buat khusus untuk aliran ini. Server database menggunakan slot ini untuk mengirim peristiwa ke Datastream.
    2. Di kolom Publication name, masukkan nama publikasi yang Anda buat di database. Publikasi adalah grup semua tabel yang ingin Anda replikasi perubahannya menggunakan aliran ini.
  2. Di bagian Pilih objek yang akan disertakan, gunakan menu drop-down Objek yang akan disertakan untuk menentukan tabel dan skema dalam database sumber yang dapat ditransfer Datastream ke tujuan.
    • Jika Anda ingin Datastream mentransfer semua tabel dan skema, pilih Semua tabel dari semua skema.
    • Jika Anda ingin Datastream mentransfer hanya tabel dan skema tertentu, pilih Skema dan tabel tertentu, lalu centang kotak untuk skema dan tabel yang ingin Anda tarik oleh Datastream.
    • Untuk memberikan definisi tekstual tabel dan skema yang ingin Anda transfer oleh Datastream, pilih Kustom, lalu di kolom Kriteria pencocokan objek, masukkan skema dan tabel yang ingin Anda tarik oleh Datastream. Jika database Anda memiliki banyak tabel dan skema, sebaiknya gunakan opsi Kustom karena beberapa tabel dan skema mungkin tidak disertakan dalam daftar objek yang akan ditarik.
  3. Jika tujuan Anda adalah BigQuery, Anda dapat mengonfigurasi partisi dan pengelompokan untuk tabel Anda:
    1. Untuk setiap tabel yang ingin Anda tetapkan partisi atau pengelompokan, klik Pilih kolom.
    2. Untuk mengonfigurasi partisi, di bagian Partisi, pilih salah satu opsi berikut:
      • Tanpa partisi: saat Anda memilih opsi ini, tidak ada partisi yang diterapkan ke tabel Anda.
      • Membuat partisi menurut waktu penyerapan: jika Anda memilih opsi ini, data akan diatur ke dalam partisi berbasis waktu. Pilih nilai dari daftar Partitioning type untuk mengonfigurasi perincian partisi dengan opsi yang tersedia adalah per jam, harian, bulanan, atau tahunan. Harian adalah perincian default.
      • Mempartisi menurut kolom: saat memilih opsi ini, Anda perlu memilih kolom sumber yang akan digunakan untuk mempartisi tabel, dan jenis partisi. Hanya kolom sumber dengan jenis data yang didukung yang dapat dipilih. Untuk mengetahui informasi tentang jenis data sumber yang didukung dan jenis partisi yang tersedia, lihat Mengonfigurasi partisi dan pengelompokan untuk tujuan BigQuery.

      Jika ingin, pilih opsi Filter partisi. Jika Anda memilih opsi ini, filter partisi diperlukan pada semua kueri untuk tabel ini. Filter partisi dapat mengurangi biaya dan meningkatkan performa. Untuk mengetahui informasi selengkapnya, lihat Menetapkan persyaratan filter partisi.

    3. Untuk mengonfigurasi pengelompokan, di bagian Pengelompokan, pilih kolom yang akan digunakan untuk mengelompokkan tabel. Anda dapat memilih hingga empat kolom. Urutan penambahan kolom pengelompokan menentukan tata urutan data. Jika Anda tidak menentukan setelan pengelompokan untuk tabel, Datastream secara default akan menggunakan hingga empat kunci utama dari tabel sumber sebagai kunci pengelompokan di BigQuery.
    4. Klik Simpan untuk menyimpan setelan Anda.

      5. Untuk mengetahui informasi selengkapnya tentang partisi dan pengelompokan, lihat Mengonfigurasi partisi dan pengelompokan.

  4. Jika perlu, luaskan node Pilih objek yang akan dikecualikan. Di kolom Objek yang akan dikecualikan, masukkan tabel dan skema di database sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang dikecualikan lebih diprioritaskan daripada daftar Objek yang disertakan. Jika objek memenuhi kriteria dalam daftar sertakan dan kecualikan, objek tersebut akan dikecualikan dari aliran.
  5. Secara opsional, luaskan node Pilih mode pengisian ulang untuk data historis, lalu pilih salah satu opsi berikut:
    • Pilih opsi Otomatis untuk mengalirkan semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objek yang dikecualikan dari pengisian ulang otomatis, masukkan tabel dan skema di database sumber yang ingin Anda batasi pengisian ulangnya oleh Datastream ke tujuan.
    • Pilih opsi Manual untuk mengalirkan hanya perubahan pada data ke tujuan.
  6. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi database sumber MySQL

  1. Di bagian Pilih objek yang akan disertakan, gunakan menu drop-down Objek yang akan disertakan untuk menentukan tabel dan skema dalam database sumber yang dapat ditransfer Datastream ke tujuan.
    • Jika Anda ingin Datastream mentransfer semua tabel dan skema, pilih Semua tabel dari semua skema.
    • Jika Anda ingin Datastream mentransfer hanya tabel dan skema tertentu, pilih Skema dan tabel tertentu, lalu centang kotak untuk skema dan tabel yang ingin Anda tarik oleh Datastream.
    • Untuk memberikan definisi tekstual tabel dan skema yang ingin Anda transfer oleh Datastream, pilih Kustom, lalu di kolom Kriteria pencocokan objek, masukkan skema dan tabel yang ingin Anda tarik oleh Datastream. Jika database Anda memiliki banyak tabel dan skema, sebaiknya gunakan opsi Kustom karena beberapa tabel dan skema mungkin tidak disertakan dalam daftar objek yang akan ditarik.
  2. Jika tujuan Anda adalah BigQuery, Anda dapat mengonfigurasi partisi dan pengelompokan untuk tabel Anda:
    1. Untuk setiap tabel yang ingin Anda tetapkan partisi atau pengelompokan, klik Pilih kolom.
    2. Untuk mengonfigurasi partisi, di bagian Partisi, pilih salah satu opsi berikut:
      • Tanpa partisi: saat Anda memilih opsi ini, tidak ada partisi yang diterapkan ke tabel Anda.
      • Membuat partisi menurut waktu penyerapan: jika Anda memilih opsi ini, data akan diatur ke dalam partisi berbasis waktu. Pilih nilai dari daftar Partitioning type untuk mengonfigurasi perincian partisi dengan opsi yang tersedia adalah per jam, harian, bulanan, atau tahunan. Harian adalah perincian default.
      • Mempartisi menurut kolom: saat memilih opsi ini, Anda perlu memilih kolom sumber yang akan digunakan untuk mempartisi tabel, dan jenis partisi. Hanya kolom sumber dengan jenis data yang didukung yang dapat dipilih. Untuk mengetahui informasi tentang jenis data sumber yang didukung dan jenis partisi yang tersedia, lihat Mengonfigurasi partisi dan pengelompokan untuk tujuan BigQuery.

      Jika ingin, pilih opsi Filter partisi. Jika Anda memilih opsi ini, filter partisi diperlukan pada semua kueri untuk tabel ini. Filter partisi dapat mengurangi biaya dan meningkatkan performa. Untuk mengetahui informasi selengkapnya, lihat Menetapkan persyaratan filter partisi.

    3. Untuk mengonfigurasi pengelompokan, di bagian Pengelompokan, pilih kolom yang akan digunakan untuk mengelompokkan tabel. Anda dapat memilih hingga empat kolom. Urutan penambahan kolom pengelompokan menentukan tata urutan data. Jika Anda tidak menentukan setelan pengelompokan untuk tabel, Datastream secara default akan menggunakan hingga empat kunci utama dari tabel sumber sebagai kunci pengelompokan di BigQuery.
    4. Klik Simpan untuk menyimpan setelan Anda.

      5. Untuk mengetahui informasi selengkapnya tentang partisi dan pengelompokan, lihat Mengonfigurasi partisi dan pengelompokan.

  3. Jika perlu, luaskan node Pilih objek yang akan dikecualikan. Di kolom Objek yang akan dikecualikan, masukkan tabel dan skema di database sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang dikecualikan lebih diprioritaskan daripada daftar Objek yang disertakan. Jika objek memenuhi kriteria dalam daftar sertakan dan kecualikan, objek tersebut akan dikecualikan dari aliran.
  4. Tentukan metode CDC untuk stream Anda:
    • Replikasi berbasis GTID (ID Transaksi Global): pilih metode ini jika Anda ingin Datastream mendukung failover dan menyediakan replikasi yang lancar terlepas dari perubahan dalam cluster database Anda.
    • Replikasi berbasis binlog: pilih metode ini untuk membaca dan mereplikasi perubahan langsung dari file log biner instance database yang dipilih. Anda tidak dapat mengalihkan aliran yang sedang berjalan ke instance sumber atau replika lain menggunakan metode CDC ini.
  5. Secara opsional, luaskan node Pilih mode pengisian ulang untuk data historis, lalu pilih salah satu opsi berikut:
    • Pilih opsi Otomatis untuk mengalirkan semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objek yang dikecualikan dari pengisian ulang otomatis, masukkan tabel dan skema di database sumber yang ingin Anda batasi pengisian ulangnya oleh Datastream ke tujuan.
    • Pilih opsi Manual untuk mengalirkan hanya perubahan pada data ke tujuan.
  6. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi database sumber Oracle

  1. Di bagian Pilih objek yang akan disertakan, gunakan menu drop-down Objek yang akan disertakan untuk menentukan tabel dan skema dalam database sumber yang dapat ditransfer Datastream ke tujuan.
    • Jika Anda ingin Datastream mentransfer semua tabel dan skema, pilih Semua tabel dari semua skema.
    • Jika Anda ingin Datastream mentransfer hanya tabel dan skema tertentu, pilih Skema dan tabel tertentu, lalu centang kotak untuk skema dan tabel yang ingin Anda tarik oleh Datastream.
    • Untuk memberikan definisi tekstual tabel dan skema yang ingin Anda transfer oleh Datastream, pilih Kustom, lalu di kolom Kriteria pencocokan objek, masukkan skema dan tabel yang ingin Anda tarik oleh Datastream. Jika database Anda memiliki banyak tabel dan skema, sebaiknya gunakan opsi Kustom karena beberapa tabel dan skema mungkin tidak disertakan dalam daftar objek yang akan ditarik.
  2. Jika tujuan Anda adalah BigQuery, Anda dapat mengonfigurasi partisi dan pengelompokan untuk tabel Anda:
    1. Untuk setiap tabel yang ingin Anda tetapkan partisi atau pengelompokan, klik Pilih kolom.
    2. Untuk mengonfigurasi partisi, di bagian Partisi, pilih salah satu opsi berikut:
      • Tanpa partisi: saat Anda memilih opsi ini, tidak ada partisi yang diterapkan ke tabel Anda.
      • Membuat partisi menurut waktu penyerapan: jika Anda memilih opsi ini, data akan diatur ke dalam partisi berbasis waktu. Pilih nilai dari daftar Partitioning type untuk mengonfigurasi perincian partisi dengan opsi yang tersedia adalah per jam, harian, bulanan, atau tahunan. Harian adalah perincian default.
      • Mempartisi menurut kolom: saat memilih opsi ini, Anda perlu memilih kolom sumber yang akan digunakan untuk mempartisi tabel, dan jenis partisi. Hanya kolom sumber dengan jenis data yang didukung yang dapat dipilih. Untuk mengetahui informasi tentang jenis data sumber yang didukung dan jenis partisi yang tersedia, lihat Mengonfigurasi partisi dan pengelompokan untuk tujuan BigQuery.

      Jika ingin, pilih opsi Filter partisi. Jika Anda memilih opsi ini, filter partisi diperlukan pada semua kueri untuk tabel ini. Filter partisi dapat mengurangi biaya dan meningkatkan performa. Untuk mengetahui informasi selengkapnya, lihat Menetapkan persyaratan filter partisi.

    3. Untuk mengonfigurasi pengelompokan, di bagian Pengelompokan, pilih kolom yang akan digunakan untuk mengelompokkan tabel. Anda dapat memilih hingga empat kolom. Urutan penambahan kolom pengelompokan menentukan tata urutan data. Jika Anda tidak menentukan setelan pengelompokan untuk tabel, Datastream secara default akan menggunakan hingga empat kunci utama dari tabel sumber sebagai kunci pengelompokan di BigQuery.
    4. Klik Simpan untuk menyimpan setelan Anda.

      5. Untuk mengetahui informasi selengkapnya tentang partisi dan pengelompokan, lihat Mengonfigurasi partisi dan pengelompokan.

  3. Jika perlu, luaskan node Pilih objek yang akan dikecualikan. Di kolom Objek yang akan dikecualikan, masukkan tabel dan skema di database sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang dikecualikan lebih diprioritaskan daripada daftar Objek yang disertakan. Jika objek memenuhi kriteria dalam daftar sertakan dan kecualikan, objek tersebut akan dikecualikan dari aliran.
  4. Tentukan metode CDC untuk stream Anda:
    • LogMiner: pilih metode ini untuk mengkueri log redo yang diarsipkan menggunakan LogMiner API. LogMiner mendukung sebagian besar opsi yang tersedia untuk Oracle, seperti opsi enkripsi dan kompresi.
    • Pembaca biner (Pratinjau): pilih metode ini untuk mengekstrak perubahan langsung dari log Oracle. Hal ini memungkinkan replikasi database Oracle besar yang lebih cepat serta mengurangi latensi dan overhead. Jika Anda memilih opsi ini, drop-down tambahan akan ditampilkan. Pilih cara yang Anda inginkan untuk mengakses file log Oracle:
      • Pengelolaan Penyimpanan Otomatis (ASM): pilih opsi ini jika database Anda menggunakan ASM. Pastikan Anda mencentang kotak Aktifkan akses ASM untuk pembaca biner dan mengisi detail instance ASM di profil koneksi sumber.
      • Direktori database: pilih opsi ini jika Anda tidak menggunakan ASM untuk menyimpan file log. Jika Anda memilih direktori database, Anda harus memberikan nama direktori log redo dan log yang diarsipkan.
  5. Secara opsional, luaskan node Pilih mode pengisian ulang untuk data historis, lalu pilih salah satu opsi berikut:
    • Pilih opsi Otomatis untuk mengalirkan semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objek yang dikecualikan dari pengisian ulang otomatis, masukkan tabel dan skema di database sumber yang ingin Anda batasi pengisian ulangnya oleh Datastream ke tujuan.
    • Pilih opsi Manual untuk mengalirkan hanya perubahan pada data ke tujuan.
  6. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi database sumber SQL Server

  1. Di bagian Pilih objek yang akan disertakan, gunakan menu drop-down Objek yang akan disertakan untuk menentukan tabel dan skema dalam database sumber yang dapat ditransfer Datastream ke tujuan.
    • Jika Anda ingin Datastream mentransfer semua tabel dan skema, pilih Semua tabel dari semua skema.
    • Jika Anda ingin Datastream mentransfer hanya tabel dan skema tertentu, pilih Skema dan tabel tertentu, lalu centang kotak untuk skema dan tabel yang ingin Anda tarik oleh Datastream.
    • Untuk memberikan definisi tekstual tabel dan skema yang ingin Anda transfer oleh Datastream, pilih Kustom, lalu di kolom Kriteria pencocokan objek, masukkan skema dan tabel yang ingin Anda tarik oleh Datastream. Jika database Anda memiliki banyak tabel dan skema, sebaiknya gunakan opsi Kustom karena beberapa tabel dan skema mungkin tidak disertakan dalam daftar objek yang akan ditarik.
  2. Jika tujuan Anda adalah BigQuery, Anda dapat mengonfigurasi partisi dan pengelompokan untuk tabel Anda:
    1. Untuk setiap tabel yang ingin Anda tetapkan partisi atau pengelompokan, klik Pilih kolom.
    2. Untuk mengonfigurasi partisi, di bagian Partisi, pilih salah satu opsi berikut:
      • Tanpa partisi: saat Anda memilih opsi ini, tidak ada partisi yang diterapkan ke tabel Anda.
      • Membuat partisi menurut waktu penyerapan: jika Anda memilih opsi ini, data akan diatur ke dalam partisi berbasis waktu. Pilih nilai dari daftar Partitioning type untuk mengonfigurasi perincian partisi dengan opsi yang tersedia adalah per jam, harian, bulanan, atau tahunan. Harian adalah perincian default.
      • Mempartisi menurut kolom: saat memilih opsi ini, Anda perlu memilih kolom sumber yang akan digunakan untuk mempartisi tabel, dan jenis partisi. Hanya kolom sumber dengan jenis data yang didukung yang dapat dipilih. Untuk mengetahui informasi tentang jenis data sumber yang didukung dan jenis partisi yang tersedia, lihat Mengonfigurasi partisi dan pengelompokan untuk tujuan BigQuery.

      Jika ingin, pilih opsi Filter partisi. Jika Anda memilih opsi ini, filter partisi diperlukan pada semua kueri untuk tabel ini. Filter partisi dapat mengurangi biaya dan meningkatkan performa. Untuk mengetahui informasi selengkapnya, lihat Menetapkan persyaratan filter partisi.

    3. Untuk mengonfigurasi pengelompokan, di bagian Pengelompokan, pilih kolom yang akan digunakan untuk mengelompokkan tabel. Anda dapat memilih hingga empat kolom. Urutan penambahan kolom pengelompokan menentukan tata urutan data. Jika Anda tidak menentukan setelan pengelompokan untuk tabel, Datastream secara default akan menggunakan hingga empat kunci utama dari tabel sumber sebagai kunci pengelompokan di BigQuery.
    4. Klik Simpan untuk menyimpan setelan Anda.

      5. Untuk mengetahui informasi selengkapnya tentang partisi dan pengelompokan, lihat Mengonfigurasi partisi dan pengelompokan.

  3. Jika perlu, luaskan node Pilih objek yang akan dikecualikan. Di kolom Objek yang akan dikecualikan, masukkan tabel dan skema di database sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang dikecualikan lebih diprioritaskan daripada daftar Objek yang disertakan. Jika objek memenuhi kriteria dalam daftar sertakan dan kecualikan, objek tersebut akan dikecualikan dari aliran.
  4. Tentukan metode CDC untuk stream Anda:
    • Log transaksi: pilih metode ini untuk memproses perubahan langsung dari log database. Metode ini memberikan performa terbaik dan lebih efisien, tetapi memerlukan langkah-langkah konfigurasi tambahan.
    • Ubah tabel: pilih metode ini untuk memproses perubahan dari tabel perubahan khusus. Metode ini lebih mudah dikonfigurasi dan memiliki lebih sedikit batasan, tetapi mendukung throughput yang lebih rendah dan menghasilkan beban yang lebih tinggi pada database Anda daripada metode log transaksi.
  5. Secara opsional, luaskan node Pilih mode pengisian ulang untuk data historis, lalu pilih salah satu opsi berikut:
    • Pilih opsi Otomatis untuk mengalirkan semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objek yang dikecualikan dari pengisian ulang otomatis, masukkan tabel dan skema di database sumber yang ingin Anda batasi pengisian ulangnya oleh Datastream ke tujuan.
    • Pilih opsi Manual untuk mengalirkan hanya perubahan pada data ke tujuan.
  6. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi org Salesforce sumber

  1. Di bagian Select objects to include, gunakan menu drop-down Objects to include untuk menentukan objek dan kolom di organisasi yang ingin Anda transfer ke tujuan oleh Datastream.
    • Jika Anda ingin Datastream mentransfer semua objek, pilih Semua objek.
    • Jika Anda ingin Datastream mentransfer hanya objek tertentu, pilih Objek tertentu, lalu centang kotak untuk objek yang ingin ditarik oleh Datastream.
    • Untuk memberikan definisi tekstual objek yang ingin Anda transfer oleh Datastream, pilih Kustom, lalu, di kolom Kriteria pencocokan objek, masukkan objek yang ingin Anda tarik oleh Datastream. Masukkan objek sebagai daftar yang dipisahkan koma, menggunakan format [object].[field]. Jika database Anda memiliki banyak objek, sebaiknya gunakan opsi Kustom karena beberapa tabel dan skema mungkin tidak disertakan dalam daftar objek yang akan ditarik.
  2. Tentukan nilai interval polling dalam menit. Aliran data menggunakan nilai ini untuk memeriksa perubahan data di org Salesforce Anda. Makin tinggi nilainya, makin rendah biaya dan beban pada organisasi Anda. Semakin rendah nilainya, semakin baru data di tujuan.
  3. Jika tujuan Anda adalah BigQuery, Anda dapat mengonfigurasi pembuatan partisi dan pengelompokan untuk objek Anda:
    1. Untuk setiap objek yang ingin Anda tetapkan partisi atau pengelompokannya, klik Pilih kolom.
    2. Untuk mengonfigurasi partisi, di bagian Partisi, pilih salah satu opsi berikut:
      • No partitioning: jika Anda memilih opsi ini, tidak ada partisi yang diterapkan ke objek Anda.
      • Membuat partisi menurut waktu penyerapan: jika Anda memilih opsi ini, data akan diatur ke dalam partisi berbasis waktu. Pilih nilai dari daftar Partitioning type untuk mengonfigurasi perincian partisi dengan opsi yang tersedia adalah per jam, harian, bulanan, atau tahunan. Harian adalah perincian default.
      • Mempartisi menurut kolom: saat memilih opsi ini, Anda perlu memilih kolom sumber yang ingin Anda gunakan untuk mempartisi objek, dan jenis partisi. Hanya kolom dengan jenis data yang didukung yang dapat dipilih. Untuk mengetahui informasi tentang jenis data sumber yang didukung dan jenis partisi yang tersedia, lihat Mempartisi dan mengelompokkan tabel BigQuery.

      Jika ingin, pilih opsi Filter partisi. Jika Anda memilih opsi ini, filter partisi diperlukan pada semua kueri untuk objek ini. Filter partisi dapat mengurangi biaya dan meningkatkan performa. Untuk mengetahui informasi selengkapnya, lihat Menetapkan persyaratan filter partisi.

    3. Untuk mengonfigurasi pengelompokan, di bagian Pengelompokan, pilih kolom yang ingin Anda gunakan untuk mengelompokkan objek. Anda dapat memilih hingga empat kolom. Urutan penambahan kolom pengelompokan menentukan tata urutan data. Jika Anda tidak menentukan setelan pengelompokan untuk suatu objek, Datastream akan menggunakan hingga empat kunci utama dari objek sumber sebagai kunci pengelompokan di BigQuery secara default.
    4. Klik Simpan untuk menyimpan setelan Anda.

      5. Untuk mengetahui informasi selengkapnya tentang partisi dan pengelompokan, lihat Mempartisi dan mengelompokkan tabel BigQuery.

  4. Jika perlu, luaskan node Pilih objek yang akan dikecualikan. Di kolom Objects to exclude, masukkan objek dan kolom di org sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang dikecualikan lebih diprioritaskan daripada daftar Objek yang disertakan. Jika objek memenuhi kriteria dalam daftar sertakan dan kecualikan, objek tersebut akan dikecualikan dari aliran.
  5. Secara opsional, luaskan node Pilih mode pengisian ulang untuk data historis, lalu pilih salah satu opsi berikut:
    • Pilih opsi Otomatis untuk mereplikasi semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objek yang dikecualikan dari pengisian ulang otomatis, masukkan objek di org sumber yang ingin Anda batasi agar Datastream tidak mengisi ulang ke tujuan.
    • Pilih opsi Manual untuk mereplikasi hanya perubahan pada data ke tujuan.
  6. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi instance Salesforce Marketing Cloud sumber (Pratinjau)

  1. Di bagian Pilih objek yang akan disertakan, gunakan menu drop-down Objek yang akan disertakan untuk menentukan objek dalam instance yang ingin Anda transfer ke tujuan oleh Datastream.
    • Jika Anda ingin Datastream mentransfer semua objek, pilih Semua objek.
    • Jika Anda ingin Datastream mentransfer hanya objek tertentu, pilih Objek tertentu, lalu centang kotak untuk objek yang ingin ditarik oleh Datastream.
    • Jika Anda ingin memberikan definisi tekstual objek yang ingin ditransfer Datastream, pilih Kustom, lalu, di kolom Kriteria pencocokan objek, masukkan objek yang ingin ditarik oleh Datastream. Masukkan objek sebagai daftar yang dipisahkan koma. Jika database Anda memiliki banyak objek, sebaiknya gunakan opsi Kustom karena beberapa objek mungkin tidak disertakan dalam daftar objek yang akan ditarik.
  2. Tentukan nilai interval polling dalam menit. Aliran data menggunakan nilai ini untuk memeriksa perubahan data pada instance Salesforce Marketing Cloud Anda untuk objek yang mendukung sinkronisasi inkremental. Anda dapat menggunakan nilai dalam rentang 5 hingga 1440.
  3. Tentukan nilai interval polling refresh penuh dalam menit. Aliran data menggunakan nilai ini untuk melakukan refresh penuh secara berkala untuk objek yang tidak mendukung sinkronisasi inkremental, seperti ekstensi data. Anda dapat menggunakan nilai dalam rentang 60 hingga 1440.
  4. Secara opsional, luaskan node Tampilkan opsi lanjutan.
  5. Di kolom Objek yang akan dikecualikan, masukkan objek di instance sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang dikecualikan lebih diprioritaskan daripada daftar Objek yang disertakan. Jika objek memenuhi kriteria dalam daftar sertakan dan kecualikan, objek tersebut akan dikecualikan dari aliran.
  6. Di bagian Pilih mode pengisian ulang untuk data historis, pilih mode pengisian ulang:
    • Pilih opsi Otomatis untuk mengalirkan semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objek yang dikecualikan dari pengisian ulang otomatis, masukkan objek dalam database sumber yang ingin Anda batasi pengisian ulangnya oleh Datastream ke tujuan.
    • Pilih opsi Manual untuk mengalirkan hanya perubahan pada data ke tujuan.
  7. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi instance ServiceNow sumber (Pratinjau)

  1. Di bagian Pilih objek yang akan disertakan, gunakan menu drop-down Objek yang akan disertakan untuk menentukan tabel dan kolom di instance ServiceNow yang ingin Anda transfer Datastream ke tujuan.
    • Jika Anda ingin Datastream mentransfer semua tabel, pilih Semua objek.
    • Jika Anda ingin Datastream mentransfer hanya tabel tertentu, pilih Objek tertentu, lalu centang kotak untuk tabel yang ingin ditarik oleh Datastream.
    • Jika Anda ingin memberikan definisi tekstual tabel yang ingin Anda transfer oleh Datastream, pilih Kustom, lalu di kolom Kriteria pencocokan objek, masukkan tabel yang ingin Anda tarik oleh Datastream. Masukkan tabel sebagai daftar yang dipisahkan koma, menggunakan format [table].[field].
  2. Tentukan nilai interval polling dalam menit. Datastream menggunakan nilai ini untuk memeriksa perubahan data di instance ServiceNow Anda. Makin tinggi nilainya, makin rendah biaya dan beban pada instance Anda. Semakin rendah nilainya, semakin baru data di tujuan.
  3. Secara opsional, di kolom Objek yang akan dikecualikan, masukkan tabel dan kolom di instance sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang dikecualikan lebih diprioritaskan daripada daftar Objek yang disertakan. Jika objek memenuhi kriteria dalam daftar sertakan dan kecualikan, Datastream akan mengecualikan objek dari aliran data.
  4. Secara opsional, di bagian Pilih mode pengisian ulang untuk data historis, pilih salah satu opsi berikut:
    • Pilih opsi Otomatis untuk mereplikasi semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objek yang dikecualikan dari pengisian otomatis, masukkan tabel di instance sumber yang ingin Anda batasi agar tidak diisi ulang oleh Datastream ke tujuan.
    • Pilih opsi Manual untuk mereplikasi hanya perubahan pada data ke tujuan.
  5. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi database MongoDB sumber

  1. Di bagian Pilih objek yang akan disertakan, gunakan menu drop-down Objek yang akan disertakan untuk menentukan database dan koleksi yang ingin Anda transfer Datastream ke tujuan.
    • Jika Anda ingin Datastream mentransfer semua koleksi, pilih Semua database dan koleksi.
    • Jika Anda ingin Datastream hanya mentransfer kumpulan tertentu, pilih Database dan kumpulan tertentu, lalu centang kotak untuk kumpulan yang ingin ditarik oleh Datastream.
    • Untuk memberikan definisi tekstual tentang kumpulan data yang ingin Anda transfer ke Datastream, pilih Kustom, lalu di kolom Kriteria pencocokan objek, masukkan kumpulan data yang ingin Anda tarik ke Datastream. Masukkan objek sebagai daftar yang dipisahkan koma, menggunakan format [collection].[field]. Jika database Anda memiliki banyak objek, sebaiknya gunakan opsi Kustom karena beberapa tabel dan skema mungkin tidak disertakan dalam daftar objek yang akan ditarik.
  2. Jika tujuan Anda adalah BigQuery, Anda dapat mengonfigurasi pembuatan partisi untuk koleksi:
    1. Untuk setiap koleksi yang ingin Anda tetapkan partisi, klik Pilih kolom.
    2. Di bagian Partisi, pilih salah satu opsi berikut:
      • Tanpa partisi: jika Anda memilih opsi ini, tidak ada partisi yang diterapkan ke koleksi Anda.
      • Membuat partisi menurut waktu penyerapan: jika Anda memilih opsi ini, data akan diatur ke dalam partisi berbasis waktu. Pilih nilai dari daftar Partitioning type untuk mengonfigurasi perincian partisi dengan opsi yang tersedia adalah per jam, harian, bulanan, atau tahunan. Harian adalah perincian default.

      Jika ingin, pilih opsi Filter partisi. Jika Anda memilih opsi ini, filter partisi diperlukan pada semua kueri untuk koleksi ini. Filter partisi dapat mengurangi biaya dan meningkatkan performa. Untuk mengetahui informasi selengkapnya, lihat Menetapkan persyaratan filter partisi.

    3. Klik Simpan untuk menyimpan setelan Anda.

      4. Untuk mengetahui informasi selengkapnya tentang partisi dan pengelompokan, lihat Mempartisi dan mengelompokkan tabel BigQuery.

  3. Secara opsional, luaskan node Pilih mode pengisian ulang untuk data historis, lalu pilih salah satu opsi berikut:
    • Pilih opsi Otomatis untuk mereplikasi semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objek yang dikecualikan dari pengisian ulang otomatis, masukkan objek di org sumber yang ingin Anda batasi agar Datastream tidak mengisi ulang ke tujuan.
    • Pilih opsi Manual untuk mereplikasi hanya perubahan pada data ke tujuan.
  4. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi database Spanner sumber

  1. Di bagian Pilih objek yang akan disertakan, gunakan menu drop-down Objek yang akan disertakan untuk menentukan tabel dan skema dalam database sumber yang dapat ditransfer Datastream ke tujuan.
    • Jika Anda ingin Datastream mentransfer semua tabel dan skema, pilih Semua tabel dari semua skema.
    • Jika Anda ingin Datastream mentransfer hanya tabel dan skema tertentu, pilih Skema dan tabel tertentu, lalu centang kotak untuk skema dan tabel yang ingin Anda tarik oleh Datastream.
    • Untuk memberikan definisi tekstual tabel dan skema yang ingin Anda transfer oleh Datastream, pilih Kustom, lalu di kolom Kriteria pencocokan objek, masukkan skema dan tabel yang ingin Anda tarik oleh Datastream. Jika database Anda memiliki banyak tabel dan skema, sebaiknya gunakan opsi Kustom karena beberapa tabel dan skema mungkin tidak disertakan dalam daftar objek yang akan ditarik.
  2. Di kolom Change stream name, masukkan nama aliran perubahan Spanner yang Anda buat. Datastream membaca aliran perubahan ini untuk mereplikasi perubahan dari database sumber Anda.
  3. Secara opsional, di kolom Objek yang akan dikecualikan, masukkan tabel dan skema di database sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang dikecualikan lebih diprioritaskan daripada daftar Objek yang disertakan. Jika objek memenuhi kriteria dalam daftar sertakan dan kecualikan, objek tersebut akan dikecualikan dari aliran.
  4. Di bagian Pilih mode pengisian ulang untuk data historis, pilih mode pengisian ulang:
    • Pilih opsi Otomatis untuk mengalirkan semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objek yang dikecualikan dari pengisian ulang otomatis, masukkan tabel dan skema di database sumber yang ingin Anda batasi pengisian ulangnya oleh Datastream ke tujuan.
    • Pilih opsi Manual untuk mengalirkan hanya perubahan pada data ke tujuan.
  5. Secara opsional, tentukan jumlah maksimum tugas CDC dan pengisian ulang serentak di kolom masing-masing.
  6. Dari menu drop-down RPC priority, pilih prioritas panggilan prosedur jarak jauh untuk permintaan Spanner Anda:
    • Rendah
    • Sedang
    • Tinggi
  7. Di kolom Peran FGAC, tentukan peran kontrol akses terperinci untuk permintaan Spanner Anda.
  8. Centang kotak Aktifkan Data Boost untuk pengisian ulang data jika Anda ingin menggunakan Data Boost untuk tugas pengisian ulang data. Untuk menggunakan opsi ini, Data Boost harus diaktifkan untuk database Anda. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Data Boost.
  9. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi lingkungan Dataverse sumber (Pratinjau)

  1. Di bagian Pilih objek yang akan disertakan, gunakan menu drop-down Objek yang akan disertakan untuk menentukan objek di lingkungan Dataverse yang dapat ditransfer Datastream ke tujuan.
    • Jika Anda ingin Datastream mentransfer semua objek standar, pilih Semua objek.
    • Jika Anda ingin Datastream mentransfer hanya objek standar tertentu, pilih Objek tertentu, lalu centang kotak untuk objek yang ingin Anda tarik oleh Datastream.
    • Untuk memberikan definisi tekstual objek yang ingin Anda transfer oleh Datastream, pilih Kustom, lalu, di kolom Kriteria pencocokan objek, masukkan objek yang ingin Anda tarik oleh Datastream. Masukkan objek sebagai daftar yang dipisahkan koma, menggunakan format [OBJECT_NAME]. Karakter pengganti tidak didukung.
  2. Di bagian Tentukan interval polling, tentukan seberapa sering Anda ingin Datastream memeriksa perubahan data Dataverse. Pertimbangkan untuk menyeimbangkan kebutuhan data yang hampir real-time dengan penggunaan API yang efisien untuk meminimalkan biaya dan menghindari masalah performa. Nilai yang Anda masukkan harus dalam rentang 5 hingga 1440 menit.
  3. Jika perlu, luaskan node Pilih objek yang akan dikecualikan. Di kolom Objek yang akan dikecualikan, masukkan objek di lingkungan Dataverse sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang dikecualikan lebih diprioritaskan daripada daftar Objek yang disertakan. Jika objek memenuhi kriteria dalam daftar sertakan dan kecualikan, objek tersebut akan dikecualikan dari aliran.
  4. Secara opsional, luaskan node Pilih mode pengisian ulang untuk data historis, lalu pilih salah satu opsi berikut:
    • Pilih opsi Otomatis untuk mengalirkan semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objek yang dikecualikan dari pengisian otomatis, masukkan tabel di lingkungan Dataverse sumber yang ingin Anda batasi agar tidak diisi otomatis oleh Datastream ke tujuan.
    • Pilih opsi Manual untuk mengalirkan hanya perubahan pada data ke tujuan.
  5. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Mengonfigurasi instance Workday sumber (Pratinjau)

  1. Di bagian Pilih objek yang akan disertakan, gunakan menu drop-down Objek yang akan disertakan untuk menentukan objek dalam instance yang ingin Anda transfer ke tujuan oleh Datastream.
    • Jika Anda ingin Datastream mentransfer semua objek, pilih Semua objek.
    • Jika Anda ingin Datastream mentransfer hanya objek tertentu, pilih Objek tertentu, lalu centang kotak untuk objek yang ingin ditarik oleh Datastream. Jika Anda hanya ingin menyertakan kolom tertentu untuk objek, klik Konfigurasi setelan di samping objek. Kolom yang Anda hapus centangnya akan dikecualikan dari aliran.
    • Jika Anda ingin memberikan definisi tekstual objek yang ingin ditransfer Datastream, pilih Kustom, lalu, di kolom Kriteria pencocokan objek, masukkan objek yang ingin ditarik oleh Datastream. Masukkan objek sebagai daftar yang dipisahkan koma. Jika instance Anda memiliki banyak objek, sebaiknya gunakan opsi Kustom karena beberapa objek mungkin tidak disertakan dalam daftar objek yang akan ditarik.
  2. Tentukan nilai interval polling dalam menit. Aliran data menggunakan nilai ini untuk memeriksa perubahan data di instance Workday Anda. Anda dapat menggunakan nilai dalam rentang 5 hingga 1440 .
  3. Tentukan nilai interval polling refresh penuh dalam menit. Aliran data menggunakan nilai ini untuk melakukan refresh penuh secara berkala untuk objek yang tidak mendukung sinkronisasi inkremental, seperti ekstensi data. Anda dapat menggunakan nilai dalam rentang 60 hingga 1440 menit.
  4. Secara opsional, luaskan node Tampilkan opsi lanjutan.
  5. Di kolom Objek yang akan dikecualikan, masukkan objek di instance sumber yang ingin Anda batasi agar tidak ditarik oleh Datastream. Daftar Objek yang dikecualikan lebih diprioritaskan daripada daftar Objek yang disertakan. Jika objek memenuhi kriteria dalam daftar sertakan dan kecualikan, objek tersebut akan dikecualikan dari aliran.
  6. Di bagian Pilih mode pengisian ulang untuk data historis, pilih mode pengisian ulang:
    • Pilih opsi Otomatis untuk mengalirkan semua data yang ada, selain perubahan pada data, dari sumber ke tujuan. Di kolom Objek yang dikecualikan dari pengisian otomatis, masukkan objek di instance sumber yang ingin Anda batasi agar Datastream tidak mengisi ulang ke tujuan.
    • Pilih opsi Manual untuk mengalirkan hanya perubahan pada data ke tujuan.
  7. Klik LANJUTKAN. Panel Define connection profile di halaman Create stream akan muncul untuk jenis tujuan Anda.

Pilih profil koneksi tujuan

  1. Jika Anda telah membuat profil koneksi tujuan, pilih profil tersebut dari daftar profil koneksi.

    Jika Anda belum membuat profil koneksi tujuan, buat profil koneksi dengan mengklik BUAT PROFIL KONEKSI di bagian bawah daftar drop-down, lalu lakukan langkah-langkah yang sama seperti di Membuat profil koneksi.

  2. Klik LANJUTKAN. Panel Konfigurasi tujuan aliran data di halaman Buat aliran data akan muncul.

Mengonfigurasi informasi tentang tujuan untuk aliran data

Bagian ini menjelaskan informasi yang perlu Anda berikan untuk mengonfigurasi tujuan BigQuery atau Cloud Storage.

Tujuan BigQuery

  1. Di bagian Specify how Datastream should stream into a BigQuery dataset, pilih salah satu opsi berikut dari drop-down Schema grouping:

    • Set data untuk setiap skema: Datastream membuat set data BigQuery untuk setiap skema sumber, berdasarkan nama skema.

      Jika Anda memilih opsi ini, Datastream akan membuat set data di project yang berisi stream untuk setiap skema dalam database sumber.

      Selain itu, jika Anda memilih opsi Set data untuk setiap skema, Anda harus memberikan informasi berikut:

      1. Di bagian Jenis lokasi, tentukan tempat Anda ingin menyimpan data di BigQuery. Pilih Region untuk menentukan satu lokasi geografis, atau Multi-region untuk menentukan area yang lebih luas yang berisi dua region atau lebih. Jika prioritas Anda adalah mengoptimalkan biaya dan performa, pilih Region, dan simpan set data Anda bersama dengan Google Cloud resource lain yang Anda kelola. Jika Anda ingin mencapai batas kuota yang lebih tinggi, pilih Multi-region agar BigQuery dapat menggunakan beberapa region dalam grup. Saat Anda memilih Region, kolom akan menampilkan region yang Anda pilih untuk streaming secara default.
      2. (Opsional) Di kolom Awalan set data, tentukan awalan untuk set data yang dibuat oleh aliran. String yang Anda tentukan ditambahkan ke nama skema sumber. Misalnya, jika skemanya disebut <mySchema>, dan Anda menentukan awalan set data sebagai <myPrefix>, Datastream akan membuat set data bernama <myPrefix><mySchema>.
      3. Luaskan bagian Tampilkan opsi enkripsi lanjutan.

      4. Tentukan cara Anda ingin data dienkripsi di BigQuery dengan memilih kunci enkripsi yang dikelola Google atau dikelola pelanggan.

    • Satu set data untuk semua skema: Datastream membuat semua tabel di dalam set data BigQuery yang ada dan Anda tentukan. Setiap tabel yang dibuat Datastream diberi nama menggunakan kombinasi nama skema sumber dan nama tabel, yang dipisahkan dengan garis bawah (misalnya, <mySchemaName>_<myTableName>). Set data yang tersedia dikelompokkan menurut wilayah. Anda juga dapat membuat set data baru.

  2. Tentukan Mode penulisan stream. Pilih mode penulisan untuk menentukan cara data ditulis dan diproses di BigQuery:

    • Gabungkan: pilih opsi ini jika Anda ingin data disinkronkan dengan sumber.
    • Khusus penambahan: pilih opsi ini jika Anda ingin menyimpan semua data historis untuk peristiwa perubahan Anda.

  3. Tentukan batas ketidakberlakuan data. Hanya tersedia jika mode Gabungkan dipilih pada langkah sebelumnya. Pilih batas untuk menyeimbangkan performa dan biaya kueri BigQuery dengan keaktualan data. BigQuery menerapkan perubahan di latar belakang secara berkelanjutan, atau pada waktu proses kueri, sesuai dengan batas keusangan. Keterlambatan yang lebih rendah (data yang lebih baru) dapat meningkatkan biaya pemrosesan BigQuery.

  4. Klik LANJUTKAN. Panel Tinjau detail aliran data dan buat di halaman Buat aliran data akan muncul.

Tujuan tabel Apache Iceberg

  1. Di bagian Specify how Datastream should stream into a BigQuery dataset, pilih cara Datastream membuat skema dan tabel baru dari drop-down