Dokumen ini membantu Anda memahami arsitektur dan eksekusi alur kerja di Dataform.
Anda dapat menggunakan Dataform untuk mengembangkan, menguji, dan mengontrol versi alur kerja yang dapat Anda jalankan di BigQuery untuk mengubah data guna tujuan analisis. Alur kerja Dataform mendukung pipeline BigQuery, persiapan data, notebook, dan kueri tersimpan.
Anda dapat mengembangkan alur kerja dengan inti Dataform, menggunakan file SQLX dan file JavaScript secara opsional, atau dengan JavaScript.
Alur kerja dapat terdiri dari objek berikut:
- Deklarasi sumber data
- Deklarasi sumber data BigQuery yang memungkinkan Anda mereferensikan sumber data ini dalam definisi tabel Dataform dan operasi SQL.
- Tabel
- Tabel yang Anda buat di Dataform berdasarkan sumber data yang dideklarasikan atau tabel lain dalam alur kerja Anda. Dataform mendukung jenis tabel berikut: tabel, tabel inkremental, tampilan, dan tampilan terwujud.
- Assertions
- Kueri pengujian kualitas data yang dapat Anda gunakan untuk memvalidasi data tabel. Dataform menjalankan pernyataan setiap kali memperbarui alur kerja Anda dan akan memberi tahu Anda jika ada pernyataan yang gagal.