Berinteraksi dengan data Lakehouse tanpa batas di BigQuery
Lakehouse tanpa batas adalah mesin penyimpanan yang menggabungkan Google Cloud layanan open source untuk membuat antarmuka terpadu untuk analisis dan AI tingkat lanjut. Layanan ini menyediakan dasar untuk membangun lakehouse yang terbuka, terkelola, dan berperforma tinggi dengan pengelolaan data otomatis dan tata kelola bawaan menggunakan Apache Iceberg.
Saat Anda membuat tabel di Lakehouse, tabel tersebut akan otomatis dapat dikueri dari BigQuery dan terlihat di halaman BigQuery di Google Cloud konsol. Namespace dan skema Lakehouse Anda juga otomatis dipetakan ke set data BigQuery.
Perbedaan antara resource Lakehouse dan resource BigQuery lainnya
Berikut adalah perbedaan utama antara resource Lakehouse dan BigQuery standar:
- Set data Lakehouse muncul di halaman BigQuery di Google Cloud konsol di samping ikon air.
- Anda tidak dapat mengubah resource Lakehouse dari BigQuery.
- Resource Lakehouse memiliki metadata tambahan di bagian Details masing-masing.
Perbandingan kemampuan tabel Iceberg
Gunakan tabel berikut untuk membandingkan kemampuan antara tabel Apache Iceberg yang dikelola oleh katalog runtime Lakehouse dan tabel Apache Iceberg yang dikelola oleh BigQuery.
| Kemampuan | Tabel Apache Iceberg yang dikelola oleh katalog runtime Lakehouse | Tabel Apache Iceberg yang dikelola oleh BigQuery |
|---|---|---|
| Katalog | Katalog runtime Lakehouse (kompatibel dengan katalog REST Iceberg) | BigQuery |
| Penyimpanan | Cloud Storage | Cloud Storage |
| Dapat diakses melalui endpoint katalog REST Iceberg | Ya | Ya, menggunakan federasi katalog BigQuery |
| Interoperabilitas Baca/Tulis | ||
| Kueri baca BigQuery (SELECT, BQML, fungsi AI) | Didukung | Didukung |
| BigQuery DML (INSERT, UPDATE, DELETE, MERGE) | Didukung (Pratinjau) | Didukung (GA) |
| Pembacaan mesin OSS | Didukung (GA) | Didukung (GA) (menggunakan federasi katalog BigQuery) |
| Penulisan mesin OSS | Didukung (GA) | Tidak didukung |
| Penulisan streaming mesin OSS (Kafka, Spark, Dataflow dengan sink I/O Iceberg) | Didukung (GA) | Tidak didukung |
| Kemampuan Terkelola dan Lanjutan | ||
| Pengelolaan tabel (pemadatan, pembersihan sampah memori) | Didukung (Pratinjau) | Didukung (GA) |
| Penulisan streaming BigQuery (storage write API) | Tidak didukung | Didukung (GA) |
| Streaming/langganan Pub/Sub, streaming Dataflow dengan sink I/O BigQuery | Tidak didukung | Didukung (GA) |
| Change Data Capture (CDC) BigQuery | Tidak didukung | Didukung (Pratinjau Pribadi) |
| Transaksi multi-pernyataan BigQuery | Tidak didukung | Didukung (Pratinjau) |
| Disaster recovery terkelola | Tidak didukung | Tidak didukung |
| Indeks penelusuran | Tidak didukung | Tidak didukung |
| Indeks vektor (termasuk pembuatan embedding otomatis) | Tidak didukung | Tidak didukung |
| Perjalanan Waktu | ||
| Perjalanan waktu (menggunakan mesin OSS) | Fleksibel (dikonfigurasi melalui properti tabel) | Tidak didukung |
| Perjalanan waktu (menggunakan BigQuery) | Dibatasi hingga 7 hari | Dibatasi hingga 7 hari |
| Histori snapshot dan rollback ke snapshot sebelumnya | Didukung | Tidak didukung |
| Tata Kelola, Keamanan, dan Berbagi | ||
| Tampilan Resmi BigQuery | Tidak didukung | Tidak didukung |
| Keamanan tingkat kolom BigQuery | Tidak didukung | Didukung (GA) |
| Penyamaran data dan tag kebijakan BigQuery | Tidak didukung | Didukung (GA) |
| Keamanan tingkat baris BigQuery | Tidak didukung | Tidak didukung |
| Integrasi Analytics Hub | Tidak didukung | Didukung |
| Kemampuan Knowledge Catalog | ||
| Pembuatan katalog, penelusuran, dan penemuan metadata | Didukung | Didukung |
| Silsilah | Didukung | Didukung |
| Kualitas/pembuatan profil data | Didukung | Didukung |
| Insight | Didukung | Didukung |
| Pembuatan deskripsi kolom dan tabel berbasis AI | Didukung | Didukung |
Mengakses data lintas cloud
Kemampuan akses data lintas cloud Lakehouse memungkinkan Anda mengkueri data yang disimpan dengan penyedia cloud lain langsung dari BigQuery, tanpa memigrasikan file atau membuat pipeline ETL yang kompleks. Untuk mengetahui informasi konfigurasi, lihat Mengkueri data jarak jauh.
Langkah berikutnya
- Pelajari lebih lanjut Lakehouse tanpa batas.