Apa itu Lakehouse tanpa batas?

Lakehouse Tanpa Batas memungkinkan Anda membangun data lakehouse terbuka diGoogle Cloud dengan menggabungkan format tabel terbuka Apache Iceberg dengan penyimpanan terkelola. Arsitektur ini memisahkan penyimpanan dari komputasi untuk menyediakan fondasi terpadu bagi workload analisis dan AI.

Untuk mengelola metadata tabel terbuka, Lakehouse menggunakan katalog runtime Lakehouse, layanan metadata serverless yang memusatkan penemuan dan menghilangkan sinkronisasi lintas repositori. Desain ini memungkinkan beberapa mesin—termasuk Managed Service untuk Apache Spark, Apache Flink, Apache Hive, Trino, dan BigQuery—mengakses langsung satu sumber tepercaya tanpa duplikasi data.

Manfaat utama

  • Arsitektur serverless: Lakehouse Google Cloud menghilangkan kebutuhan akan pengelolaan server atau pengelola cluster, sehingga mengurangi overhead operasional dan penskalaan otomatis berdasarkan permintaan. Untuk workload komputasi, sesi interaktif dan batch serverless menghilangkan pertentangan resource antar-tugas dan mengotomatiskan pemeliharaan infrastruktur.
  • Interoperabilitas baca dan tulis: Mesin open source dan BigQuery dapat membaca dan menulis tabel Apache Iceberg yang sama (penulisan BigQuery dalam status Pratinjau), dan pengelolaan tabel opsional (Pratinjau) mengotomatiskan pemadatan, masa berlaku snapshot, dan pembersihan sampah memori.
  • Pengelolaan dan tata kelola data terpadu: Integrasi dengan Knowledge Catalog membantu Anda menentukan dan menerapkan kebijakan tata kelola secara terpusat di beberapa mesin, serta menyediakan penelusuran semantik, silsilah data, dan pemeriksaan kualitas.
  • Ekstensi penyimpanan: Lakehouse Google Cloud memperluas kemampuan pengelolaan Cloud Storage untuk menyertakan fitur seperti tingkatan Autoclass dan kunci enkripsi yang dikelola pelanggan (CMEK).
  • Pengalaman yang terkelola sepenuhnya: Saat diintegrasikan dengan BigQuery, Lakehouse Google Cloud memberikan pengalaman analisis dan AI yang terkelola sepenuhnya.
  • Ketersediaan tinggi dan pemulihan dari bencana (disaster recovery): Lakehouse Google Cloud menawarkan opsi untuk replikasi lintas region dan pemulihan dari bencana (Pratinjau) guna mendukung ketersediaan tinggi data Anda.

Kasus penggunaan

  • Lakehouse terbuka: Gunakan Cloud Storage sebagai lapisan penyimpanan, dan Lakehouse Google Cloud menyediakan antarmuka pengelolaan dan tata kelola untuk data Apache Iceberg.
  • Integrasi analisis dan transaksional: Akses tabel Apache Iceberg analisis langsung dalam AlloyDB untuk PostgreSQL (Pratinjau) guna menggabungkan data analisis dengan workload transaksional.
  • Akses terpadu: Memungkinkan berbagai mesin (Apache Spark, Apache Flink, BigQuery) berinteraksi dengan tabel Apache Iceberg yang sama dengan metadata yang konsisten.
  • Analisis dan AI lintas cloud: Akses data lintas cloud di Databricks Unity Catalog, AWS Glue Data Catalog, Snowflake Horizon Catalog, Workday Data Lake, dan SAP Business Data Cloud (SAP BDC). Katalog gabungan menyinkronkan metadata dari penyedia ini sehingga Anda dapat mengkueri data dengan BigQuery atau mesin open source tanpa memigrasikannya.
  • Eksplorasi set data publik: Buat kueri set data publik melalui endpoint katalog REST Apache Iceberg tanpa mengelola infrastruktur.
  • Hive metastore: Hubungkan mesin open source seperti Apache Spark dan Apache Hive ke katalog runtime Lakehouse menggunakan endpoint katalog Apache Hive. Hal ini menghilangkan overhead operasional untuk mengelola Hive metastore (HMS) yang dihosting sendiri, sekaligus memungkinkan Anda berbagi data dan mengkueri tabel langsung di BigQuery.
  • Modernisasi metastore: Migrasikan metadata dari Dataproc Metastore atau metastore eksternal lainnya ke katalog runtime Lakehouse tanpa menyalin file data.

Antarmuka dan alat

Anda dapat berinteraksi dengan resource Lakehouse Google Cloud menggunakan alat berikut:

  • Google Cloud console: Gunakan konsol untuk membuat katalog, melihat properti katalog, melihat log audit, dan mengonfigurasi izin.
  • BigQuery SQL: Gunakan GoogleSQL untuk mengkueri tabel Apache Iceberg di katalog runtime Lakehouse dan tabel eksternal, serta gunakan DDL dan DML (Pratinjau) untuk membuat dan mengubah tabel Apache Iceberg di katalog runtime Lakehouse.
  • Google Cloud CLI, REST API, dan Terraform: Membuat dan mengelola katalog, namespace, tabel, dan kebijakan akses secara terprogram.
  • Mesin open source: Gunakan mesin seperti Apache Spark, Apache Flink, Trino, dan Apache Hive dengan katalog runtime Lakehouse untuk membaca dan menulis data.
  • IDE dan notebook: Gunakan notebook Apache Spark interaktif dan ekstensi IDE, seperti ekstensi Data Agent Kit (DAK) untuk VS Code, guna melakukan autentikasi ke Google Cloud, menulis kode secara interaktif, dan mengelola sesi notebook langsung dalam lingkungan pengembangan Anda.
  • Alat orkestrasi dan MLOps: Integrasikan pipeline batch serverless dan operasi katalog dengan alur kerja orkestrasi menggunakan Managed Service untuk Apache Airflow (sebelumnya Cloud Composer) dan Kubeflow Pipelines di Vertex AI.
  • Apache Iceberg REST Catalog API: Gunakan endpoint katalog REST Apache Iceberg untuk berinteraksi dengan layanan menggunakan alat yang kompatibel dengan spesifikasi REST Apache Iceberg terbuka.
  • Dukungan tabel Apache Iceberg: Tabel Apache Iceberg V2 (Ketersediaan Umum) dan tabel V3 (Pratinjau) didukung. Tabel Iceberg V1 tidak didukung.

Langkah berikutnya