Ringkasan pengambilan kredensial

Mode penjualan kredensial di katalog runtime Lakehouse memungkinkan Anda mendelegasikan akses Cloud Storage ke mesin kueri dan menerapkan kebijakan Identity and Access Management (IAM) terperinci di tingkat katalog, namespace, dan tabel untuk tabel Apache Iceberg. Alih-alih memberikan izin bucket langsung, Anda mengonfigurasi endpoint katalog REST Apache Iceberg untuk menyediakan token penyimpanan bermasa aktif singkat dan cakupan yang dipersempit untuk jalur tabel yang diizinkan. Mode ini juga diperlukan untuk pengelolaan tabel otomatis.

Kapan harus menggunakan penyediaan kredensial

Berikut adalah beberapa kasus penggunaan umum:

  • Menerapkan akses level tabel tanpa peran level bucket: memberikan akses kepada analis dan workload ke tabel Apache Iceberg tertentu sekaligus mencegah akses langsung ke bucket Cloud Storage yang mendasarinya atau direktori tabel yang setara.
  • Memusatkan tata kelola akses di beberapa mesin kueri: menerapkan kebijakan IAM yang konsisten di BigQuery, Managed Service untuk Apache Spark, Apache Spark open source, dan Trino menggunakan token berumur singkat dan tercakup dalam jalur.
  • Mengisolasi bucket warehouse di dalam perimeter layanan: menyimpan data tabel di bucket Cloud Storage yang dilindungi oleh Kontrol Layanan VPC sekaligus mengizinkan pembacaan dan penulisan penyimpanan melalui satu akun layanan endpoint katalog.

Cara kerja penyediaan kredensial

Saat Anda menggunakan mode penyediaan kredensial, urutan operasi akan menerapkan kebijakan IAM sebelum penyimpanan diakses. Diagram berikut mengilustrasikan cara mesin kueri mendapatkan token penyimpanan yang dicakupkan dari katalog runtime Lakehouse untuk membaca dan menulis data dengan aman langsung di Cloud Storage:

Mesin kueri mendapatkan token penyimpanan yang dipersempit cakupannya dari katalog runtime Lakehouse untuk membaca dan menulis data di Cloud Storage.
Alur kerja penjualan kredensial yang mendelegasikan akses Cloud Storage.

Urutan operasi yang ditampilkan dalam diagram sebelumnya adalah sebagai berikut:

  1. Permintaan: Pengguna mengirimkan pernyataan SQL, seperti kueri, operasi DML, atau DDL, ke mesin yang didukung, seperti Spark atau BigQuery.
  2. Pencarian metadata: Mesin mengirimkan permintaan ke katalog runtime Lakehouse untuk me-resolve tabel.
  3. Autentikasi dan kebijakan: Katalog runtime Lakehouse mengautentikasi pengguna dan memeriksa izin IAM mereka pada resource Lakehouse.
  4. Respons: Karena mode penjualan kredensial diaktifkan, katalog runtime Lakehouse menampilkan metadata dan token penyimpanan berumur singkat (kredensial penyimpanan yang dicakupkan ke bawah) ke mesin. Token dicakupkan ke jalur yang terkait dengan tabel dan dicakupkan ke izin minimum yang diperlukan (misalnya, akses hanya baca untuk kueri yang tidak perlu menulis file).
  5. Akses: Mesin menggunakan token ini untuk membaca atau menulis file tertentu yang diizinkan langsung dari Cloud Storage.
  6. Komputasi: Mesin memproses data atau menjalankan operasi, dan menampilkan hasilnya.

Jika pengelolaan tabel otomatis (gcp.biglake.table-management.enabled) diaktifkan, tugas pemeliharaan latar belakang seperti pemadatan, masa berlaku snapshot, dan pembersihan sampah memori akan menggunakan akun layanan yang disediakan otomatis oleh katalog untuk melakukan autentikasi langsung ke Cloud Storage dan mengupdate file data yang mendasarinya.

Mesin yang didukung

Untuk menggunakan pemberian kredensial sementara dengan mesin kueri, Anda harus mengonfigurasi endpoint katalog REST Apache Iceberg di katalog runtime Lakehouse dalam mode pemberian kredensial sementara. Penyediaan kredensial tidak didukung untuk endpoint katalog Apache Hive.

  • Mesin open source: Mesin yang didukung seperti Spark dan Trino menggunakan token penyimpanan berumur pendek yang disediakan oleh katalog runtime Lakehouse. Aplikasi klien Anda harus menentukan dukungan untuk penyediaan kredensial di header X-Iceberg-Access-Delegation.
  • BigQuery: BigQuery menggunakan kredensial yang diberikan untuk akses Cloud Storage, bukan kredensial pengguna akhir.

Peran yang diperlukan

Untuk memastikan bahwa akun layanan endpoint katalog yang disediakan otomatis memiliki izin yang diperlukan untuk membaca dan menulis data tabel dalam mode penyediaan kredensial, minta administrator untuk memberikan peran IAM berikut kepada akun layanan endpoint katalog yang disediakan otomatis:

  • Membaca dan menulis data tabel di Cloud Storage: Storage Object User (roles/storage.objectUser) di semua bucket Cloud Storage terkait

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada akun layanan endpoint katalog yang disediakan otomatis melalui peran khusus atau peran bawaan lainnya.

Untuk memastikan bahwa akun layanan yang menjalankan tugas mesin kueri Anda memiliki izin yang diperlukan untuk mendapatkan kredensial yang diberikan dengan cakupan tulis, minta administrator untuk memberikan peran IAM berikut kepada akun layanan yang menjalankan tugas mesin kueri Anda:

  • Mendapatkan kredensial yang diberikan dengan cakupan tulis dari tugas mesin kueri (seperti Managed Service untuk Apache Spark atau Dataflow): BigLake Editor (roles/biglake.editor) pada katalog, namespace, tabel, atau project

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada akun layanan yang menjalankan tugas mesin kueri Anda melalui peran kustom atau peran bawaan lainnya.

Jika Anda menggunakan konsol Google Cloud , mengklik Set bucket permissions akan memverifikasi peran Storage Object User (roles/storage.objectUser) di bucket terkait. Untuk Google Cloud CLI, Terraform, atau REST API, Anda harus memberikan peran ini ke akun layanan endpoint katalog yang disediakan secara otomatis secara manual.

Pembuatan akun layanan endpoint katalog yang disediakan otomatis pada akhirnya akan konsisten. Perlu waktu agar akun layanan diterapkan di seluruh sistem. Jika Anda mencoba memberikan peran ke akun layanan segera setelah pembuatan, permintaan mungkin akan gagal. Untuk mengetahui informasi selengkapnya tentang waktu rata-rata yang diperlukan untuk menerapkan perubahan akses, lihat Penerapan perubahan akses.

Guardrail penyediaan kredensial untuk tabel yang dilindungi FGAC

Jika kebijakan data tingkat baris atau tingkat kolom (kontrol akses terperinci, atau FGAC) melindungi tabel Apache Iceberg dalam katalog yang menggunakan mode pemberian kredensial sementara, akses file Cloud Storage langsung akan mengabaikan evaluasi kebijakan waktu kueri di BigQuery.

Untuk mencegah eksposur data yang tidak sah, endpoint katalog REST Apache Iceberg menampilkan kode status HTTP 403 Forbidden untuk permintaan penjualan kredensial pada tabel yang dilindungi FGAC, kecuali jika akun utama yang memanggil memiliki akses penuh ke tabel:

  • Akses data tanpa penyamaran (mentah) ke semua kolom yang dilindungi: Setiap kolom yang dilindungi pada tabel juga harus memiliki RAW_DATA_ACCESS_POLICY yang dilampirkan. Beri akun utama yang memanggil hak istimewa FINE_GRAINED_READ pada kebijakan data RAW_DATA_ACCESS_POLICY tersebut menggunakan ID akun utama IAM v2-nya (seperti principal://iam.googleapis.com/projects/-/serviceAccounts/SA_EMAIL).
  • Akses baris tanpa filter (semua baris): Jika tabel memiliki kebijakan akses tingkat baris yang dilampirkan, berikan kebijakan akses tingkat baris yang memiliki klausa FILTER USING (TRUE) kepada akun utama yang memanggil.

Untuk mengonfigurasi akun layanan agar dapat membaca dari atau menulis ke tabel yang dilindungi FGAC dari mesin open source (seperti Spark, Trino, atau Apache Flink), lihat Mengonfigurasi kredensial mesin open source untuk tabel yang dilindungi FGAC.

Menggunakan Kontrol Layanan VPC dengan penyediaan kredensial

Saat Anda menggunakan endpoint katalog REST Apache Iceberg dalam mode penyediaan kredensial dengan bucket Cloud Storage di dalam perimeter layanan Kontrol Layanan VPC, Anda dapat mendukung kasus penggunaan berikut:

  • Membuat dan mengubah tabel Apache Iceberg di bucket yang dilindungi: jalankan pernyataan CREATE TABLE atau DML dari BigQuery, Managed Service untuk Apache Spark, Spark, atau Trino saat bucket warehouse berada di dalam perimeter layanan.
  • Mendelegasikan pembacaan tabel terperinci di dalam perimeter penyimpanan: menerapkan kebijakan IAM tingkat tabel menggunakan token penyimpanan yang berumur singkat dan dicakupkan ke bawah tanpa memberikan peran IAM langsung kepada pengguna akhir atau runtime kueri di bucket yang dilindungi perimeter.

Dalam mode penjualan kredensial, mesin kueri dan Lakehouse melakukan autentikasi ke Cloud Storage menggunakan kredensial yang dikeluarkan untuk akun layanan yang disediakan otomatis endpoint katalog (blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.). Karena agen layanan ini termasuk dalam project yang dikelola Google di luar perimeter layanan Anda, Cloud Storage mengevaluasi permintaan yang diautentikasi dengan kredensialnya sebagai traffic masuk perimeter setiap kali perimeter project bucket membatasi storage.googleapis.com. Evaluasi ini berlaku bahkan saat endpoint katalog, tugas kueri, dan bucket berada dalam project dan perimeter layanan yang sama.

Untuk mengizinkan akses, konfigurasikan aturan ingress di Access Context Manager pada perimeter yang melindungi project bucket dengan setelan berikut:

  • Identitas sumber: serviceAccount:blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.
  • Project target: Project bucket (projects/BUCKET_PROJECT_NUMBER)
  • Service: storage.googleapis.com dengan semua metode ('*'), atau metode layanan yang didukung tertentu

Contoh ingress.yaml berikut mengizinkan akun layanan endpoint katalog untuk mengakses storage.googleapis.com di project bucket:

- ingressFrom:
    identities:
    - serviceAccount:CATALOG_ENDPOINT_SERVICE_ACCOUNT
    sources:
    - accessLevel: '*'
  ingressTo:
    operations:
    - serviceName: storage.googleapis.com
      methodSelectors:
      - method: '*'
    resources:
    - projects/BUCKET_PROJECT_NUMBER

Ganti kode berikut:

  • CATALOG_ENDPOINT_SERVICE_ACCOUNT: alamat email akun layanan penyediaan otomatis endpoint katalog Anda (blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.). Untuk mengambil alamat email ini, deskripsikan endpoint katalog:

    gcloud biglake iceberg catalogs describe CATALOG_ID \
        --project=PROJECT_ID \
        --format='value(biglake-service-account)'
    

    Dalam perintah ini, CATALOG_ID adalah ID endpoint katalog Anda dan PROJECT_ID adalah ID project yang berisi endpoint katalog.

  • BUCKET_PROJECT_NUMBER: nomor project numerik dari project yang berisi bucket Cloud Storage.

Jika permintaan pembuatan tabel atau kueri diblokir oleh Kontrol Layanan VPC, pesan error akan menyertakan nilai vpcServiceControlsUniqueIdentifier. Telusuri log audit Kebijakan Ditolak di Cloud Audit Logs dengan mencocokkan protoPayload.metadata.vpcServiceControlsUniqueId dengan ID tersebut, dan periksa ingressViolations untuk akun utama blirc-.... Untuk mengetahui informasi selengkapnya, lihat Mengambil error Kontrol Layanan VPC dari log audit.

Langkah berikutnya