Mode penjualan kredensial di katalog runtime Lakehouse memungkinkan Anda mendelegasikan akses Cloud Storage ke mesin kueri dan menerapkan kebijakan Identity and Access Management (IAM) terperinci di tingkat katalog, namespace, dan tabel untuk tabel Apache Iceberg. Alih-alih memberikan izin bucket langsung, Anda mengonfigurasi endpoint katalog REST Apache Iceberg untuk menyediakan token penyimpanan bermasa aktif singkat dan cakupan yang dipersempit untuk jalur tabel yang diizinkan. Mode ini juga diperlukan untuk pengelolaan tabel otomatis.
Kapan harus menggunakan penyediaan kredensial
Berikut adalah beberapa kasus penggunaan umum:
- Menerapkan akses level tabel tanpa peran level bucket: memberikan akses kepada analis dan workload ke tabel Apache Iceberg tertentu sekaligus mencegah akses langsung ke bucket Cloud Storage yang mendasarinya atau direktori tabel yang setara.
- Memusatkan tata kelola akses di beberapa mesin kueri: menerapkan kebijakan IAM yang konsisten di BigQuery, Managed Service untuk Apache Spark, Apache Spark open source, dan Trino menggunakan token berumur singkat dan tercakup dalam jalur.
- Mengisolasi bucket warehouse di dalam perimeter layanan: menyimpan data tabel di bucket Cloud Storage yang dilindungi oleh Kontrol Layanan VPC sekaligus mengizinkan pembacaan dan penulisan penyimpanan melalui satu akun layanan endpoint katalog.
Cara kerja penyediaan kredensial
Saat Anda menggunakan mode penyediaan kredensial, urutan operasi akan menerapkan kebijakan IAM sebelum penyimpanan diakses. Diagram berikut mengilustrasikan cara mesin kueri mendapatkan token penyimpanan yang dicakupkan dari katalog runtime Lakehouse untuk membaca dan menulis data dengan aman langsung di Cloud Storage:
Urutan operasi yang ditampilkan dalam diagram sebelumnya adalah sebagai berikut:
- Permintaan: Pengguna mengirimkan pernyataan SQL, seperti kueri, operasi DML, atau DDL, ke mesin yang didukung, seperti Spark atau BigQuery.
- Pencarian metadata: Mesin mengirimkan permintaan ke katalog runtime Lakehouse untuk me-resolve tabel.
- Autentikasi dan kebijakan: Katalog runtime Lakehouse mengautentikasi pengguna dan memeriksa izin IAM mereka pada resource Lakehouse.
- Respons: Karena mode penjualan kredensial diaktifkan, katalog runtime Lakehouse menampilkan metadata dan token penyimpanan berumur singkat (kredensial penyimpanan yang dicakupkan ke bawah) ke mesin. Token dicakupkan ke jalur yang terkait dengan tabel dan dicakupkan ke izin minimum yang diperlukan (misalnya, akses hanya baca untuk kueri yang tidak perlu menulis file).
- Akses: Mesin menggunakan token ini untuk membaca atau menulis file tertentu yang diizinkan langsung dari Cloud Storage.
- Komputasi: Mesin memproses data atau menjalankan operasi, dan menampilkan hasilnya.
Jika pengelolaan tabel otomatis (gcp.biglake.table-management.enabled) diaktifkan, tugas pemeliharaan latar belakang seperti pemadatan, masa berlaku snapshot, dan pembersihan sampah memori akan menggunakan akun layanan yang disediakan otomatis oleh katalog untuk melakukan autentikasi langsung ke Cloud Storage dan mengupdate file data yang mendasarinya.
Mesin yang didukung
Untuk menggunakan pemberian kredensial sementara dengan mesin kueri, Anda harus mengonfigurasi endpoint katalog REST Apache Iceberg di katalog runtime Lakehouse dalam mode pemberian kredensial sementara. Penyediaan kredensial tidak didukung untuk endpoint katalog Apache Hive.
- Mesin open source: Mesin yang didukung seperti Spark dan Trino menggunakan token penyimpanan berumur pendek yang disediakan oleh katalog runtime Lakehouse. Aplikasi klien Anda
harus menentukan dukungan untuk penyediaan kredensial di
header
X-Iceberg-Access-Delegation. - BigQuery: BigQuery menggunakan kredensial yang diberikan untuk akses Cloud Storage, bukan kredensial pengguna akhir.
Peran yang diperlukan
Untuk memastikan bahwa akun layanan endpoint katalog yang disediakan otomatis memiliki izin yang diperlukan untuk membaca dan menulis data tabel dalam mode penyediaan kredensial, minta administrator untuk memberikan peran IAM berikut kepada akun layanan endpoint katalog yang disediakan otomatis:
-
Membaca dan menulis data tabel di Cloud Storage:
Storage Object User (
roles/storage.objectUser) di semua bucket Cloud Storage terkait
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.
Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada akun layanan endpoint katalog yang disediakan otomatis melalui peran khusus atau peran bawaan lainnya.
Untuk memastikan bahwa akun layanan yang menjalankan tugas mesin kueri Anda memiliki izin yang diperlukan untuk mendapatkan kredensial yang diberikan dengan cakupan tulis, minta administrator untuk memberikan peran IAM berikut kepada akun layanan yang menjalankan tugas mesin kueri Anda:
-
Mendapatkan kredensial yang diberikan dengan cakupan tulis dari tugas mesin kueri (seperti Managed Service untuk Apache Spark atau Dataflow):
BigLake Editor (
roles/biglake.editor) pada katalog, namespace, tabel, atau project
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.
Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada akun layanan yang menjalankan tugas mesin kueri Anda melalui peran kustom atau peran bawaan lainnya.
Jika Anda menggunakan konsol Google Cloud , mengklik Set bucket permissions
akan memverifikasi peran Storage Object User (roles/storage.objectUser) di
bucket terkait. Untuk Google Cloud CLI, Terraform, atau REST API, Anda harus memberikan peran ini ke akun layanan endpoint katalog yang disediakan secara otomatis secara manual.
Pembuatan akun layanan endpoint katalog yang disediakan otomatis pada akhirnya akan konsisten. Perlu waktu agar akun layanan diterapkan di seluruh sistem. Jika Anda mencoba memberikan peran ke akun layanan segera setelah pembuatan, permintaan mungkin akan gagal. Untuk mengetahui informasi selengkapnya tentang waktu rata-rata yang diperlukan untuk menerapkan perubahan akses, lihat Penerapan perubahan akses.
Guardrail penyediaan kredensial untuk tabel yang dilindungi FGAC
Jika kebijakan data tingkat baris atau tingkat kolom (kontrol akses terperinci, atau FGAC) melindungi tabel Apache Iceberg dalam katalog yang menggunakan mode pemberian kredensial sementara, akses file Cloud Storage langsung akan mengabaikan evaluasi kebijakan waktu kueri di BigQuery.
Untuk mencegah eksposur data yang tidak sah, endpoint katalog REST Apache Iceberg
menampilkan kode status HTTP 403 Forbidden untuk permintaan penjualan kredensial pada
tabel yang dilindungi FGAC, kecuali jika akun utama yang memanggil memiliki akses penuh ke
tabel:
- Akses data tanpa penyamaran (mentah) ke semua kolom yang dilindungi: Setiap kolom yang dilindungi
pada tabel juga harus memiliki
RAW_DATA_ACCESS_POLICYyang dilampirkan. Beri akun utama yang memanggil hak istimewaFINE_GRAINED_READpada kebijakan dataRAW_DATA_ACCESS_POLICYtersebut menggunakan ID akun utama IAM v2-nya (sepertiprincipal://iam.googleapis.com/projects/-/serviceAccounts/SA_EMAIL). - Akses baris tanpa filter (semua baris): Jika tabel memiliki kebijakan akses tingkat baris yang dilampirkan, berikan kebijakan akses tingkat baris yang memiliki klausa
FILTER USING (TRUE)kepada akun utama yang memanggil.
Untuk mengonfigurasi akun layanan agar dapat membaca dari atau menulis ke tabel yang dilindungi FGAC dari mesin open source (seperti Spark, Trino, atau Apache Flink), lihat Mengonfigurasi kredensial mesin open source untuk tabel yang dilindungi FGAC.
Menggunakan Kontrol Layanan VPC dengan penyediaan kredensial
Saat Anda menggunakan endpoint katalog REST Apache Iceberg dalam mode penyediaan kredensial dengan bucket Cloud Storage di dalam perimeter layanan Kontrol Layanan VPC, Anda dapat mendukung kasus penggunaan berikut:
- Membuat dan mengubah tabel Apache Iceberg di bucket yang dilindungi: jalankan
pernyataan
CREATE TABLEatau DML dari BigQuery, Managed Service untuk Apache Spark, Spark, atau Trino saat bucket warehouse berada di dalam perimeter layanan. - Mendelegasikan pembacaan tabel terperinci di dalam perimeter penyimpanan: menerapkan kebijakan IAM tingkat tabel menggunakan token penyimpanan yang berumur singkat dan dicakupkan ke bawah tanpa memberikan peran IAM langsung kepada pengguna akhir atau runtime kueri di bucket yang dilindungi perimeter.
Dalam mode penjualan kredensial, mesin kueri dan Lakehouse
melakukan autentikasi ke Cloud Storage menggunakan kredensial yang dikeluarkan untuk akun layanan yang disediakan otomatis
endpoint katalog
(blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.).
Karena agen layanan ini termasuk dalam project yang dikelola Google di luar perimeter
layanan Anda, Cloud Storage mengevaluasi permintaan yang diautentikasi dengan
kredensialnya sebagai traffic masuk perimeter setiap kali perimeter project bucket
membatasi storage.googleapis.com. Evaluasi ini berlaku bahkan saat endpoint katalog, tugas kueri, dan bucket berada dalam project dan perimeter layanan yang sama.
Untuk mengizinkan akses, konfigurasikan aturan ingress di Access Context Manager pada perimeter yang melindungi project bucket dengan setelan berikut:
- Identitas sumber:
serviceAccount:blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog. - Project target: Project bucket
(
projects/BUCKET_PROJECT_NUMBER) - Service:
storage.googleapis.comdengan semua metode ('*'), atau metode layanan yang didukung tertentu
Contoh ingress.yaml berikut mengizinkan akun layanan endpoint katalog untuk mengakses storage.googleapis.com di project bucket:
- ingressFrom:
identities:
- serviceAccount:CATALOG_ENDPOINT_SERVICE_ACCOUNT
sources:
- accessLevel: '*'
ingressTo:
operations:
- serviceName: storage.googleapis.com
methodSelectors:
- method: '*'
resources:
- projects/BUCKET_PROJECT_NUMBER
Ganti kode berikut:
CATALOG_ENDPOINT_SERVICE_ACCOUNT: alamat email akun layanan penyediaan otomatis endpoint katalog Anda (blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.). Untuk mengambil alamat email ini, deskripsikan endpoint katalog:gcloud biglake iceberg catalogs describe CATALOG_ID \ --project=PROJECT_ID \ --format='value(biglake-service-account)'Dalam perintah ini,
CATALOG_IDadalah ID endpoint katalog Anda danPROJECT_IDadalah ID project yang berisi endpoint katalog.BUCKET_PROJECT_NUMBER: nomor project numerik dari project yang berisi bucket Cloud Storage.
Jika permintaan pembuatan tabel atau kueri diblokir oleh Kontrol Layanan VPC, pesan error akan menyertakan nilai vpcServiceControlsUniqueIdentifier. Telusuri
log audit Kebijakan Ditolak di Cloud Audit Logs
dengan mencocokkan protoPayload.metadata.vpcServiceControlsUniqueId dengan ID tersebut, dan periksa ingressViolations untuk akun utama blirc-.... Untuk
mengetahui informasi selengkapnya, lihat
Mengambil error Kontrol Layanan VPC dari log audit.