Managed Service untuk Apache Spark memiliki batas kuota API yang diterapkan di level project dan region. Kuota direset setiap 60 detik (1 menit).

Tabel berikut mencantumkan jenis kuota API Managed Service untuk Apache Spark per project yang spesifik dan default, batas kuota, dan metode yang berlaku.

Jenis Kuota Batas Metode atau Deskripsi API
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 CancelOperation (kuota pembatalan operasi batch digunakan bersama dengan kuota pembatalan operasi cluster).
BatchOperationRequestsPerMinutePerProjectPerRegion 200 CreateBatch, DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion 200 CreateSession, DeleteSession, TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion 7.500 GetBatch, ListBatches, GetSession, ListSessions
ActiveOperationsPerProjectPerRegion 5.000 Batas jumlah total operasi aktif serentak dari semua jenis dalam sebuah project di suatu region.

Kuota DCU serverless Managed Service untuk Apache Spark

Mulai dari Managed Service untuk Apache Spark serverless runtime versi 4.0, kuota Data Compute Unit (DCU) project (dataproc.googleapis.com/data_compute_units), bukan kuota Compute Engine, mengelola dan membatasi penggunaan resource komputasi workload batch serverless dan sesi interaktif Managed Service untuk Apache Spark (penggunaan kuota Compute Engine yang mendasarinya dialihkan ke project produsen Managed Service untuk Apache Spark khusus).

Anda dapat melihat dan menyesuaikan kuota DCU di halaman Kuota konsol Google Cloud di Compute Engine. Anda dapat mengaktifkan pengatur kuota untuk meningkatkan kuota DCU saat penggunaan Anda mendekati batasnya.

Menghitung konsumsi DCU

Penggunaan DCU dihitung per node dari bentuk VM, menggunakan formula yang sama dengan harga DCU serverless Managed Service untuk Apache Spark:

  • 0,6 DCU per vCPU.
  • 0,1 DCU per GB memori, hingga 8 GB per vCPU.
  • 0,2 DCU per GB memori di atas 8 GB per vCPU (memori tambahan).
  • Node paket Premium dihitung 1,5x DCU dengan bentuk yang sama di paket standar.

DCU node pool dibulatkan ke atas ke bilangan bulat terdekat:

DCUs = ceiling(nodes × DCUs per node)

Contoh: Node paket standar dengan 4 vCPU dan memori 16 GB menggunakan 4 × 0.6 + 16 × 0.1 = 4 DCU. Batch dengan 1 driver dan 10 eksekutor dari bentuk ini menggunakan 44 DCU. Batch yang sama di paket premium menggunakan 66 DCU.

Batasan

Batasan berikut berlaku untuk kuota DCU:

  • Versi runtime: Kuota DCU berlaku untuk Managed Service untuk Apache Spark versi runtime serverless 4.0 dan yang lebih baru. Workload yang menggunakan versi runtime sebelum 4.0 tidak menggunakan kuota DCU dan terus menggunakan kuota Compute Engine project.
  • Kuota yang tidak didukung: Kuota GPU, pemesanan, dan Compute Engine global tidak didukung dalam model kuota DCU.

Kuota Google Cloud lainnya

Batch Managed Service untuk Apache Spark menggunakan produk Google Cloud lain. Produk ini memiliki kuota level project, yang mencakup kuota yang berlaku untuk penggunaan Managed Service untuk Apache Spark. Beberapa layanan diperlukan untuk menggunakan Managed Service untuk Apache Spark, seperti Compute Engine dan Cloud Storage. Layanan lain, seperti BigQuery dan Bigtable, dapat secara opsional digunakan dengan Managed Service untuk Apache Spark.

Layanan wajib

Layanan berikut, yang menerapkan batas kuota, diperlukan untuk membuat batch Managed Service untuk Apache Spark.

Compute Engine

Workload batch Managed Service untuk Apache Spark dapat memilih berbagai resource Compute Engine:

  • Untuk mengurangi masalah ketersediaan CPU dan disk, Managed Service untuk Apache Spark mendukung penggantian di beberapa kelompok mesin dan jenis disk. Misalnya, di paket Premium, workload batch dapat beralih ke N2 dengan SSD persisten, N2D dengan SSD lokal, N2D dengan persistent disk, N4 dengan hyperdisk balanced, atau N4D dengan hyperdisk balanced.

  • Workload batch akan gagal jika tidak memiliki kuota yang cukup untuk menggunakan resource pilihan penggantian.

Tabel berikut mencantumkan kuota resource Compute Engine yang berlaku untuk workload batch Managed Service untuk Apache Spark.

Tingkat Komputasi Kuota
Standar CPUS
Premium
  • N2_CPUS
  • N2D_CPUS
  • CPUS_PER_VM_FAMILY dengan Kelompok VM N4
  • CPUS_PER_VM_FAMILY dengan Kelompok VM N4D
Tingkat Disk Kuota
Standar DISKS_TOTAL_GB
Premium
  • DISKS_TOTAL_GB
  • LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY dengan Kelompok VM N2 dan N2D
  • SSD-TOTAL-GB atau Persistent Disk SSD (GB)
  • HDB-TOTAL-GB atau Hyperdisk Balanced Capacity (GB)
Akselerator GPU Kuota
L4 NVIDIA_L4_GPUS
A100 40GB NVIDIA_A100_GPUS
A100 80GB NVIDIA_A100_80GB_GPUS

Kuota Compute Engine dibagi menjadi batas regional dan global. Batasan ini berlaku untuk batch yang Anda buat. Misalnya, untuk menjalankan batch Spark dengan 4 core driver (spark.driver.cores=4) dan dua eksekutor dengan masing-masing 4 core (spark.executor.cores=4), Anda menggunakan 12 CPU virtual (4 * 3). Penggunaan batch ini diperhitungkan dalam batas kuota regional sebesar 24 CPU virtual.

Resource batch default

Saat Anda membuat batch dengan setelan default, resource Compute Engine berikut akan digunakan:

Item Resource yang digunakan
CPU virtual 12
Instance Mesin Virtual (VM) 3
Persistent disk 1.200 GiB

Logging

Managed Service untuk Apache Spark menyimpan output dan log batch di Cloud Logging. Kuota Logging berlaku untuk batch Managed Service untuk Apache Spark Anda.

Layanan opsional

Layanan berikut, yang memiliki batas kuota, dapat digunakan secara opsional dengan batch Managed Service untuk Apache Spark.

BigQuery

Saat membaca atau menulis data ke BigQuery, kuota BigQuery berlaku.

Bigtable

Saat membaca atau menulis data ke Bigtable, kuota Bigtable berlaku.

Mengidentifikasi workload dengan batasan kuota atau alamat IP

Anda dapat menggunakan kueri Logging berikut untuk mengidentifikasi workload Managed Service untuk Apache Spark yang mencapai kuota atau tidak dapat diskalakan karena kehabisan alamat IP.

Kueri kuota:

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"