Halaman ini mencantumkan batas kuota Managed Service untuk Apache Spark API, yang diterapkan di level project dan region. Kuota direset setiap enam puluh detik (satu menit).
Untuk strategi pengoptimalan cluster guna membantu menghindari masalah ketersediaan kuota dan resource, lihat Strategi ketersediaan resource dan zona.
Tabel berikut mencantumkan jenis kuota API, batas kuota, dan metode yang berlaku untuk Managed Service for Apache Spark per project yang spesifik dan default.
| Jenis Kuota | Batas | Metode API yang Berlaku |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster |
| NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7500 | GetJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob, DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7500 | Semua operasi lain (terutama operasi Get) |
Tabel berikut mencantumkan batas tambahan untuk total operasi dan tugas aktif di level project dan region.
| Jenis kuota | Batas | Deskripsi |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5000 | Batas jumlah total operasi aktif serentak dari semua jenis dalam satu project di satu database regional |
| ActiveJobsPerProjectPerRegion | 5000 | Batas jumlah total tugas aktif dalam status NON_TERMINAL dalam satu project di satu database regional |
Kuota Google Cloud lainnya
Cluster Managed Service untuk Apache Spark menggunakan produk Google Cloud lain. Produk ini memiliki kuota level project, yang mencakup kuota yang berlaku untuk penggunaan Managed Service untuk Apache Spark. Beberapa layanan diperlukan untuk menggunakan Managed Service untuk Apache Spark, seperti Compute Engine dan Cloud Storage. Layanan lain, seperti BigQuery dan Bigtable, dapat secara opsional menggunakan Managed Service untuk Apache Spark.
Layanan cluster yang diperlukan
Layanan berikut, yang menerapkan batas kuota, diperlukan untuk membuat cluster Managed Service untuk Apache Spark.
Compute Engine
Cluster Managed Service untuk Apache Spark menggunakan virtual machine Compute Engine. Kuota Compute Engine dibagi menjadi batas regional dan global. Batas ini berlaku untuk cluster yang Anda buat. Misalnya, pembuatan cluster dengan satu node n1-standard-4
-m dan dua node n1-standard-4 -w menggunakan 12 CPU virtual
(4 * 3). Penggunaan cluster ini dihitung terhadap batas kuota regional sebesar 24
CPU virtual.
Resource cluster default
Saat Anda membuat cluster Managed Service untuk Apache Spark dengan setelan default, resource Compute Engine berikut akan digunakan.
| Resource | Penggunaan |
|---|---|
| CPU Virtual | 12 |
| Instance Mesin Virtual (VM) | 3 |
| Persistent disk | 1.500 GB |
Cloud Logging
Managed Service untuk Apache Spark menyimpan output driver dan log cluster di Cloud Logging. Kuota Logging berlaku untuk cluster Managed Service untuk Apache Spark.
Layanan cluster opsional
Anda dapat menggunakan layanan berikut, yang memiliki batas kuota, dengan cluster Managed Service untuk Apache Spark.
BigQuery
Saat membaca atau menulis data ke BigQuery, kuota BigQuery berlaku.
Bigtable
Saat membaca atau menulis data ke Bigtable, kuota Bigtable akan berlaku.
Ketersediaan resource dan strategi zona
Untuk mengoptimalkan cluster demi ketersediaan resource dan mengurangi potensi error kapasitas habis, pertimbangkan strategi berikut:
Penempatan Zona Otomatis: Saat membuat cluster, gunakan penempatan zona otomatis. Hal ini memungkinkan Managed Service untuk Apache Spark memilih zona yang optimal dalam region yang Anda tentukan, sehingga meningkatkan peluang keberhasilan pembuatan cluster.
Kuota regional: Pastikan kuota Compute Engine regional Anda mencukupi karena kuota dapat habis meskipun dengan penempatan zona otomatis jika total kapasitas regional tidak mencukupi untuk permintaan Anda.
Fleksibilitas jenis mesin: Jika Anda mengalami kehabisan stok terus-menerus dengan jenis mesin tertentu, gunakan jenis mesin lain yang lebih mudah tersedia untuk cluster Anda.