En esta página, se enumeran los límites de cuota de la API de Managed Service para Apache Spark, que se aplican a nivel de proyecto y región. Las cuotas se restablecen cada sesenta segundos (un minuto).
Para conocer las estrategias de optimización de clústeres que ayudan a evitar problemas de disponibilidad de cuotas y recursos, consulta Disponibilidad de recursos y estrategias de zona.
En la siguiente tabla, se enumeran los tipos de cuotas de la API de Managed Service para Apache Spark, los límites de cuota y los métodos a los que se aplican, específicos y predeterminados, por proyecto.
| Tipo de cuota | Límite | Métodos de la API a los que se aplica |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy y DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster |
| NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7,500 | GetJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob y DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate y DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7,500 | Todas las demás operaciones (principalmente operaciones Get) |
En la siguiente tabla, se enumeran los límites adicionales de las operaciones y los trabajos activos totales a nivel de proyecto y región.
| Tipo de cuota | Límite | Descripción |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5000 | Límite de la cantidad total de operaciones activas simultáneas de todos los tipos en un solo proyecto en una sola base de datos regional |
| ActiveJobsPerProjectPerRegion | 5000 | Límite de la cantidad total de trabajos activos en estado NON_TERMINAL en un solo proyecto en una sola base de datos regional |
Otras cuotas de Google Cloud
Los clústeres de Managed Service para Apache Spark usan otros productos de Google Cloud . Estos productos tienen cuotas a nivel de proyecto, que incluyen cuotas que se aplican al uso de Managed Service para Apache Spark. Algunos servicios son obligatorios para usar Managed Service para Apache Spark, como Compute Engine y Cloud Storage. Otros servicios, como BigQuery y Bigtable, pueden usar Managed Service para Apache Spark de forma opcional.
Servicios de clúster obligatorios
Los siguientes servicios, que aplican límites de cuota, son necesarios para crear clústeres de Managed Service para Apache Spark.
Compute Engine
Los clústeres de Managed Service para Apache Spark usan máquinas virtuales de Compute Engine. Las
cuotas de Compute Engine se dividen en límites regionales y globales. Estos límites se aplican a
los clústeres que creas. Por ejemplo, la creación de un clúster con un nodo n1-standard-4
-m y dos nodos n1-standard-4 -w usa 12 CPUs virtuales
(4 * 3). Este uso del clúster se descuenta del límite de cuota regional de 24
CPUs virtuales.
Recursos predeterminados de los clústeres
Cuando creas un clúster de Managed Service para Apache Spark con la configuración predeterminada, se usan los siguientes recursos de Compute Engine.
| Recurso | Uso |
|---|---|
| CPU virtuales | 12 |
| Instancias de máquinas virtuales (VM) | 3 |
| Disco persistente | 1,500 GB |
Cloud Logging
Managed Service para Apache Spark guarda el resultado del controlador y los registros del clúster en Cloud Logging. La cuota de Logging se aplica a los clústeres de Managed Service para Apache Spark.
Servicios de clúster opcionales
De manera opcional, puedes usar los siguientes servicios, que tienen límites de cuota, con los clústeres de Managed Service para Apache Spark.
BigQuery
Cuando se leen o escriben datos en BigQuery, se aplica la cuota de BigQuery.
Bigtable
Cuando se leen o escriben datos en Bigtable, se aplica la cuota de Bigtable.
Disponibilidad de recursos y estrategias de zona
Para optimizar los clústeres para la disponibilidad de recursos y mitigar los posibles errores de agotamiento, considera las siguientes estrategias:
Ubicación de zona automática: Cuando crees clústeres, usa la ubicación de zona automática. Esto permite que Managed Service para Apache Spark seleccione una zona óptima dentro de la región especificada, lo que mejora las posibilidades de crear un clúster de forma correcta.
Cuotas regionales: Verifica que tus cuotas regionales de Compute Engine sean suficientes, ya que las cuotas se pueden agotar incluso con la Zona automática si la capacidad regional total no es suficiente para tus solicitudes.
Flexibilidad del tipo de máquina: Si experimentas faltas de stock persistentes con un tipo de máquina específico, usa un tipo de máquina diferente y más disponible para tu clúster.