Managed Service para Apache Spark tiene límites de cuota de API que se aplican a nivel de proyecto y región. Las cuotas se restablecen cada 60 segundos (1 minuto).
En la siguiente tabla, se enumeran los tipos de cuotas, los límites de cuota y los métodos específicos y predeterminados de la API de Managed Service para Apache Spark por proyecto a los que se aplican.
| Tipo de cuota | Límite | Métodos o descripción de la API |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (la cuota de cancelación de operaciones por lotes se comparte con la cuota de cancelación de operaciones de clúster). |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7,500 | GetBatch, ListBatches, GetSession, ListSessions |
| ActiveOperationsPerProjectPerRegion | 5,000 | Es el límite de la cantidad total de operaciones activas simultáneas de todos los tipos en un proyecto de una región. |
Cuota de DCU sin servidores de Managed Service para Apache Spark
A partir de la versión 4.0 del entorno de ejecución sin servidores de Managed Service para Apache Spark, la
cuota de unidades de procesamiento de datos (DCU) de un proyecto
(dataproc.googleapis.com/data_compute_units), en lugar de
la cuota de Compute Engine, administra y limita
el uso de recursos de procesamiento de la carga de trabajo por lotes sin servidores y de la sesión interactiva de Managed Service para Apache Spark (el uso de la cuota de Compute Engine subyacente se
redirecciona a un proyecto de productor de Managed Service para Apache Spark dedicado).
Puedes ver y ajustar tu cuota de DCU en la página Cuotas de la consola de Google Cloud en la API de Dataproc. Puedes habilitar el ajustador de cuotas para aumentar tu cuota de DCU cuando tu uso se acerque al límite.
Calcula el consumo de DCU
El uso de DCU se calcula por nodo a partir de la forma de la VM, con la misma fórmula que el precio de DCU sin servidores de Managed Service para Apache Spark:
- 0.6 DCU por CPU virtual.
- 0.1 DCU por GB de memoria, hasta 8 GB por CPU virtual.
- 0.2 DCU por GB de memoria que supere los 8 GB por CPU virtual (memoria extendida).
- Los nodos de nivel Premium cuentan 1.5 veces las DCU de la misma forma en el nivel Estándar.
Las DCU de un grupo de nodos se redondean hacia arriba al número entero más cercano:
DCUs = ceiling(nodes × DCUs per node)
Ejemplo: Un nodo de nivel estándar con 4 CPUs virtuales y 16 GB de memoria usa
4 × 0.6 + 16 × 0.1 = 4 DCU. Un lote con 1 controlador y 10 ejecutores de esta
forma usa 44 DCU. El mismo lote en el nivel Premium usa 66 DCU.
Limitaciones
Se aplican las siguientes limitaciones a las cuotas de DCU:
- Versiones del entorno de ejecución: Las cuotas de DCU se aplican a
la versión
4.0y posteriores del entorno de ejecución sin servidores de Managed Service para Apache Spark. Las cargas de trabajo que usan versiones del entorno de ejecución anteriores a4.0no consumen cuota de DCU y siguen consumiendo la cuota de Compute Engine de un proyecto. - Cuotas no admitidas: Las cuotas de GPU, reserva y Compute Engine globales no se admiten en el modelo de cuota de DCU.
Otras cuotas de Google Cloud
Los lotes de Managed Service para Apache Spark usan otros productos de Google Cloud . Estos productos tienen cuotas a nivel del proyecto, que incluyen cuotas que se aplican al uso de Managed Service para Apache Spark. Algunos servicios son obligatorios para usar Managed Service para Apache Spark, como Compute Engine y Cloud Storage. Otros servicios, como BigQuery y Bigtable, se pueden usar de forma opcional con Managed Service para Apache Spark.
Servicios obligatorios
Los siguientes servicios, que aplican límites de cuota, son necesarios para crear lotes de Managed Service para Apache Spark.
Compute Engine
Las cargas de trabajo por lotes de Managed Service para Apache Spark pueden seleccionar una variedad de recursos de Compute Engine:
Para mitigar los problemas de obtención con las CPU y los discos, Managed Service para Apache Spark admite el resguardo en varias familias de máquinas y tipos de discos. Por ejemplo, en el nivel Premium, una carga de trabajo por lotes puede recurrir a
N2con SSD persistente,N2Dcon SSD local,N2Dcon disco persistente,N4con Hyperdisk Balanced oN4Dcon Hyperdisk Balanced.Una carga de trabajo por lotes falla si no tiene cuota suficiente para consumir los recursos de selección de resguardo.
En la siguiente tabla, se enumeran las cuotas de recursos de Compute Engine que se aplican a las cargas de trabajo por lotes de Managed Service para Apache Spark.
| Nivel de procesamiento | Cuota |
|---|---|
| Estándar | CPUS |
| Premium |
|
| Nivel de disco | Cuota |
| Estándar | DISKS_TOTAL_GB |
| Premium |
|
| Acelerador de GPU | Cuota |
| L4 | NVIDIA_L4_GPUS |
| A100 40 GB | NVIDIA_A100_GPUS |
| A100 80 GB | NVIDIA_A100_80GB_GPUS |
Las cuotas de Compute Engine están divididas en límites regionales y globales. Estos
límites se aplican a los lotes que creas. Por ejemplo, para ejecutar un lote de Spark con 4
núcleos de controlador (spark.driver.cores=4) y dos ejecutores con 4 núcleos cada uno
(spark.executor.cores=4), debes usar 12 CPUs virtuales (4 * 3). Este uso de lotes
se descuenta del límite de cuota regional de 24 CPUs virtuales.
Recursos predeterminados de Batch
Cuando creas un lote con la configuración predeterminada, se usan los siguientes recursos de Compute Engine:
| Elemento | Recursos utilizados |
|---|---|
| CPU virtuales | 12 |
| Instancias de máquinas virtuales (VM) | 3 |
| Disco persistente | 1,200 GiB |
Logging
Managed Service para Apache Spark guarda los resultados y los registros por lotes en Cloud Logging. La cuota de Logging se aplica a tus lotes de Managed Service para Apache Spark.
Servicios opcionales
Los siguientes servicios, que tienen límites de cuota, se pueden usar de forma opcional con los lotes de Managed Service para Apache Spark.
BigQuery
Cuando se leen o escriben datos en BigQuery, se aplica la cuota de BigQuery.
Bigtable
Cuando se leen o escriben datos en Bigtable, se aplica la cuota de Bigtable.
Identifica las cargas de trabajo con limitaciones de cuota o de dirección IP
Puedes usar las siguientes consultas de Logging para identificar las cargas de trabajo de Managed Service para Apache Spark que alcanzaron tu cuota o no pudieron escalar debido al agotamiento de direcciones IP.
Consulta de cuota:
jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"