O Dataform usa cotas e limites do sistema para manter uma alocação justa de recursos, evitar sobrecargas de serviço e ajudar você a gerenciar o uso de recursos.
As cotas e os limites do sistema são semelhantes, mas diferem das seguintes maneiras:
- As cotas têm valores definidos por padrão, mas geralmente é possível solicitar ajustes.
- Os limites do sistema são valores que não podem ser alterados.
OGoogle Cloud usa cotas para garantir a imparcialidade e reduzir picos no uso e na disponibilidade de recursos. Uma cota restringe a alocação de um recurso doGoogle Cloud para uso do seu projeto do Google Cloud . As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, elas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários doGoogle Cloud , impedindo a sobrecarga de serviços. Elas também ajudam você a gerenciar seus próprios recursos do Google Cloud .
O sistema de cotas do Cloud faz o seguinte:
- Monitora o consumo de produtos e serviços do Google Cloud .
- Restringe o consumo desses recursos.
- Possibilita a solicitação de mudanças no valor das cotas e a automatização de ajustes de cotas.
Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso, e a tarefa que você está tentando executar falha.
As cotas geralmente se aplicam ao nível do projeto do Google Cloud . O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud , as cotas são compartilhadas entre todos os aplicativos e endereços IP.
Saiba mais em Visão geral das cotas do Cloud.
Também há limites de sistemas nos recursos do Dataform. Os limites do sistema não podem ser alterados.
Reposição de cota
As cotas diárias são renovadas em intervalos regulares ao longo do dia, refletindo a intenção de orientar os comportamentos de limitação de taxa. A atualização intermitente também é feita para evitar longas interrupções quando a cota é esgotada. Normalmente, mais cota é disponibilizada em minutos, em vez de ser reabastecida globalmente uma vez por dia.
Solicitar aumento de cota
Para aumentar ou diminuir a maioria das cotas, use o console do Google Cloud . Para mais informações, consulte Solicitar um ajuste de cota.
Limitar uso de cotas
Para saber como limitar o uso de um recurso específico especificando uma cota menor que a padrão, consulte Como limitar o uso.
Permissões necessárias
Para visualizar e atualizar suas cotas do Dataform no console doGoogle Cloud , você precisa das mesmas permissões que qualquer cota do Google Cloud. Para mais informações, consulte Permissões de cota.
Solução de problemas
Para informações sobre como solucionar erros relacionados a cotas e limites do Dataform, consulte Solução de problemas.
Cotas do Dataform
O Dataform tem as seguintes cotas de API:
| Cotas | Limite |
|---|---|
| Total de solicitações por projeto e por região | 6000/minute/project/region |
| Solicitações de compilação por projeto e por região | 120/minute/project/region |
| Solicitações de acesso a arquivos por projeto e por região | 120/minute/project/region |
| Solicitações de instalação de pacotes por projeto e por região | 120/minute/project/region |
| Solicitações de movimentação de pastas por projeto e por região | 6/minute/project/region |
| Solicitações de movimentação de arquivos por projeto e por região | 60/minute/project/region |
| Excluir solicitações de árvore de pastas por projeto e por região | 20/minute/project/region |
| Solicitações de invocação de fluxo de trabalho por projeto e por região | 60/minute/project/region |
| Ações do fluxo de trabalho por execução | 5000 |
Cotas para serviços usados pelo Dataform
O Dataform usa outros serviços do Google Cloud . Esses serviços têm cotas no nível do projeto, que se aplicam quando você usa o Dataform.
O Dataform usa os seguintes serviços do Google Cloud que têm os próprios limites de cota:
Limites de recursos de compilação do Dataform
O Dataform aplica os seguintes limites de uso aos recursos de compilação:
| Limite de uso | Valor |
|---|---|
| Número máximo de ações por compilação de repositório | 5000 |
| Número máximo de dependências por ação no gráfico compilado | 50 |
| Tamanho máximo total de dados serializados do gráfico compilado de ações | 20 MB |
| Tempo máximo de CPU do processo de compilação | 8 segundos |
| Tempo decorrido máximo do processo de compilação | 30 segundos |
| Uso máximo de RSS do processo de compilação | 200 MB |
| Tamanho máximo das dependências do NPM | 200 MB |
| Tamanho máximo de um repositório criptografado por CMEK | 512 MB |
| Tamanho máximo de um espaço de trabalho em um repositório criptografado por CMEK | 512 MB |
Além disso, o Dataform impõe limites ao uso de CPU e memória durante a compilação. Se esses limites forem excedidos quando você compilar o código, a compilação vai falhar e o Dataform vai gerar um erro de compilação.
Para estimar o uso de recursos de compilação do seu repositório, consulte Estimar o uso de recursos de compilação do seu repositório.
Seu repositório pode exceder os limites de uso pelos seguintes motivos:
- Um bug de loop infinito no código do repositório.
- Um bug de vazamento de memória no código do repositório.
- Repositório grande, com mais de 1.000 nós de fluxo de trabalho.
- Grande número de consultas simultâneas.
Para mais informações sobre o tamanho do repositório no Dataform, consulte Visão geral do tamanho do repositório.