Neste documento, mostramos como personalizar a configuração de nós do Google Kubernetes Engine (GKE) usando um arquivo de configuração chamado configuração do sistema de nós.
Uma configuração do sistema de nós é um arquivo de configuração que oferece uma maneira de ajustar um conjunto limitado de configurações do sistema. No pool de nós, é possível usar uma configuração do sistema de nós para especificar configurações personalizadas para o agente de nós do Kubernetes kubelet e para as configurações de kernel de baixo nível do Linux sysctl.
Neste documento, detalhamos as configurações disponíveis para uma configuração do sistema de nós e como aplicá-las aos pools de nós do GKE Standard. Como os clusters do GKE Autopilot têm um ambiente de nós mais gerenciado, as opções de configuração direta do sistema de nós são limitadas em comparação com os pools de nós do GKE Standard.
Por que usar configurações do sistema de nós
As configurações do sistema de nós oferecem os seguintes benefícios:
- Ajuste de desempenho: otimize o desempenho da pilha de rede, o gerenciamento de memória, a programação de CPU ou o comportamento de E/S para aplicativos exigentes, como treinamento ou veiculação de IA, bancos de dados, servidores da Web de alto tráfego ou serviços sensíveis à latência.
- Reforço de segurança: aplique configurações de segurança específicas no nível do kernel ou restrinja determinados comportamentos do sistema para reduzir a superfície de ataque.
- Gerenciamento de recursos: ajuste como o
kubeletgerencia PIDs, espaço em disco, coleta de lixo de imagens ou recursos de CPU e memória. - Compatibilidade de carga de trabalho: ajuda a garantir que o ambiente do nó atenda a pré-requisitos específicos para software especializado ou aplicativos mais antigos que exigem configurações de kernel específicas.
Outras opções para personalizar configurações de nós
Também é possível personalizar a configuração do nó usando outros métodos:
- Arquivo de configuração do ambiente de execução: para personalizar um ambiente de execução de contêiner do containerd nos nós do GKE, use um arquivo diferente chamado arquivo de configuração do ambiente de execução. Para mais informações, consulte Personalizar a configuração do containerd nos nós do GKE.
- ComputeClass: é possível especificar atributos de nó na especificação da ComputeClass do GKE. É possível usar ComputeClasses nos modos Autopilot e Standard do GKE, na versão 1.32.1-gke.1729000 e mais recentes do GKE. Para mais informações, consulte Personalizar a configuração do sistema de nós.
- DaemonSets: também é possível usar DaemonSets para personalizar nós. Para mais informações, consulte Como inicializar os nós do GKE automaticamente com DaemonSets.
As configurações do sistema de nós não são compatíveis com os nós do Windows Server.
Antes de começar
Antes de começar, faça o seguinte:
- Instale as ferramentas de linha de comando:
- Se você usar os exemplos da CLI gcloud neste documento, instale e configure a Google Cloud CLI.
- Se você usar os exemplos do Terraform, instale e configure o Terraform.
- Conceder permissões: você precisa das permissões do IAM adequadas para
criar e atualizar clusters do GKE e pools de nós, como
container.clusterAdminou um papel diferente com permissões equivalentes. - Planeje possíveis interrupções de carga de trabalho: as configurações de nó personalizadas são aplicadas no nível do pool de nós. As mudanças geralmente acionam uma atualização gradual dos nós no pool, o que envolve recriar os nós. Planeje possíveis interrupções de carga de trabalho e use orçamentos de interrupção de pods (PDBs) quando apropriado.
- Faça backup e teste todas as mudanças: sempre teste as mudanças de configuração em um ambiente de preparo ou desenvolvimento antes de aplicá-las à produção. Configurações incorretas podem causar instabilidade nos nós ou falhas nas cargas de trabalho.
- Revise as configurações padrão do GKE: as imagens de nó do GKE vêm com configurações padrão otimizadas. Personalize os parâmetros apenas se tiver uma necessidade específica e entender o impacto das mudanças.
Adicionar uma configuração do sistema de nós
É possível personalizar a configuração do sistema de nós usando uma ComputeClass ou um arquivo de configuração.
Usar uma ComputeClass para a configuração do sistema de nós
É possível usar uma ComputeClass personalizada para personalizar determinados parâmetros no kubelet e no kernel do Linux. Esse método está disponível no GKE versão 1.32.1-gke.1729000 e posteriores.
Para usar uma ComputeClass para personalizar a configuração do sistema de nós, faça o seguinte:
- Crie uma ComputeClass que inclua o par de campo-valor
spec.nodePoolAutoCreation.enabled: truee especifique as configurações do sistema no campopriorityDefaults. - Implante uma carga de trabalho que selecione a ComputeClass.
Criar a ComputeClass
Escreva a configuração do ComputeClass em YAML. Use o campo nodeSystemConfig dentro da especificação priorityDefaults para definir as configurações do sistema em todas as prioridades.
O exemplo ComputeClass a seguir configura a política estática do gerenciador de CPU e os parâmetros personalizados do kernel:
apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
name: custom-sysconfig
spec:
nodePoolAutoCreation:
enabled: true
priorityDefaults:
nodeSystemConfig:
kubeletConfig:
cpuManagerPolicy: static
linuxNodeConfig:
sysctls:
net.core.somaxconn: 2048
priorities:
- machineFamily: n4
Aplique a ComputeClass:
kubectl apply -f custom-sysconfig.yaml
Implantar uma carga de trabalho que selecione a ComputeClass
Na especificação do pod, adicione um seletor de nós para o nome da ComputeClass:
apiVersion: apps/v1
kind: Deployment
metadata:
name: my-app
spec:
replicas: 2
selector:
matchLabels:
app: my-app
template:
metadata:
labels:
app: my-app
spec:
nodeSelector:
cloud.google.com/compute-class: custom-sysconfig
containers:
- name: app-container
image: nginx
Aplique a carga de trabalho:
kubectl apply -f my-app.yaml
Para mais informações, consulte Personalizar a configuração do sistema de nós.
Usar um arquivo de configuração para a configuração do sistema de nós
Ao usar um arquivo de configuração do sistema de nós, você usa um arquivo YAML que contém os parâmetros de configuração para o kubelet e o kernel do Linux. Embora as configurações do sistema de nós também estejam disponíveis no modo Autopilot do GKE, as etapas neste documento mostram como criar e usar um arquivo de configuração para o modo GKE Standard.
Para usar um arquivo de configuração do sistema de nós no modo GKE Standard, faça o seguinte:
- Crie um arquivo de configuração. Esse arquivo contém as configurações de
kubeletesysctl. - Adicione a configuração ao criar um cluster ou um pool de nós ou atualize um pool de nós atual.
Criar um arquivo de configuração
Escreva a configuração do sistema de nós em YAML. O exemplo a seguir adiciona configurações para as opções kubelet e sysctl:
kubeletConfig:
cpuManagerPolicy: static
allowedUnsafeSysctls:
- 'kernel.shm*'
- 'kernel.msg*'
- 'kernel.sem'
- 'fs.mqueue.*'
- 'net.*'
linuxConfig:
sysctl:
net.core.somaxconn: '2048'
net.ipv4.tcp_rmem: '4096 87380 6291456'
kernelOverrides:
kernelCommandlineOverrides:
specRstackOverflow: 'SPEC_RSTACK_OVERFLOW_OFF'
initOnAlloc: 'INIT_ON_ALLOC_OFF'
Neste exemplo, aplica-se o seguinte:
- O campo
cpuManagerPolicy: staticconfigura okubeletpara usar a política de gerenciamento de CPU estática. - O campo
net.core.somaxconn: '2048'limita o backlog desocket listen()a 2.048 bytes. - O campo
net.ipv4.tcp_rmem: '4096 87380 6291456'define os valores mínimo, padrão e máximo do buffer de recebimento do soquete TCP como 4.096 bytes, 87.380 bytes e 6.291.456 bytes, respectivamente. - O bloco
kernelCommandlineOverridesdesativa a mitigação de estouro de pilha de retorno especulativo (SRSO, na sigla em inglês) e o parâmetro de kernelinit_on_alloc.
Se você quiser adicionar configurações apenas para kubelet ou sysctl, inclua apenas essa seção na configuração do sistema de nós. Por exemplo, para adicionar uma configuração kubelet, crie o seguinte arquivo:
kubeletConfig:
cpuManagerPolicy: static
Para uma lista completa dos campos que podem ser adicionados à configuração do sistema de nós, consulte as seções Opções de configuração do Kubelet e Opções de configuração do Sysctl.
Adicionar a configuração a um pool de nós padrão
Depois de criar a configuração do sistema de nós, adicione a flag --system-config-from-file usando a Google Cloud CLI. É possível adicionar essa flag ao criar um cluster ou um pool de nós ou ao atualizar um pool de nós atual. Não é possível adicionar uma configuração do sistema de nós usando o console do Google Cloud .
Criar um cluster com a configuração do sistema de nós
É possível adicionar uma configuração do sistema de nós durante a criação do cluster usando a CLI gcloud ou o Terraform. As instruções a seguir aplicam a configuração do sistema de nós ao pool de nós padrão:
CLI da gcloud
gcloud container clusters create CLUSTER_NAME \
--location=LOCATION \
--system-config-from-file=SYSTEM_CONFIG_PATH
Substitua:
CLUSTER_NAME: o nome do cluster.LOCATION: a zona do Compute ou região do cluster.SYSTEM_CONFIG_PATH: o caminho para o arquivo que contém as configurações dekubeletesysctl.
Depois de aplicar uma configuração do sistema de nós, o pool de nós padrão do cluster usa as configurações que você definiu.
Terraform
Para criar um cluster regional com uma configuração personalizada do sistema de nós usando o Terraform, consulte o exemplo a seguir:
Para saber mais como usar o Terraform, consulte o Suporte do Terraform para GKE.
Criar um novo pool de nós com a configuração do sistema de nós
É possível adicionar uma configuração do sistema de nós ao usar a CLI gcloud ou o Terraform para criar um novo pool de nós.
As instruções a seguir aplicam a configuração do sistema de nós a um novo pool de nós:
CLI da gcloud
gcloud container node-pools create POOL_NAME \
--cluster CLUSTER_NAME \
--location=LOCATION \
--system-config-from-file=SYSTEM_CONFIG_PATH
Substitua:
POOL_NAME: o nome do pool de nós.CLUSTER_NAME: o nome do cluster ao qual você quer adicionar um pool de nós.LOCATION: a zona do Compute ou região do cluster.SYSTEM_CONFIG_PATH: o caminho para o arquivo que contém as configurações dekubeletesysctl.
Terraform
Para criar um pool de nós com uma configuração personalizada do sistema de nós usando o Terraform, consulte o exemplo a seguir:
Para saber mais como usar o Terraform, consulte o Suporte do Terraform para GKE.
Atualizar a configuração do sistema de nós de um pool de nós atual
Se você usa um arquivo de configuração para gerenciar a configuração do sistema de nós, é possível atualizar um pool de nós atual de uma das seguintes maneiras:
- Atualização em tempo real sem interrupções: aplica as configurações atualizadas de
sysctlekubeletdiretamente aos nós em execução sem recriar as VMs ou remover pods. Use esse método quando estiver mudando apenas as configurações desysctloukubelete quiser minimizar as interrupções. - Estratégia de upgrade padrão: recria os nós com a nova configuração. Use esse método ao alterar configurações que não são compatíveis com atualizações em tempo real, quando o cluster ou pool de nós executa uma versão do GKE anterior à 1.37.1-gke.1954000 ou quando você quer que o GKE drene e reprograme os pods em novos nós.
Para mudar a configuração de nós que usam uma ComputeClass, consulte Editar uma configuração do sistema de nós para ComputeClasses.
Atualizar usando uma atualização em tempo real sem interrupções
É possível aplicar as configurações atualizadas de sysctl e kubelet do seu
arquivo de configuração diretamente aos nós em execução. Como esse
processo atualiza os parâmetros sem recriar ou reiniciar as
VMs, ele reduz as interrupções e acelera a atualização. As seguintes opções do linuxConfig ainda exigem a estratégia de upgrade padrão:
- Modo cgroup do Linux
- Hugepages do Linux
- Sincronização de horário precisa do Linux
- VFIO do Linux
- Programador de E/S de disco do Linux
Como funcionam as atualizações em tempo real
As atualizações em tempo real funcionam da seguinte maneira para cada configuração compatível:
- Configurações de
sysctl: o GKE reinicia o serviço systemdsysctlem cada nó para aplicar os parâmetros do kernel no campolinuxConfig.sysctl. Se você atualizar um parâmetrosysctlcom namespace, o GKE também vai reiniciar o serviçokubeletpara atualizar a configuraçãosysctlno nível do pod. Para parâmetros compatíveis, consulte Opções de configuração do Sysctl. - Configurações de
kubelet: o GKE reinicia o serviçokubeletem cada nó para aplicar os parâmetros no campokubeletConfig. A maioria das opções de configuração do kubelet é compatível com atualizações em tempo real. No entanto, as opçõescpuManagerPolicy,shutdownGracePeriodSecondseshutdownGracePeriodCriticalPodsSecondsexigem a estratégia de upgrade padrão.
Em ambos os casos, o GKE aplica a alteração nos nós em execução sem recriar as VMs, remover os pods ou criar VMs de pico temporárias. O GKE usa a soma das configurações --max-surge-upgrade e --max-unavailable-upgrade do pool de nós como o limite de simultaneidade para determinar quantos nós atuais são atualizados em paralelo.
Pré-requisitos para atualizações em tempo real
Para usar as atualizações em tempo real, o cluster e o pool de nós precisam atender aos seguintes pré-requisitos:
- Execute o GKE versão 1.37.1-gke.1954000 ou mais recente.
- Ative o complemento
NodeReadinessControllerno cluster. Durante uma atualização em tempo real, esse controlador aplica temporariamente o taintreadiness.k8s.io/gke-node-live-update-reconciling:NoSchedulea cada nó que está sendo atualizado para que o GKE não programe novos pods no nó até que a atualização seja concluída:- Para novos clusters, inclua o complemento
NodeReadinessControllerna flag--addonsdurante a criação do cluster. Essa flag ativa apenas os complementos que você especificar e desativa todos os outros. Portanto, inclua também os complementos padrão que você quer manter. - Para clusters atuais, transmita a flag
--update-addons=NodeReadinessController=ENABLEDdurante uma atualização de cluster.
- Para novos clusters, inclua o complemento
Aplicar uma atualização em tempo real
Para aplicar uma atualização em tempo real, faça o seguinte:
- Crie ou modifique o arquivo YAML de configuração do sistema de nós para que
ele contenha a configuração completa do pool de nós, incluindo as configurações
kubeletousysctlque você quer mudar. Para evitar a redefinição de configurações que você não pretende mudar, comece com a configuração atual do pool de nós. Atualize o pool de nós com o arquivo de configuração e defina o valor da flag
--node-config-update-modecomoLIVE_UPDATE_WITHOUT_DRAIN:gcloud container node-pools update POOL_NAME \ --cluster=CLUSTER_NAME \ --location=LOCATION \ --system-config-from-file=SYSTEM_CONFIG_PATH \ --node-config-update-mode=LIVE_UPDATE_WITHOUT_DRAINSubstitua:
POOL_NAME: o nome do pool de nós que você quer atualizar.CLUSTER_NAME: o nome do cluster que contém o pool de nós;LOCATION: a zona do Compute ou região do cluster.SYSTEM_CONFIG_PATH: o caminho para o arquivo YAML que contém a configuração do sistema de nós.
Verifique se o GKE aplicou as configurações atualizadas ao pool de nós:
gcloud container node-pools describe POOL_NAME \ --cluster=CLUSTER_NAME \ --location=LOCATION \ --format="yaml(config.kubeletConfig, config.linuxNodeConfig)"A resposta ao comando exibe as configurações ativas no pool de nós nos campos
config.kubeletConfigeconfig.linuxNodeConfig.Opcional: reinicie os pods atuais. A atualização em tempo real não interrompe os pods em execução. Portanto, o GKE aplica as configurações atualizadas apenas aos pods que são iniciados após a conclusão da atualização. Para aplicar as configurações a uma carga de trabalho que já está em execução, reinicie os pods, por exemplo, executando
kubectl rollout restartna implantação.
Se uma atualização em tempo real não ocorrer como esperado, o caminho de recuperação vai depender se a operação de atualização foi concluída:
- Se a operação de atualização em tempo real falhar, consulte Recuperar-se de uma falha na atualização em tempo real.
- Se a operação de atualização em tempo real for bem-sucedida, mas as novas configurações causarem um comportamento não intencional da carga de trabalho, consulte Reverter uma atualização em tempo real concluída.
Recuperar-se de uma falha na atualização em tempo real
Se uma atualização em tempo real falhar em um nó, o GKE interromperá o lançamento imediatamente e deixará o pool de nós em um estado parcialmente atualizado. Para inspecionar os detalhes da falha, siga um destes procedimentos:
Execute o comando
gcloud container operations describe. Na saída, o campostatusMessageidentifica o nó em que a atualização em tempo real falhou e o erro que o nó informou, por exemplo:statusMessage: 'Failed precondition: live update failed on node gke-my-cluster-default-pool-ae3770ee-2kk0: Live update fails with error: failed to write new kubelet config: ...'Na Análise de registros, verifique se há erros do componente
gke-node-live-update-reconcilernos nós afetados.
Como uma atualização em tempo real com falha não altera a configuração armazenada do pool de nós, reaplicar a configuração anterior com o comando gcloud
container node-pools update não aciona uma atualização. Depois de
inspecionar a falha, escolha uma das seguintes opções de recuperação:
- Corrija o problema e conclua a atualização em tempo real (recomendado): resolva o
problema que causou a falha e execute novamente o comando
gcloud container node-pools updatedo procedimento anterior com a configuração de destino. - Reverter para a configuração anterior: se não for possível resolver o problema,
execute o comando
gcloud container node-pools rollbackpara retornar o pool de nós à configuração anterior. Ao contrário de uma atualização em tempo real, esse comando recria todos os nós no pool de nós, o que interrompe as cargas de trabalho em execução neles.
Reverter uma atualização em tempo real concluída
Se uma operação de atualização em tempo real for bem-sucedida, mas uma configuração recém-aplicada causar
um comportamento não intencional da carga de trabalho, reverta a mudança aplicando outra
atualização em tempo real com a configuração anterior. Essa atualização em tempo real restaura a
configuração anterior sem remover pods ou reiniciar nós. O comando gcloud
container node-pools rollback não fica disponível após uma operação
bem-sucedida. Ele só funciona quando a operação falha.
Para reverter uma atualização em tempo real concluída, faça o seguinte:
- Atualize o arquivo YAML de configuração do sistema de nós para que ele contenha a configuração anterior completa do pool de nós. Se uma configuração não tiver sido definida anteriormente, defina-a explicitamente como o valor padrão, em vez de omiti-la ou deixar a seção vazia. Para os valores padrão, consulte Opções de configuração do Kubelet e Opções de configuração do Sysctl.
Aplique a configuração anterior ao pool de nós:
gcloud container node-pools update POOL_NAME \ --cluster=CLUSTER_NAME \ --location=LOCATION \ --system-config-from-file=SYSTEM_CONFIG_PATH \ --node-config-update-mode=LIVE_UPDATE_WITHOUT_DRAIN
Atualizar usando a estratégia de upgrade padrão
Use a estratégia de upgrade padrão se estiver atualizando opções de configuração que não são compatíveis com atualizações em tempo real, se o cluster ou pool de nós executar uma versão do GKE anterior à 1.37.1-gke.1954000 ou se você quiser que o GKE drene e reprograme automaticamente os pods em nós recém-criados.
Para atualizar um pool de nós atual usando a estratégia de upgrade padrão, execute o seguinte comando:
gcloud container node-pools update POOL_NAME \
--cluster=CLUSTER_NAME \
--location=LOCATION \
--system-config-from-file=SYSTEM_CONFIG_PATH
Substitua:
POOL_NAME: o nome do pool de nós que você quer atualizar.CLUSTER_NAME: o nome do cluster que contém o pool de nós.LOCATION: a zona do Compute ou região do cluster.SYSTEM_CONFIG_PATH: o caminho para o arquivo YAML que contém a configuração do sistema de nós.
Essa alteração exige a recriação dos nós, o que pode causar interrupções nas cargas de trabalho em execução. Para mais informações sobre essa mudança específica, encontre a linha correspondente na tabela de mudanças manuais que recriam os nós usando uma estratégia de upgrade de nó sem respeitar as políticas de manutenção.
Para mais informações sobre atualizações de nós, consulte Como planejar interrupções de atualização de nós.
Editar uma configuração do sistema de nós
É possível editar uma configuração do sistema de nós dependendo se você está usando ComputeClasses ou um arquivo de configuração.
Para ComputeClasses
Para editar a configuração do sistema de nós ao usar ComputeClasses, escolha um dos seguintes métodos:
Método 1: atualizar a ComputeClass atual
Se você atualizar o nodeSystemConfig em uma ComputeClass, o GKE vai aplicar a configuração atualizada somente aos nós recém-criados. Os nós atuais não são atualizados automaticamente.
Para migrar as cargas de trabalho para nós com a nova configuração, siga um destes procedimentos:
- Configure a migração ativa na sua ComputeClass.
- Para acionar um escalonamento vertical de novos nós, reinicie ou recrie manualmente as cargas de trabalho.
Para atualizar a ComputeClass, edite o arquivo YAML e aplique-o:
kubectl apply -f custom-sysconfig.yaml
Método 2: criar uma nova ComputeClass
Para garantir que as cargas de trabalho sejam migradas para novos nós com a configuração atualizada, faça o seguinte:
- Crie uma nova ComputeClass com um nome diferente e a configuração atualizada.
- Atualize o seletor de nós nas especificações da carga de trabalho para referenciar a nova ComputeClass.
- Aplique as especificações de carga de trabalho atualizadas. O escalonador automático de cluster vai provisionar novos nós com a nova configuração e, por fim, reduzir escala vertical vertical dos nós antigos.
- Exclua o objeto ComputeClass antigo.
Para arquivos de configuração
Para editar uma configuração do sistema de nós ao usar um arquivo de configuração, crie um novo pool de nós com a configuração desejada ou atualize a configuração do sistema de nós de um pool de nós atual.
Editar criando um pool de nós
Para editar uma configuração do sistema de nós criando um pool de nós, faça o seguinte:
- Crie um arquivo de configuração com a configuração que você quer.
- Adicione a configuração a um novo pool de nós.
- Migre suas cargas de trabalho para o novo pool de nós.
- Exclua o pool de nós antigo.
Editar atualizando um pool de nós atual
Para alterar a configuração do sistema de nós de um pool de nós atual, consulte Atualizar a configuração do sistema de nós de um pool de nós atual.
Acessar a configuração atual do sistema de nós
Para recuperar a configuração do sistema de nós atual do pool de nós, por exemplo, se você já tiver personalizado a configuração e quiser adicionar mais itens, use o comando gcloud container node-pools describe. A saída do comando lista todas as configurações em kubeletConfig e linuxNodeConfig.
Por exemplo, confira o snippet a seguir que mostra o formato de saída do comando describe:
kubeletConfig:
allowedUnsafeSysctls:
- kernel.shm*
- kernel.msg*
- kernel.sem
- fs.mqueue.*
- net.*
cpuManagerPolicy: static
insecureKubeletReadonlyPortEnabled: false
maxParallelImagePulls: 2
linuxNodeConfig: # IMPORTANT: Use linuxConfig when updating these settings
sysctl:
net.core.somaxconn: '2048'
net.ipv4.tcp_rmem: 4096 87380 6291456
Se você ainda não tiver definido uma configuração do sistema de nós, a saída não vai listar kubeletConfig ou linuxNodeConfig.
Redefinir a configuração atual do sistema de nós
Se você quiser redefinir a configuração do sistema de nós para os padrões, atualize o arquivo de configuração com valores vazios para os campos kubelet e sysctl, por exemplo:
```yaml
kubeletConfig: {}
linuxConfig:
sysctl: {}
```
Excluir uma configuração do sistema de nós
Para remover uma configuração do sistema de nós, siga as etapas dependendo se você está usando ComputeClasses ou um arquivo de configuração.
Para ComputeClasses
Para remover a configuração personalizada do sistema de nós, faça o seguinte:
- Remova o seletor de nós
cloud.google.com/compute-classdas especificações da carga de trabalho. - Aplique as especificações de carga de trabalho atualizadas. O GKE recria as cargas de trabalho em nós padrão. O escalonador automático de clusters vai reduzir escala vertical a escala vertical e excluir os nós provisionados para a ComputeClass.
Exclua o objeto ComputeClass do cluster:
kubectl delete computeclass CUSTOM_COMPUTE_CLASS_NAME
Para arquivos de configuração
Para remover uma configuração do sistema de nós que foi aplicada usando um arquivo de configuração, faça o seguinte:
- Crie um novo pool de nós sem o arquivo de configuração.
- Migre suas cargas de trabalho para o novo pool de nós.
- Exclua o pool de nós que tem a configuração antiga do sistema de nós.
Opções de configuração para o kubelet
As tabelas nesta seção descrevem as opções de kubelet que podem ser modificadas.
Gerenciamento de CPU
A tabela a seguir descreve as opções de gerenciamento de CPU para o kubelet.
Configurações de kubelet |
Restrições | Configuração padrão | Descrição |
|---|---|---|---|
cpuCFSQuota |
Precisa ser true ou false. |
true |
Essa configuração aplica o limite de CPU do pod. Definir esse valor como false significa que os limites de CPU para pods são ignorados.Ignorar os limites de CPU pode ser útil em determinados cenários em que os pods são sensíveis a esses limites. O risco de desativar cpuCFSQuota é que um pod invasor pode consumir mais recursos de CPU do que o esperado. |
cpuCFSQuotaPeriod |
Precisa ser uma duração de tempo. | "100ms" |
Essa configuração define o valor do período de cota do CFS da CPU, cpu.cfs_period_us, que especifica o período de frequência com que o acesso de um cgroup aos recursos da CPU precisa ser realocado. Essa opção permite ajustar o comportamento de limitação da CPU. |
reservedSystemCPUs
(Pré-lançamento)
|
Precisa ser uma lista de núcleos de CPU específicos para reservar (por exemplo,
0-1 ou 0,1 para reservar os núcleos 0 e 1). Como
os núcleos são indexados por zero, os valores precisam ser menores que o número de vCPUs
no tipo de máquina. |
none |
Reserva explicitamente núcleos de CPU específicos para serviços do sistema host,
como daemons do SO e o serviço Reservar CPUs do sistema reduz a capacidade alocável geral dos
nós. Embora os pods Verifique se você reservou núcleos de CPU suficientes em
|
Gerenciamento e remoção de memória
A tabela a seguir descreve as opções modificáveis para gerenciamento e remoção de memória. Esta seção também contém uma tabela separada que descreve as
opções modificáveis para a flag evictionSoft.
Configurações de kubelet |
Restrições | Configuração padrão | Descrição |
|---|---|---|---|
evictionSoft |
Mapa de nomes de indicadores. Para restrições de valor, consulte a tabela a seguir. | none |
Essa configuração mapeia nomes de indicadores para uma quantidade ou porcentagem que define limites de remoção flexível. Um limite de remoção flexível precisa ter um período de carência. O kubelet não remove pods até que o período de carência seja excedido. |
evictionSoftGracePeriod |
Mapa de nomes de indicadores. Para cada nome de indicador, o valor precisa ser uma duração positiva menor que 5m. As unidades de tempo válidas são ns, us (ou µs), ms, s ou m. |
none |
Essa configuração mapeia nomes de indicadores para durações que definem períodos de carência para limites de remoção flexível. Cada limite de remoção flexível precisa ter um período de carência correspondente. |
evictionMinimumReclaim |
Mapa de nomes de indicadores. Para cada nome de indicador, o valor precisa ser uma porcentagem positiva menor que 10%. |
none |
Essa configuração mapeia nomes de indicadores para porcentagens que definem a quantidade mínima de um determinado recurso que o kubelet recupera ao realizar uma remoção de pod. |
evictionMaxPodGracePeriodSeconds |
O valor precisa ser um número inteiro entre 0 e 300. |
0 |
Essa configuração define, em segundos, o período de carência máximo para o encerramento do pod durante a remoção. |
singleProcessOOMKill
|
O valor precisa ser true ou false. |
true para nós cgroupv1, false para nós cgroupv2. |
Essa configuração define se os processos no contêiner são encerrados por falta de memória (OOMkilled) individualmente ou em grupo.
Disponível nas versões 1.32.4-gke.1132000, 1.33.0-gke.1748000 ou mais recentes do GKE. |
A tabela a seguir mostra as opções modificáveis para a flag evictionSoft.
As mesmas opções também se aplicam às flags evictionSoftGracePeriod e
evictionMinimumReclaim com restrições diferentes.
Configurações de kubelet |
Restrições | Configuração padrão | Descrição |
|---|---|---|---|
memoryAvailable |
O valor precisa ser uma quantidade maior que 100Mi e menor que 50% da memória do nó. |
none |
Essa configuração representa a quantidade de memória disponível antes da remoção flexível. Define a quantidade do sinal memory.available no kubelet . |
nodefsAvailable |
O valor precisa estar entre 10% e 50%. |
none |
Essa configuração representa os nodefs disponíveis antes da remoção flexível. Define a quantidade do sinal nodefs.available no kubelet . |
nodefsInodesFree |
O valor precisa estar entre 5% e 50%. |
none |
Essa configuração representa os inodes nodefs que estão livres antes da remoção flexível. Define a quantidade do sinal nodefs.inodesFree no kubelet . |
imagefsAvailable |
O valor precisa estar entre 15% e 50%. |
none |
Essa configuração representa o imagefs disponível antes da remoção flexível. Define a quantidade de sinal imagefs.available no kubelet . |
imagefsInodesFree |
O valor precisa estar entre 5% e 50%. |
none |
Essa configuração representa os inodes do imagefs que estão livres antes da remoção flexível. Define a quantidade do sinal imagefs.inodesFree no kubelet. |
pidAvailable |
O valor precisa estar entre 10% e 50%. |
none |
Essa configuração representa os PIDs disponíveis antes da remoção flexível. Define a quantidade do sinal pid.available no kubelet. |
Gerenciamento de PID
A tabela a seguir descreve as opções modificáveis para o gerenciamento de PID.
Configurações de kubelet |
Restrições | Configuração padrão | Descrição |
|---|---|---|---|
podPidsLimit |
O valor precisa estar entre 1024 e 4194304. |
none |
Essa configuração define o número máximo de IDs de processos (PIDs, na sigla em inglês) que cada pod pode usar. |
Logging
A tabela a seguir descreve as opções modificáveis para geração de registros.
Configurações de kubelet |
Restrições | Configuração padrão | Descrição |
|---|---|---|---|
containerLogMaxSize |
O valor precisa ser um número positivo e um sufixo de unidade entre 10Mi e 500Mi, inclusive. |
10Mi |
Essa configuração controla a containerLogMaxSize da política de rotação de registros de contêiner, que permite configurar o tamanho máximo de cada arquivo de registro. O valor padrão é 10Mi. As unidades válidas são Ki, Mi e Gi. |
containerLogMaxFiles |
O valor precisa ser um número inteiro entre 2 e 10, inclusive. |
5 |
Essa configuração controla a configuração containerLogMaxFiles da política de rotação de arquivos de registro do contêiner, que permite configurar o número máximo de arquivos permitidos para cada contêiner, respectivamente. O valor padrão é 5. O tamanho total do registro (container_log_max_size*container_log_max_files) por contêiner não pode exceder 1% do armazenamento total do nó. |
containerLogMonitorInterval |
O valor precisa ser uma duração positiva entre 3s e 300s, inclusive. A duração precisa ser em segundos (por exemplo, 10s ou 60s). |
10s |
Essa configuração especifica o intervalo em que os registros do contêiner são monitorados para rotação de registros. O valor padrão é 10s.
|
containerLogMaxWorkers |
O valor precisa ser um número inteiro entre 1 e 10, inclusive. |
1 |
Essa configuração define o número máximo de workers simultâneos para alternar os arquivos de registro do contêiner. O valor padrão é 1.
|
Coleta de lixo de imagens
A tabela a seguir descreve as opções modificáveis para a coleta de lixo de imagens.
Configurações de kubelet |
Restrições | Configuração padrão | Descrição |
|---|---|---|---|
imageGcHighThresholdPercent |
O valor precisa ser um número inteiro entre 10 e 85, inclusive, e maior que imageGcLowThresholdPercent. |
85 |
Essa configuração define o percentual de uso de disco acima do qual a coleta de lixo de imagem é executada. Ele representa o maior uso de disco para a coleta de lixo. A porcentagem é calculada dividindo o valor desse campo por 100. |
imageGcLowThresholdPercent |
O valor precisa ser um número inteiro entre 10 e 85, inclusive, e menor que imageGcHighThresholdPercent. |
80 |
Essa configuração define a porcentagem de uso do disco antes da qual a coleta de lixo de imagem nunca é executada. Representa o menor uso de disco para a coleta de lixo. A porcentagem é calculada dividindo o valor desse campo por 100. |
imageMinimumGcAge |
O valor precisa ser uma duração de tempo não superior a 2m. As unidades de tempo válidas são ns, us (ou µs), ms, s, m ou h. |
2m |
Essa configuração define a idade mínima de uma imagem não utilizada antes de ser coletada como lixo. |
imageMaximumGcAge |
O valor precisa ser uma duração de tempo. | 0s |
Essa configuração define o tempo máximo que uma imagem pode ficar sem uso antes de ser coletada como lixo. O valor padrão desse campo é Disponível nas versões 1.30.7-gke.1076000, 1.31.3-gke.1023000 ou mais recentes do GKE. |
Extração de imagens
A tabela a seguir descreve as opções modificáveis para extração de imagens.
Configurações de kubelet |
Restrições | Configuração padrão | Descrição |
|---|---|---|---|
maxParallelImagePulls |
O valor precisa ser um número inteiro entre 2 e 5, inclusive. | 2 ou 3 com base no tipo de disco. |
Essa configuração define o número máximo de extrações de imagens em paralelo. O valor padrão é decidido pelo tipo de disco de inicialização. |
Segurança e operações não seguras
A tabela a seguir descreve as opções modificáveis para configurar a segurança e lidar com operações não seguras.
Configurações de kubelet |
Restrições | Configuração padrão | Descrição |
|---|---|---|---|
allowedUnsafeSysctls |
Lista de nomes ou grupos de
|
none |
Essa configuração define uma lista de permissões separada por vírgulas de nomes de sysctl ou grupos de sysctl não seguros que podem ser definidos nos pods. |
insecureKubeletReadonlyPortEnabled |
O valor precisa ser booleano, true ou false. |
false |
Essa configuração desativa a porta somente leitura 10255 do kubelet não segura em cada novo pool de nós no cluster. Se você definir essa configuração nesse arquivo, não será possível usar um cliente da API GKE para alterar a configuração no nível do cluster. |
Gerentes de recursos
O Kubernetes oferece um conjunto de gerenciadores de recursos. É possível configurar esses gerenciadores de recursos para coordenar e otimizar o alinhamento de recursos de nós para pods configurados com requisitos específicos de recursos de CPUs, dispositivos e memória (hugepages).
A tabela a seguir descreve as opções modificáveis para os gerenciadores de recursos.
Configurações de kubelet |
Restrições | Configuração padrão | Descrição |
|---|---|---|---|
cpuManagerPolicy |
O valor precisa ser none ou static. |
none |
Essa configuração controla a política do gerenciador de CPU do kubelet. O valor padrão é none, que é o esquema de afinidade de CPU padrão, não fornecendo afinidade além do que o programador do SO faz automaticamente.Definir esse valor como static permite que os pods que estão na classe de QoS Guaranteed e têm solicitações de CPU de número inteiro sejam atribuídos a CPUs exclusivas. |
memoryManager.policy |
O valor precisa ser None ou Static. |
None |
Essa configuração controla a política do Gerenciador de Memória do Se você definir esse valor como Essa configuração é compatível com clusters com o plano de controle executando o GKE versão 1.32.3-gke.1785000 ou mais recente. |
topologyManager |
O valor precisa ser uma das configurações aceitas para cada um dos respectivos campos. Não é possível definir o campo |
|
Essas configurações controlam a configuração do Gerenciador de topologia do É possível definir as configurações de política e escopo de maneira independente. Para mais informações sobre essas configurações, consulte Escopos e políticas do gerenciador de topologia. Os seguintes recursos do GKE são compatíveis com essa configuração:
|
Atraso na reinicialização do contêiner
Essa configuração controla o tempo máximo de espera entre as tentativas de reinicialização do contêiner quando ele está no estado CrashLoopBackOff. É possível definir
essa configuração para pools de nós padrão que executam o GKE versão
1.35 ou posterior.
A tabela a seguir descreve as opções modificáveis para crashLoopBackOff.
Configurações de kubelet |
Restrições | Configuração padrão | Descrição |
|---|---|---|---|
crashLoopBackOff.maxContainerRestartPeriod |
O valor precisa ser uma duração positiva menor ou igual a 5 minutos (5m). As unidades de tempo válidas são ns, us (ou µs), ms, s ou m. |
none |
A duração máxima que o atraso de espera pode acumular para reinicializações de contêineres. O atraso entre as reinicializações aumenta exponencialmente de um valor inicial até esse limite máximo. O limite máximo padrão para um cluster do Kubernetes é de 5 minutos. Para mais informações, consulte Atraso configurável de reinicialização do contêiner. |
Encerramento otimizado de VMs spot no GKE
A tabela a seguir descreve as opções modificáveis para o período de encerramento e encerramento completo de VMs spot no GKE. Para usar essas opções, o plano de controle do cluster precisa executar o GKE versão 1.35.0-gke.1171000 ou posterior. Para mais informações, consulte Como as VMs spot funcionam no GKE.
Configurações de kubelet |
Restrições | Configuração padrão | Descrição |
|---|---|---|---|
shutdownGracePeriodSeconds |
O valor precisa ser um número inteiro que representa a duração em segundos. Os valores permitidos são 0, 30 ou 120. |
30 |
Especifica a duração total em segundos que o nó atrasa o encerramento para encerrar os pods de maneira adequada. |
shutdownGracePeriodCriticalPodsSeconds |
O valor precisa ser um número inteiro entre 0 e 120 (inclusivo) e menor que shutdownGracePeriodSeconds. Só é válido se shutdownGracePeriodSeconds também estiver definido. |
15 |
Especifica a duração em segundos usada para encerrar pods críticos durante o encerramento de um nó. |
Reservas de recursos do sistema
Para pools de nós Standard que executam o Linux e o GKE versão 1.37.2-gke.1325000 ou posterior, é possível personalizar a quantidade de memória e CPU reservada para componentes do sistema. Isso permite ajustar a capacidade alocável para cenários específicos, como lidar com extrações de imagens de alto volume ou executar DaemonSets de nós personalizados. Para mais informações sobre as reservas padrão, consulte Sobre o dimensionamento de nós do GKE.
A tabela a seguir descreve as opções modificáveis para reservas de recursos do sistema.
Configurações de kubelet |
Restrições | Configuração padrão | Descrição |
|---|---|---|---|
reservedResourcesConfig.memoryReservedMib |
O valor precisa ser um número inteiro. Precisa ser maior ou igual à reserva de memória padrão para pools de nós que executam a versão 1.37.2-gke.1325000 ou mais recente e menor que 50% da capacidade total de memória do nó. | Consulte Reservas de memória. | A quantidade de memória a ser reservada para componentes do sistema, em mebibytes (MiB). |
reservedResourcesConfig.cpuReservedMillicore |
O valor precisa ser um número inteiro. Precisa ser maior ou igual à reserva de CPU padrão para pools de nós que executam a versão 1.37.2-gke.1325000 ou mais recente e menor que 50% da capacidade total de CPU do nó. | Consulte Reservas de CPU. | A quantidade de CPU a ser reservada para componentes do sistema, em milicores. |
Verificar reservas efetivas
Para verificar as reservas ativas aplicadas ao pool de nós, inspecione os campos de saída effectiveMemoryReservedMib e effectiveCpuReservedMillicore:
gcloud container node-pools describe POOL_NAME \
--cluster=CLUSTER_NAME \
--location=LOCATION \
--format="yaml(config.kubeletConfig.reservedResourcesConfig)"
Opções de configuração de Sysctl
Para ajustar o desempenho do sistema, modifique os parâmetros do kernel do Linux. As tabelas nesta seção descrevem os vários parâmetros de kernel que podem ser configurados.
Parâmetros do sistema de arquivos (fs.*)
A tabela a seguir descreve os parâmetros modificáveis do sistema de arquivos do Linux. Essas configurações controlam o comportamento do sistema de arquivos do Linux, como limites de identificadores de arquivos e monitoramento de eventos.
Parâmetro Sysctl |
Restrições | Descrição |
|---|---|---|
fs.aio-max-nr |
Precisa ser entre [65536, 4194304]. | Essa configuração define o número máximo de solicitações de E/S assíncronas em todo o sistema. |
fs.file-max |
Precisa estar entre [104857, 67108864]. | Essa configuração define o número máximo de identificadores de arquivos que o kernel do Linux pode alocar. |
fs.inotify.max_user_instances |
Precisa ser entre [8192, 1048576]. | Essa configuração define o número máximo de instâncias do inotify que um usuário pode criar. |
fs.inotify.max_user_watches |
Precisa ser entre [8192, 1048576]. | Essa configuração define o número máximo de observações do inotify que um usuário pode criar. |
fs.nr_open |
Precisa estar entre [1048576, 2147483584]. | Essa configuração define o número máximo de descritores do arquivo que podem ser abertos por um processo. |
Parâmetros do kernel (kernel.*)
A tabela a seguir descreve os parâmetros modificáveis do kernel do Linux. Essas configurações definem as funcionalidades principais do kernel, incluindo a alocação de memória compartilhada.
| Parâmetro sysctl | Restrições | Descrição |
|---|---|---|
kernel.shmmni |
Precisa estar entre [4096, 32768]. | Essa configuração define o número máximo de segmentos de memória compartilhada em todo o sistema. Se esse valor não for definido, o padrão será 4096. |
kernel.shmmax |
Precisa estar entre [0, 18446744073692774399]. | Essa configuração define o tamanho máximo, em bytes, de um único segmento de memória compartilhada permitido pelo kernel. Esse valor será ignorado se for maior que a quantidade real de RAM, o que significa que toda a RAM disponível pode ser compartilhada. |
kernel.shmall |
Precisa estar entre [0, 18446744073692774399]. | Essa configuração define a quantidade total de páginas de memória compartilhada que podem ser usadas no sistema ao mesmo tempo. Uma página tem 4.096 bytes na arquitetura AMD64 e Intel 64. |
kernel.perf_event_paranoid |
Precisa estar entre [-1, 3]. | Essa configuração controla o uso do sistema de eventos de desempenho por usuários sem privilégios e sem CAP_PERFMON. O valor padrão é 2 no kernel. |
kernel.sched_rt_runtime_us |
Precisa estar entre [-1, 1000000]. | Essa configuração define um limite global de quanto tempo a programação em tempo real pode usar. |
kernel.softlockup_panic |
Opcional (booleano). | Essa configuração controla se o kernel panic ocorre quando um bloqueio parcial é detectado. |
kernel.yama.ptrace_scope |
Precisa estar entre [0, 3]. |
Essa configuração define o escopo e as restrições para a chamada do sistema
|
kernel.kptr_restrict |
Precisa ser entre [0, 2]. | Essa configuração indica se há restrições para expor endereços de kernel por meio de /proc e outras interfaces. |
kernel.dmesg_restrict |
Opcional (booleano). | Essa configuração indica se os usuários sem privilégios são impedidos de usar dmesg(8) para visualizar mensagens do buffer de registro do kernel. |
kernel.sysrq |
Precisa estar entre [0, 511]. |
Essa configuração controla as funções que podem ser invocadas pela tecla SysRq. Os valores possíveis incluem o seguinte:
|
kernel.keys.maxbytes |
Precisa ser entre [20000, 2097152]. | Essa configuração define o número máximo de bytes que um usuário não raiz pode manter na seção de payload de todas as chaves dele. |
kernel.keys.maxkeys |
Precisa estar entre [200, 1048576]. | Essa configuração define o número máximo de chaves que um usuário não raiz pode ter. |
Parâmetros de rede (net.*)
A tabela a seguir descreve os parâmetros modificáveis para rede. Essas configurações ajustam o desempenho e o comportamento da pilha de rede, desde buffers de soquete até o rastreamento de conexões.
| Parâmetro sysctl | Restrições | Descrição |
|---|---|---|
net.core.busy_poll |
Qualquer número inteiro positivo menor que 2147483647. | Essa configuração define o tempo limite de sondagem ocupada de baixa latência para sondagem e seleção. Ele representa o tempo aproximado em µs para o loop ocupado aguardando eventos. |
net.core.busy_read |
Qualquer número inteiro positivo menor que 2147483647. | Essa configuração define o tempo limite de sondagem ocupada de baixa latência para leituras de soquete. Ele representa o tempo aproximado em µs para o loop ocupado aguardando pacotes na fila do dispositivo. |
net.core.netdev_max_backlog |
Qualquer número inteiro positivo menor que 2147483647. | Essa configuração define o número máximo de pacotes, enfileirados no lado de ENTRADA, quando a interface recebe pacotes mais rápido do que o kernel pode processá-los. |
net.core.rmem_default |
Qualquer número inteiro positivo menor que 2147483647. | Essa configuração define o tamanho padrão do buffer de soquete de recebimento, em bytes. |
net.core.rmem_max |
Qualquer número inteiro positivo menor que 2147483647. | Essa configuração define o tamanho máximo do buffer de soquete de recebimento, em bytes. |
net.core.wmem_default |
Qualquer número inteiro positivo menor que 2147483647. | Essa configuração define o padrão, em bytes, do buffer de envio do soquete. |
net.core.wmem_max |
Qualquer número inteiro positivo menor que 2147483647. | Essa configuração define o tamanho máximo do buffer de soquete de envio, em bytes. |
net.core.optmem_max |
Qualquer número inteiro positivo menor que 2147483647. | Essa configuração define o tamanho máximo do buffer auxiliar permitido por soquete. |
net.core.somaxconn |
Precisa estar entre [128, 2147483647]. | Essa configuração define o limite do backlog socket listen(), que é conhecido no espaço do usuário como SOMAXCONN. Essa configuração é definida como 128 por padrão. |
net.ipv4.tcp_rmem |
{min, default, max} (cada > 0, memória em bytes). | Essa configuração define o tamanho mínimo, em bytes, do buffer de recebimento usado pelos soquetes UDP em moderação. A configuração padrão é 1 página. |
net.ipv4.tcp_wmem |
{min, default, max} (cada > 0, memória em bytes). | Essa configuração define o tamanho mínimo, em bytes, do buffer de envio usado pelos soquetes UDP na moderação. A configuração padrão é 1 página. |
net.ipv4.tcp_tw_reuse |
Precisa estar entre {0, 1}. | Essa configuração define se é permitido reutilizar soquetes no estado TIME_WAIT para novas conexões quando isso é seguro do ponto de vista do protocolo. O valor padrão é 0. |
net.ipv4.tcp_max_orphans |
Precisa estar entre [16384, 262144]. | Essa configuração define o número máximo de soquetes TCP que não estão anexados a nenhum identificador de arquivo do usuário. |
net.ipv4.tcp_max_tw_buckets |
Precisa estar entre [4096, 2147483647]. | Essa configuração define o número máximo de soquetes de espera de tempo mantidos pelo sistema simultaneamente. Se esse número for excedido, o soquete de espera será destruído imediatamente e um aviso será exibido. |
net.ipv4.tcp_syn_retries |
Precisa estar entre [1, 127]. | Essa configuração define o número de vezes que os SYNs iniciais de uma tentativa de conexão TCP ativa são retransmitidos. |
net.ipv4.tcp_ecn |
Precisa ser entre [0, 2]. | Essa configuração controla o uso da Notificação de Congestionamento Explícito (ECN, na sigla em inglês) pelo TCP. A ECN é usada apenas quando as duas extremidades da conexão TCP indicam suporte para ela. |
net.ipv4.tcp_mtu_probing |
Precisa ser entre [0, 2]. |
Essa configuração controla a descoberta de MTU de caminho da camada de empacotamento TCP. Os valores compatíveis são os seguintes:
|
net.ipv4.tcp_congestion_control |
Precisa ser um dos valores compatíveis na coluna Descrição. | Essa configuração não é compatível quando o GKE Dataplane V2 está ativado no cluster. Os seguintes valores compatíveis dependem do tipo de imagem:
|
net.ipv6.conf.all.disable_ipv6 |
Booleano. | Mudar esse valor é o mesmo que mudar a configuração conf/default/disable_ipv6 e todas as configurações disable_ipv6 por interface para o mesmo valor. |
net.ipv6.conf.default.disable_ipv6 |
Booleano. | Essa configuração desativa a operação do IPv6. |
net.netfilter.nf_conntrack_acct |
Precisa estar entre {0, 1}. | Essa configuração ativa a contabilização de fluxo de rastreamento de conexão. O valor padrão é 0, o que significa que a configuração está desativada. Disponível nas versões 1.32.0-gke.1448000 ou mais recentes do GKE. |
net.netfilter.nf_conntrack_max |
Precisa ser entre [65536, 4194304]. | Essa configuração define o tamanho da tabela de rastreamento de conexão. Se o valor máximo for atingido, a nova conexão vai falhar. Disponível nas versões 1.32.0-gke.1448000 ou mais recentes do GKE. |
net.netfilter.nf_conntrack_buckets |
Precisa estar entre [65536, 524288]. |
Essa configuração define o tamanho da tabela de hash. A configuração recomendada é o resultado de: Disponível nas versões 1.32.0-gke.1448000 ou mais recentes do GKE. |
net.netfilter.nf_conntrack_tcp_timeout_close_wait |
Precisa estar entre [60, 3600]. |
Essa configuração define o período, em segundos, em que as conexões TCP podem permanecer no estado Disponível nas versões 1.32.0-gke.1448000 ou mais recentes do GKE. |
net.netfilter.nf_conntrack_tcp_timeout_established |
Precisa estar entre [600, 86400]. |
Essa configuração define a duração, em segundos, das conexões inativas antes que elas sejam excluídas automaticamente da tabela de rastreamento de conexões. Disponível nas versões 1.32.0-gke.1448000 ou mais recentes do GKE. |
net.netfilter.nf_conntrack_tcp_timeout_time_wait |
Precisa estar entre [1, 600]. |
Essa configuração define o período, em segundos, em que as conexões TCP podem permanecer no estado Disponível nas versões 1.32.0-gke.1448000 ou mais recentes do GKE. |
net.ipv4.neigh.default.gc_thresh1 |
Precisa estar entre [0, 262144]. | Essa configuração define o número mínimo de entradas a serem mantidas no cache do ARP. O coletor de lixo não será executado se o número de entradas estiver abaixo dessa configuração. Definir esse valor como 0 pode levar à sobrecarga do cache e à degradação do desempenho. |
net.ipv4.neigh.default.gc_thresh2 |
Precisa estar entre [512, 524288]. | Essa configuração define o número máximo flexível de entradas a serem mantidas no cache ARP. O coletor de lixo permite que o número de entradas exceda esse valor por 5 segundos antes de iniciar a coleta de lixo leve. |
net.ipv4.neigh.default.gc_thresh3 |
Precisa estar entre [1024, 1048576]. | Essa configuração define o número máximo de entradas a serem mantidas no cache do ARP. O coletor de lixo foi projetado para sempre ser executado se o número de entradas exceder essa configuração. |
Parâmetros de memória virtual (vm.*)
A tabela a seguir descreve os parâmetros modificáveis do subsistema de memória virtual. Essas configurações gerenciam o subsistema de memória virtual, que controla como o kernel lida com memória, troca e cache em disco.
Parâmetro sysctl |
Restrições | Descrição |
|---|---|---|
vm.max_map_count |
Precisa estar entre [65536, 2147483647]. | Esse arquivo define o número máximo de áreas de mapa de memória que um processo pode ter. |
vm.dirty_background_ratio |
Precisa estar entre [1, 100]. | Essa configuração define a porcentagem de memória do sistema que pode ser preenchida com páginas sujas antes que as linhas de execução do flusher do kernel em segundo plano comecem a gravação. O valor precisa ser menor que o do campo vm.dirty_ratio. |
vm.dirty_background_bytes |
Precisa estar entre [0, 68719476736]. |
Essa configuração define a quantidade de memória suja em que as linhas de execução do flusher do kernel em segundo plano iniciam o writeback. Esteja ciente de que |
vm.dirty_expire_centisecs |
Precisa estar entre [0, 6000]. | Essa configuração define o tempo máximo, em centésimos de segundo, que os dados sujos podem permanecer na memória antes que as linhas de execução do limpador de kernel os gravem no disco. |
vm.dirty_ratio |
Precisa estar entre [1, 100]. | Essa configuração define a porcentagem de memória do sistema que pode ser preenchida com páginas sujas antes que os processos que realizam gravações sejam forçados a bloquear e gravar dados sujos de forma síncrona. |
vm.dirty_bytes |
Precisa estar entre [0, 68719476736]. |
Essa configuração define a quantidade de memória suja em que um processo que gera gravações em disco inicia o writeback. O valor mínimo permitido para Esteja ciente de que |
vm.dirty_writeback_centisecs |
Precisa estar entre [0, 1000]. | Essa configuração define o intervalo, em centésimos de segundo, em que as linhas de execução do flusher do kernel são ativadas para gravar dados antigos no disco. |
vm.overcommit_memory |
Precisa ser {0, 1, 2}. |
Essa configuração determina a estratégia do kernel para lidar com o excesso de memória. Os valores são os seguintes:
Essa configuração não é compatível com máquinas que têm menos de 15 GB de memória. |
vm.overcommit_ratio |
Precisa estar entre [0, 100]. | Essa configuração define a porcentagem de RAM física permitida para overcommit quando o valor do campo vm.overcommit_memory é definido como 2. |
vm.vfs_cache_pressure |
Precisa estar entre [0, 100]. | Essa configuração ajusta a preferência do kernel para recuperar a memória usada para caches de dentry (diretório) e inode. |
vm.swappiness |
Precisa estar entre [0, 200]. | Essa configuração controla a tendência do kernel de mover processos da memória física para o disco de troca. O valor padrão é 60. |
vm.watermark_scale_factor |
Precisa estar entre [10, 3000]. | Essa configuração controla a agressividade do kswapd. Ele define a memória restante antes que o kswapd seja ativado e a memória a ser liberada antes que ele seja desativado. O valor padrão é 10. |
vm.min_free_kbytes |
Precisa estar entre [67584, 1048576]. | Essa configuração define a memória livre mínima antes da OOM. O valor padrão é 67584. |
Para mais informações sobre os valores compatíveis com cada flag sysctl, consulte a
documentação da CLI gcloud --system-config-from-file.
Diferentes
namespaces do Linux
podem ter valores exclusivos para uma determinada flag sysctl, mas outros podem ser globais
para todo o nó. A atualização das opções sysctl usando uma configuração do sistema de nós ajuda a garantir que sysctl seja aplicado globalmente no nó e em cada namespace, para que cada pod tenha valores sysctl idênticos em cada namespace do Linux.
Opções de configuração do modo cgroup do Linux
O ambiente de execução do contêiner e o kubelet usam os cgroups de kernel do Linux para gerenciar recursos, como limitar a quantidade de CPU ou memória que cada contêiner em um pod pode acessar. Há duas versões do subsistema cgroup no kernel: cgroupv1 e cgroupv2.
O suporte do Kubernetes para cgroupv2 foi introduzido como Alfa na versão 1.18 do Kubernetes, Beta na versão 1.22 e GA na versão 1.25. Para saber mais, consulte a
documentação do Kubernetes cgroups v2.
A configuração do sistema de nós permite personalizar a configuração do cgroup dos
pools de nós. É possível usar cgroupv1 ou cgroupv2. O GKE usa
cgroupv2 para novos pools de nós Standard que executam a versão 1.26 e mais recentes e cgroupv1 para
pools de nós que executam versões anteriores à 1.26. Para pools de nós criados com o provisionamento automático de nós, a configuração do cgroup depende da versão inicial do cluster, não da versão do pool de nós. cgroupv1 não é
compatível com máquinas Arm.
Use a configuração do sistema de nós para alterar a definição de um pool de nós para usar cgroupv1 ou cgroupv2 explicitamente. Fazer upgrade de um pool de nós atual que
usa cgroupv1 para a versão 1.26 não muda a configuração para cgroupv2.
Os pools de nós atuais que executam uma versão anterior à 1.26 e que não
incluem uma configuração de cgroup personalizada continuarão usando cgroupv1.
Para mudar a configuração, especifique explicitamente cgroupv2 para o pool de nós
atual.
Por exemplo, para configurar o pool de nós para usar cgroupv2, use um arquivo de configuração do sistema de nós, como:
linuxConfig:
cgroupMode: 'CGROUP_MODE_V2'
As opções cgroupMode aceitas são as seguintes:
CGROUP_MODE_V1: usecgroupv1no pool de nós.CGROUP_MODE_V2: usecgroupv2no pool de nós.CGROUP_MODE_UNSPECIFIED: use a configuração padrão do cgroup do GKE.
Para usar cgroupv2, os seguintes requisitos e limitações se aplicam:
- Para um pool de nós com uma versão anterior à 1.26, é necessário usar a CLI gcloud versão 408.0.0 ou mais recente. Como alternativa, use a gcloud beta com a versão 395.0.0 ou mais recente.
- Os pools de nós e de cluster precisam executar a versão 1.24.2-gke.300 ou posterior do GKE.
- Use o Container-Optimized OS com containerd ou o Ubuntu com containerd como imagem de nó.
- Se alguma das cargas de trabalho depender da leitura do sistema de arquivos cgroup
(
/sys/fs/cgroup/...), verifique se ele é compatível com a APIcgroupv2. - Se você usa ferramentas de monitoramento ou de terceiros, verifique se elas são
compatíveis com o
cgroupv2. - Se você usa cargas de trabalho do Java (JDK), recomendamos utilizar versões com
suporte total ao cgroupv2,
incluindo JDK
8u372, JDK 11.0.16 ou mais recentes ou JDK 15 ou posterior.
Verificar a configuração do cgroup
Quando você adiciona uma configuração de sistema de nós, o GKE precisa recriar os nós para implementar as alterações. Depois de adicionar a configuração a um pool de nós e recriar os nós, verifique a nova configuração.
É possível verificar a configuração do cgroup para nós em um pool de nós usando a CLI gcloud ou a ferramenta de linha de comando kubectl:
CLI da gcloud
Verifique a configuração do cgroup de um pool de nós:
gcloud container node-pools describe POOL_NAME \
--format='value(Config.effectiveCgroupMode)'
Substitua POOL_NAME pelo nome do pool de nós.
A saída possível é uma das seguintes:
EFFECTIVE_CGROUP_MODE_V1: os nós usamcgroupv1EFFECTIVE_CGROUP_MODE_V2: os nós usamcgroupv2
A saída mostra apenas a nova configuração do cgroup depois que os nós no pool de nós são recriados. A saída fica vazia para pools de nós do Windows Server, que não são compatíveis com cgroup.
kubectl
Para usar kubectl para verificar a configuração do cgroup nos nós neste pool, selecione um nó e conecte-se a ele usando as seguintes instruções:
- Crie um shell interativo
com qualquer nó no pool de nós. No comando, substitua
mynodepelo nome de qualquer nó no pool de nós. - Identifique a versão do cgroup nos nós do Linux.
Opções de configuração de hugepages do Linux
É possível usar páginas grandes pré-alocadas manualmente ou páginas grandes transparentes atribuídas automaticamente.
Hugepages pré-alocadas
É possível usar um arquivo de configuração do sistema de nós para pré-alocar hugepages. O Kubernetes oferece suporte a páginas enormes pré-alocadas como um tipo de recurso, semelhante à CPU ou à memória.
Para usar hugepages, as limitações e requisitos a seguir se aplicam:
- Para garantir que o nó não seja totalmente ocupado por hugepages, o tamanho geral
das hugepages alocadas não pode exceder:
- Em máquinas com menos de 30 GB de memória: 60% da memória total. Por exemplo, em uma máquina e2-standard-2 com 8 GB de memória, não é possível alocar mais de 4,8 GB para hugepages.
- Em máquinas com mais de 30 GB de memória: 80% da memória total. Por exemplo, em máquinas c4a-standard-8 com 32 GB de memória, as páginas grandes não podem exceder 25,6 GB.
- As páginas enormes de 1 GB estão disponíveis apenas nos tipos de máquina A3, C2D, C3, C3D, C4, C4A, C4D, C4N, CT5E, CT5LP, CT6E, H3, M2, M3, M4, Z3 ou Z4D.
A tabela a seguir descreve as configurações modificáveis para as hugepages do Linux.
| Parâmetro de configuração | Restrições | Valor padrão | Descrição |
|---|---|---|---|
hugepage_size2m |
Contagem de números inteiros. Sujeito aos limites de alocação de memória descritos anteriormente. | 0 |
Essa configuração pré-aloca um número específico de páginas enormes de 2 MB. |
hugepage_size1g |
Contagem de números inteiros. Sujeito às limitações de memória e tipo de máquina descritas anteriormente. | 0 |
Essa configuração pré-aloca um número específico de hugepages de 1 GB. |
Transparent HugePages (THP)
Use um arquivo de configuração do sistema de nós para ativar o suporte a HugePage transparente do kernel do Linux. Com o THP, o kernel atribui automaticamente hugepages aos processos sem pré-alocação manual.
A tabela a seguir descreve os parâmetros modificáveis para THP.
| Parâmetro de configuração | Valores compatíveis | Valor padrão | Descrição |
|---|---|---|---|
transparentHugepageEnabled |
|
UNSPECIFIED |
Essa configuração controla se as THPs estão ativadas para memória anônima. |
transparentHugepageDefrag |
|
UNSPECIFIED |
Essa configuração define a configuração de desfragmentação para THP. |
O THP está disponível no GKE versão 1.33.2-gke.4655000 ou mais recente. Ele também é ativado em novos pools de nós de TPU por padrão na versão 1.33.2-gke.4655000 ou mais recente do GKE. As THPs não são ativadas quando você faz upgrade de pools de nós para uma versão compatível ou posterior.
Opção de sincronização de horário precisa do Linux
Se a sincronização de horário precisa e o monitoramento da precisão da sincronização de horário forem importantes para suas cargas de trabalho, configure o horário preciso para sincronizar o relógio da VM com o relógio do host usando chrony e ptp_kvm. A sincronização de horário precisa está disponível no GKE
versão 1.36.0-gke.3241000 e mais recentes. Essa configuração foi projetada para alcançar
uma precisão de 1 ms em configurações compatíveis. Para mais informações sobre
tipos de máquina, sistemas operacionais e zonas compatíveis, consulte
Configurar o horário preciso para VMs do Compute Engine.
A tabela a seguir descreve o parâmetro para configurar a sincronização de horário precisa com o GKE:
| Parâmetro de configuração | Valores compatíveis | Valor padrão | Descrição |
|---|---|---|---|
|
true ou false |
false |
Essa configuração permite uma sincronização de horário precisa. Esse recurso só é compatível com tipos de máquina, sistemas operacionais e zonas específicos. |
Depois que você ativa a sincronização de horário precisa, o GKE coleta e exporta as seguintes informações:
- A métrica
compute.googleapis.com/instance/clock_accuracy/ptp_kvm/nanosecond_accuracy, que indica a precisão do relógio do host da VM em relação ao UTC. - O registro
projects/PROJECT_ID/logs/chrony.tracking, que contém os registros de rastreamento dechrony. Esses registros fornecem informações como a taxa de ganho ou perda do relógio do sistema.
Use essas informações para criar métricas com base em registros e painéis no Cloud Monitoring para analisar o desempenho e a confiabilidade da sincronização de horário.
Por exemplo, a configuração gke-clock-metric.json a seguir define uma
métrica com base em registros do erro máximo de relógio do host:
{
"name": "phc-clock-max-error",
"description": "Maximum error of the VM clock from the host clock exposed by ptp_kvm",
"filter": "resource.type=\"k8s_node\" AND log_id(\"chrony.tracking\")",
"metricDescriptor": {
"metricKind": "DELTA",
"valueType": "DISTRIBUTION",
"unit": "s",
"labels": []
},
"valueExtractor": "REGEXP_EXTRACT(textPayload, \"^.*PHC0.* ([-\\\\d\\\\.eE]+)$\")",
"bucketOptions": {
"explicitBuckets": {
"bounds": [
0.0, 5.0E-7, 1.0E-6, 2.0E-6, 4.0E-6, 5.0E-6, 8.0E-6, 1.0E-5, 2.0E-5,
1.0E-4, 0.001, 0.01, 0.1, 1.0
]
}
}
}
A configuração gke-metrics-dashboard.json a seguir define um
painel do Monitoring que agrega os dados de erro da
métrica com base em registros e da métrica de precisão de UTC:
{
"displayName": "Overall Clock Accuracy",
"dashboardFilters": [],
"labels": {},
"mosaicLayout": {
"columns": 48,
"tiles": [
{
"width": 28,
"height": 28,
"widget": {
"xyChart": {
"dataSets": [
{
"plotType": "LINE",
"targetAxis": "Y1",
"timeSeriesQuery": {
"prometheusQuery": "(\n histogram_quantile(1, sum by (le, node_name) (\n increase(logging_googleapis_com:user_phc_clock_max_error_bucket{monitored_resource=\"k8s_node\"}[1m])\n )) * 1000000000\n)\n+ on(node_name) group_left()\nlabel_replace(\n compute_googleapis_com:instance_clock_accuracy_ptp_kvm_nanosecond_accuracy{monitored_resource=\"gce_instance\"},\n \"node_name\", \"$1\", \"instance_name\", \"(.*)\"\n)\n",
"unitOverride": "ns"
}
}
],
"chartOptions": {
"displayHorizontal": false,
"mode": "COLOR"
},
"thresholds": [],
"yAxis": {
"label": "Clock Accuracy",
"scale": "LINEAR"
}
}
}
}
]
}
}
Opções de configuração do VFIO do Linux
A tabela a seguir descreve o parâmetro para configurar a VFIO (E/S de função virtual) em um nó. O VFIO permite que drivers de espaço do usuário seguros e sem privilégios acessem dispositivos de E/S.
| Parâmetro de configuração | Restrições | Valor padrão | Descrição |
|---|---|---|---|
nodeVfioConfig.dmaEntryLimit |
O valor precisa ser um número inteiro entre 65535 e 4194304. |
65535 |
Especifica o número máximo de entradas de DMA (páginas) que podem ser mapeadas pelo driver VFIO IOMMU tipo 1 para um contêiner. Esse limite afeta a quantidade total de memória do host que pode ser fixada para acesso direto ao dispositivo, o que geralmente é essencial para dispositivos de alto desempenho, como TPUs e GPUs. Essa configuração corresponde ao seguinte parâmetro do kernel: /sys/module/vfio_iommu_type1/parameters/dma_entry_limit. Valores mais altos podem ser necessários para cargas de trabalho que mapeiam grandes regiões de memória.Disponível nas versões 1.36.0-gke.3009000 ou mais recentes do GKE. |
Opções de configuração do programador de E/S de disco do Linux
A tabela a seguir descreve os parâmetros para configurar o programador de E/S de disco para pools de nós.
| Parâmetro de configuração | Valores compatíveis | Valor padrão | Descrição |
|---|---|---|---|
diskIoScheduler.nodeSystemIoScheduler |
mq-deadline, bfq, kyber, none |
bfq para imagem do Container-Optimized OS, none para imagem do Ubuntu |
Configura o programador de E/S para o disco de inicialização ou o SSD local temporário que executa cargas de trabalho do sistema de nós. Disponível nas versões 1.36.0-gke.3009000 ou mais recentes do GKE. |
diskIoScheduler.nodeAttachedDiskIoScheduler |
mq-deadline, bfq, kyber, none |
none |
Configura o programador de E/S para os discos anexados. Disponível nas versões 1.36.0-gke.3009000 ou mais recentes do GKE. |
Opções de substituição do kernel do Linux
É possível usar um arquivo de configuração do sistema de nós para substituir parâmetros específicos do kernel do Linux, incluindo a linha de comando do kernel e as configurações de LRU de várias gerações. Essas configurações são compatíveis com clusters que executam as versões 1.35.0-gke.1018000 ou mais recentes do GKE.
Opções de linha de comando do kernel do Linux
A tabela a seguir descreve as opções de linha de comando do kernel modificáveis.
| Parâmetro de configuração | Valores compatíveis | Descrição |
|---|---|---|
specRstackOverflow |
SPEC_RSTACK_OVERFLOW_OFF |
Muda a mitigação de estouro de pilha de retorno especulativo (SRSO, na sigla em inglês). O único valor compatível é SPEC_RSTACK_OVERFLOW_OFF. |
initOnAlloc |
INIT_ON_ALLOC_OFF |
Altera o parâmetro init_on_alloc na linha de comando do kernel. O único valor compatível é INIT_ON_ALLOC_OFF. |
Opções de configuração da LRU de várias gerações
A tabela a seguir descreve as opções modificáveis da LRU de várias gerações.
| Parâmetro de configuração | Valores compatíveis | Descrição |
|---|---|---|
enabled |
true, false |
Ativa ou desativa a LRU de várias gerações. Essa configuração define o kill switch. |
minTtlMs |
Número inteiro positivo | Opcional. Configura o valor de prevenção de thrashing de min_ttl_ms para o LRU de várias gerações. |
Opções de configuração de arquivos do SO
É possível usar um arquivo de configuração do sistema de nós para adicionar entradas a arquivos de configuração específicos do SO nos nós. Essas configurações são compatíveis com clusters que executam as versões 1.35.0-gke.1018000 ou mais recentes do GKE.
Outras entradas /etc/hosts
Esse campo adiciona entradas de arquivo /etc/hosts, como no
exemplo a seguir:
linuxConfig:
additionalEtcHosts:
- ip: 1.2.3.4
host: myownpersonaldomain.com
- ip: 5.6.7.8
host: otherpersonaldomain.com
Outras entradas /etc/systemd/resolved.conf
Este campo adiciona entradas de arquivo /etc/systemd/resolved.conf. Esse campo
aceita uma matriz de pares de chave-valor.
As seguintes chaves são compatíveis:
DNSFallbackDNSDomainsLLMNRMulticastDNSDNSSECDNSOverTLSCacheCacheFromLocalhostDNSStubListenerDNSStubListenerExtraReadEtcHostsResolveUnicastSingleLabelStaleRetentionSec
O exemplo a seguir adiciona dois valores de servidor DNS (8.8.8.8 e 8.8.4.4) à chave DNS e um valor de domínio (myownpersonaldomain.com) à chave Domains:
linuxConfig:
additionalEtcSystemdResolvedConf:
- key: DNS
value:
- 8.8.8.8
- 8.8.4.4
- key: Domains
value:
- myownpersonaldomain.com
Outras entradas /etc/resolv.conf
Este campo adiciona entradas de arquivo /etc/resolv.conf. Esse campo aceita uma matriz de pares de chave-valor. As seguintes chaves são compatíveis:
nameserversearchsortlistoptions
O exemplo a seguir adiciona um valor de servidor DNS (1.1.1.1) à chave nameserver e um valor de domínio (myownpersonaldomain.com) à chave search:
linuxConfig:
additionalEtcResolvConf:
- key: nameserver
value:
- 1.1.1.1
- key: search
value:
- myownpersonaldomain.com
Configuração de fuso horário
O campo timeZone define o fuso horário no nó, por exemplo,
America/Los_Angeles. Essa configuração é compatível com clusters que executam
as versões 1.35.0-gke.1018000 ou mais recentes do GKE.
O exemplo a seguir define o campo timeZone como America/Los_Angeles:
linuxConfig:
timeZone: America/Los_Angeles
A seguir
- Saiba como migrar nós para o cgroupv2 do Linux.
- Saiba como adicionar e gerenciar pools de nós.
- Saiba como personalizar a configuração do containerd em nós do GKE.
- Saiba como inicializar automaticamente os nós do GKE com o DaemonSets.