Tipos de máquina compatíveis

Os clusters do Serviço Gerenciado para Apache Spark são criados em instâncias do Compute Engine. Os tipos de máquinas definem os recursos de hardware virtualizados que estão disponíveis para uma instância. O Compute Engine oferece tipos de máquina predefinidos e tipos de máquina personalizados. Os clusters do Serviço Gerenciado para Apache Spark podem usar tipos predefinidos e personalizados para os nós mestre e de trabalho.

Os clusters do Serviço Gerenciado para Apache Spark são compatíveis com os seguintes tipos de máquina predefinidos do Compute Engine (a disponibilidade varia de acordo com a região):

• Tipos de máquina de uso geral, que incluem os tipos de máquina N1, N2, N2D, E2, C3, C4, N4 e N4D (o Serviço Gerenciado para Apache Spark também é compatível com os tipos de máquina personalizados N1, N2, N2D, E2, N4 e N4D).

  Limitações:

  • O tipo de máquina n1-standard-1 não é compatível com imagens 2.0+ (o tipo de máquina n1-standard-1 não é recomendado para imagens pré-2.0. Em vez disso, use um tipo de máquina com mais memória).
  • Os tipos de máquina com núcleo compartilhado não são compatíveis, o que inclui os seguintes tipos de máquina:
    • E2: tipos de máquina com núcleo compartilhado e2-micro, e2-small e e2-medium;
    • N1: tipos de máquina com núcleo compartilhado f1-micro e g1-small.
  • O Serviço Gerenciado para Apache Spark seleciona hyperdisk-balanced como o tipo de disco de inicialização se o tipo de máquina for C4, N4 ou N4D.
• Tipos de máquina otimizados para computação, que incluem os tipos de máquina C2 e C2D.
• Tipos de máquina com otimização de memória, que incluem tipos de máquina M1 e T2.
• Tipos de máquina ARM, que incluem os tipos de máquina C4A.

Para ajuda na escolha de um tipo de máquina, consulte Otimizar os custos do Serviço Gerenciado para Apache Spark usando o tipo de máquina da VM.

Tipos de máquina personalizados

O Serviço Gerenciado para Apache Spark é compatível com tipos de máquina personalizados das séries N1, N2, N2D, E2, N4 e N4D.

Os tipos de máquina personalizados são ideais para as seguintes cargas de trabalho:

• cargas de trabalho não ideais para tipos de máquinas predefinidos;
• Cargas de trabalho que exigem mais potência de processamento ou mais memória, mas não precisam de todos os upgrades fornecidos pelo próximo nível de tipo de máquina.

Por exemplo, se você tem uma carga de trabalho que precisa de mais capacidade de processamento do que a fornecida por uma instância n1-standard-4, mas a próxima etapa, uma instância n1-standard-8, fornece muita capacidade. Com os tipos de máquina personalizados, é possível criar clusters do Managed Service for Apache Spark com nós mestre e/ou de trabalho no intervalo médio, com 6 CPUs virtuais e 25 GB de memória.

Especificar um tipo de máquina personalizado

Os tipos de máquina personalizados usam uma especificação machine type especial e estão sujeitos a limitações. Por exemplo, a especificação do tipo de máquina personalizada para uma VM personalizada com seis CPUs virtuais e 22,5 GB de memória é custom-6-23040.

Os números na especificação do tipo de máquina correspondem ao número de CPUs virtuais (vCPUs) na máquina (6) e à quantidade de memória (23040). A quantidade de memória é calculada multiplicando a quantidade de memória em gigabytes por 1024 (consulte Como expressar a memória em GB ou MB). Neste exemplo, 22,5 (GB) são multiplicados por 1.024: 22.5 * 1024 = 23040.

Observação: o Serviço Gerenciado para Apache Spark exige que os tipos de máquina tenham no mínimo 3,5 GB (3.584) de memória.

Você especifica o tipo de máquina personalizado ao criar um cluster. É possível definir o tipo de máquina para nós mestre ou de trabalho, ou ambos, ao criar um cluster. Se você definir ambos, o nó mestre poderá usar um tipo de máquina personalizado que seja diferente do tipo de máquina personalizado usado por trabalhos. O tipo de máquina usado por workers secundários segue as configurações dos workers primários e não pode ser definido separadamente (consulte Workers secundários: VMs preemptivas e não preemptivas).

Consulte Criar um cluster do Serviço Gerenciado para Apache Spark com tipo de máquina personalizado com memória estendida para aumentar a memória da CPU acima dos limites padrão.

Preços de tipos de máquina personalizados

Os preços dos tipos de máquina personalizados são baseadoa nos recursos usados em uma máquina personalizada. Os preços do Serviço Gerenciado para Apache Spark são adicionados ao custo dos recursos de computação e se baseiam no número total de CPUs virtuais (vCPUs) usadas em um cluster.

Criar um cluster com um tipo de máquina especificado

Console doGoogle Cloud

Abra a página Criar cluster.

Na Configuração do worker, selecione a família de máquinas, a série e o tipo.

Por padrão, as configurações do nó do driver (mestre) são as mesmas do worker primário. Em Configuração adicional, é possível editar o Nó do driver para desmarcar a caixa de seleção Nó do driver padrão é o mesmo que o do worker primário e especificar as configurações do nó do driver.

Comando da CLI gcloud

Execute o comando gcloud dataproc clusters create com as flags a seguir para criar um cluster do Serviço Gerenciado para Apache Spark com tipos de máquina mestre e/ou de worker:

• A flag --master-machine-type machine-type permite definir o tipo de máquina predefinido ou personalizado usado pela instância de VM mestre no cluster (ou instâncias mestre, se você criar um cluster de alta disponibilidade).
• A flag --worker-machine-type custom-machine-type permite definir o tipo de máquina predefinido ou personalizado usado pelas instâncias de VM de worker no cluster.

Exemplo:

gcloud dataproc clusters create test-cluster /
    --master-machine-type custom-6-23040 /
    --worker-machine-type custom-6-23040 /
    other args

Deixe o console do Google Cloud criar sua solicitação de criação de cluster. Na parte de baixo da página Criar cluster, clique em Linha de comando equivalente ou REST equivalente para que o console do Google Cloud crie um comando da CLI gcloud ou uma solicitação da API REST equivalente.

Depois que o cluster do Serviço Gerenciado para Apache Spark é iniciado, os detalhes dele são exibidos na janela do terminal. Esta é uma listagem de amostra parcial de propriedades do cluster exibidas na janela do terminal:

...
properties:
  distcp:mapreduce.map.java.opts: -Xmx1638m
  distcp:mapreduce.map.memory.mb: '2048'
  distcp:mapreduce.reduce.java.opts: -Xmx4915m
  distcp:mapreduce.reduce.memory.mb: '6144'
  mapred:mapreduce.map.cpu.vcores: '1'
  mapred:mapreduce.map.java.opts: -Xmx1638m
...

API

Para criar um cluster com tipos de máquinas personalizados, defina machineTypeUri no masterConfig e/ou workerConfig no InstanceGroupConfig na solicitação de API cluster.create.

Exemplo:

POST /v1/projects/my-project-id/regions/is-central1/clusters/
{
  "projectId": "my-project-id",
  "clusterName": "test-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-a"
    },
    "masterConfig": {
      "numInstances": 1,
      "machineTypeUri": "n1-highmem-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
        "numLocalSsds": 0
      }
    },
    "workerConfig": {
      "numInstances": 2,
      "machineTypeUri": "n1-highmem-4",
      "diskConfig": {
        "bootDiskSizeGb": 500,
        "numLocalSsds": 0
      }
    }
  }
}

Deixe o console do Google Cloud criar sua solicitação de criação de cluster. Na parte de baixo da página Criar cluster, clique em Linha de comando equivalente ou REST equivalente para que o console do Google Cloud crie um comando da CLI gcloud ou uma solicitação da API REST equivalente.

Criar um cluster com tipo de máquina personalizado e memória estendida

O Serviço Gerenciado para Apache Spark é compatível com tipos de máquina personalizados com memória estendida além do limite de 6,5 GB por vCPU (consulte Preços de memória estendida).

Embora não haja limite na quantidade de memória estendida por CPU, há um limite na memória estendida por instância de VM.

Console doGoogle Cloud

Abra a página Criar cluster do Serviço Gerenciado para Apache Spark.

Na Configuração do worker, selecione a família de máquinas, a série e o tipo.

Por padrão, as configurações do nó do driver (mestre) são as mesmas do worker primário. Em Configuração adicional, é possível editar o Nó do driver para desmarcar a caixa de seleção Nó do driver padrão é o mesmo que o do worker primário e especificar as configurações do nó do driver.

CLI da gcloud

Para criar um cluster a partir da linha de comando gcloud com CPUs personalizadas com memória estendida, adicione um sufixo -ext às sinalizações ‑‑master-machine-type e/ou ‑‑worker-machine-type.

Exemplo

O exemplo de linha de comando gcloud a seguir cria um cluster do Serviço Gerenciado para Apache Spark com 1 CPU e 50 GB de memória (50 * 1024 = 51200) em cada nó:

gcloud dataproc clusters create test-cluster /
    --master-machine-type custom-1-51200-ext /
    --worker-machine-type custom-1-51200-ext /
    other args

API

O snippet JSON de exemplo <code.instancegroupconfig< code="" dir="ltr" translate="no"></code.instancegroupconfig<> de uma solicitação clusters.create da API REST do Dataproc especifica 1 CPU e 50 GB de memória (50 * 1024 = 51200) em cada nó:

...
    "masterConfig": {
      "numInstances": 1,
      "machineTypeUri": "custom-1-51200-ext",
    ...
    },
    "workerConfig": {
      "numInstances": 2,
      "machineTypeUri": "custom-1-51200-ext",
     ...
...

Tipos de máquina ARM

O Serviço Gerenciado para Apache Spark permite criar um cluster com nós que usam tipos de máquina ARM, como o tipo de máquina C4A.

Requisitos e limitações:

• A imagem do Serviço Gerenciado para Apache Spark precisa ser compatível com o chipset ARM. As imagens 2.1-ubuntu20-arm, 2.2-ubuntu22-arm e 2.3-ubuntu22-arm (e, posteriormente, o sufixo -arm) do Serviço Gerenciado para Apache Spark são compatíveis com o chipset ARM. As imagens compatíveis com ARM não são compatíveis com muitos componentes opcionais e de ação de inicialização, conforme observado nas páginas de versão de lançamento de imagens.
• Como uma imagem precisa ser especificada para um cluster, os nós mestre, de trabalho e de trabalho secundário precisam usar um tipo de máquina ARM compatível com a imagem ARM do Serviço Gerenciado para Apache Spark selecionada.
• Os recursos do Managed Service para Apache Spark que não são compatíveis com os tipos de máquina ARM não estão disponíveis (por exemplo, SSDs locais não são compatíveis com os tipos de máquina C4A).
• As imagens ARM só são compatíveis com componentes pré-instalados e um conjunto limitado de componentes opcionais. Outros componentes opcionais e todas as ações de inicialização não são compatíveis.
• O Lightning Engine com execução de consulta nativa (NQE, na sigla em inglês) é compatível com tipos de máquina ARM ao usar imagens 2.3-ubuntu22-arm.

Criar um cluster com um tipo de máquina ARM

Console

Para criar um cluster do Serviço Gerenciado para Apache Spark que use um tipo de máquina ARM, faça o seguinte:

1. Abra a página Criar cluster do Serviço Gerenciado para Apache Spark.
2. Na Configuração do worker, selecione a família de máquinas, a série e o tipo.
3. Por padrão, as configurações do nó do driver (mestre) são as mesmas do worker primário. Em Configuração adicional, é possível editar o Nó do driver para desmarcar a caixa de seleção Nó do driver padrão é o mesmo que o do worker primário e especificar as configurações do nó do driver.

gcloud

Para criar um cluster do Serviço Gerenciado para Apache Spark que use um tipo de máquina ARM, execute o seguinte comando gcloud localmente em uma janela do terminal ou no Cloud Shell. Este exemplo especifica a imagem 2.1-ubuntu20-arm e o tipo de máquina ARM c4a-standard-4.

gcloud dataproc clusters create cluster-name \
    --region=REGION \
    --image-version=2.1-ubuntu20-arm \
    --master-machine-type=c4a-standard-4 \
    --worker-machine-type=c4a-standard-4

Observações:

• REGION: a região em que o cluster será localizado.

• Consulte a documentação de referência gcloud dataproc clusters create para mais informações sobre outras flags de linha de comando que podem ser usadas para personalizar o cluster.

API

O exemplo de solicitação [clusters.create](/managed-spark/docs/reference/rest/v1/projects.regions.clusters/create) da API REST do Dataproc a seguir cria um cluster que usa o tipo de máquina ARM `c4a-standard-4`.

POST /v1/projects/my-project-id/regions/is-central1/clusters/
{
  "projectId": "my-project-id",
  "clusterName": "sample-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-a"
    },
    "masterConfig": {
      "numInstances": 1,
      **"machineTypeUri": "c4a-standard-4"**,
      "diskConfig": {
        "bootDiskSizeGb": 500,
      }
    },
    "workerConfig": {
      "numInstances": 2,
      **"machineTypeUri": "c4a-standard-4"**,
      "diskConfig": {
        "bootDiskSizeGb": 500,
        "numLocalSsds": 0
      }
    },
    "softwareConfig": {
      "imageVersion": "2.1-ubuntu20-arm"
    }
  }
}

A seguir

• Saiba mais sobre VMs ARM no Compute.
• Saiba como criar uma VM com um tipo de máquina personalizado.
• Veja como criar e iniciar uma instância do Compute Engine.