Criar um cluster usando o Google Cloud console

Nesta página, mostramos como usar o Google Cloud console para criar um cluster do Serviço Gerenciado para Apache Spark, executar um job básico do Apache Spark no cluster e modificar o número de workers nele.

Antes de começar

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that you have the permissions required to complete this guide.

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Dataproc API.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

Funções exigidas

Algumas funções do Identity and Access Management (IAM, na sigla em inglês) são necessárias para executar os exemplos nesta página. Dependendo das políticas da organização, essas funções já podem ter sido concedidas. Para verificar as concessões de funções, consulte Você precisa conceder funções?.

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Papéis do usuário

Para receber as permissões necessárias para criar um cluster do Serviço Gerenciado para Apache Spark, peça ao administrador para conceder a você as seguintes funções do IAM:

Papel de conta de serviço

Para garantir que a conta de serviço padrão do Compute Engine tenha as permissões necessárias para criar um cluster do Serviço Gerenciado para Apache Spark, peça ao administrador para conceder as seguintes funções do IAM à conta de serviço padrão do Compute Engine no projeto:

Criar um cluster

  1. No Google Cloud console, acesse a página Clusters do Serviço Gerenciado para Apache Spark.

    Acessar Clusters

  2. Clique em Criar cluster.

  3. Na caixa de diálogo Criar cluster do Dataproc, clique em Criar na linha Cluster no Compute Engine.

  4. No campo Nome do cluster, insira example-cluster.

  5. Nas listas Região e Zona, selecione uma região e uma zona.

    Selecione uma região (por exemplo, us-east1 ou europe-west1) para isolar recursos, como instâncias de máquina virtual (VM) e locais de armazenamento de metadados e do Cloud Storage usados pelo Serviço Gerenciado para Apache Spark, na região. Para mais informações, consulte Regiões e zonas disponíveis e Região do cluster

  6. Para todas as outras opções, use as configurações padrão.

  7. Para criar o cluster, clique em Criar.

    O novo cluster aparece em uma lista na página Clusters. O status é Em provisionamento até que o cluster esteja pronto para uso, e depois muda para Em execução. O provisionamento do cluster pode levar alguns minutos.

Enviar um job do Spark

Envie um job do Spark que estima um valor de Pi:

  1. No menu de navegação do Serviço Gerenciado para Apache Spark, clique em Jobs.

  2. Na página Jobs, clique em Enviar job e faça o seguinte:

    1. No campo código da tarefa, use a configuração padrão ou forneça um ID que seja exclusivo para seu Google Cloud projeto.
    2. No menu suspenso Cluster, selecione example-cluster.
    3. Em Tipo de serviço, selecione Spark.
    4. No campo Classe principal ou jar, insira org.apache.spark.examples.SparkPi.

    5. No campo Arquivos JAR, insira file:///usr/lib/spark/examples/jars/spark-examples.jar. Esse jar de amostra já vem instalado no cluster. Para jobs personalizados, especifique um caminho do Cloud Storage. Consulte Enviar um job.

    6. No campo Argumentos, insira 1000 para definir o número de tarefas.

      Ele gera pontos x e y em um plano de coordenadas que modela um círculo dentro de um quadrado unitário. O argumento de entrada (1000) determina o número de pares x-y a serem gerados. Quanto mais pares gerados, maior a precisão da estimativa. Essa estimativa usa nós de worker do Serviço Gerenciado para Apache Spark para paralelizar o cálculo. Para mais informações, consulte Estimativa de Pi usando o método de Monte Carlo (em inglês) e JavaSparkPi.java no GitHub (em inglês).

    7. Clique em Enviar.

      O job é exibido na página Detalhes do job. O status do job é Em execução ou Iniciando e, depois de enviado, muda para Concluído.

      Para evitar a rolagem na saída, clique em Quebra de linha: desativada. A saída é semelhante a esta:

      Pi is roughly 3.1416759514167594

      Para conferir os detalhes do job, clique na guia Configuração.

Atualize um cluster

Atualize o cluster mudando o número de instâncias de worker:

  1. No menu de navegação do Serviço Gerenciado para Apache Spark, clique em Clusters.
  2. Na lista de clusters, clique em example-cluster.

  3. Na página Detalhes do cluster, clique na guia Configuração.

    As configurações do cluster são exibidas.

  4. Clique em Editar.

  5. No campo Nós de trabalho, insira 5.

  6. Clique em Salvar.

Seu cluster foi atualizado. Para reduzir o número de nós de trabalho ao valor original, siga o mesmo procedimento.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga as etapas abaixo.

  1. Para excluir o cluster, na página Detalhes do cluster de example-cluster, clique em Excluir.
  2. Para confirmar que você quer excluir o cluster, clique em Excluir.

A seguir