Uma instância pública do Cloud Data Fusion permite criar e gerenciar pipelines de integração de dados que se conectam a endpoints acessíveis publicamente. Esse tipo de instância padrão usa a rede VPC padrão do projeto para executar clusters de execução e se conectar a endpoints externos pela Internet pública.
Antes de começar
- Ative a API Cloud Data Fusion.
- A permissão a seguir é necessária para criar instâncias do Cloud Data Fusion:
instances.create. Consulte Controle de acesso para mais informações. - As instâncias do Cloud Data Fusion são executadas como a conta de serviço padrão do Compute Engine. Para informações sobre os tipos e papéis disponíveis, consulte Contas de serviço.
- Por padrão, o Cloud Data Fusion executa pipelines usando um cluster do serviço gerenciado para Apache Spark no seu projeto. Verifique se o projeto atende aos requisitos de rede do Serviço Gerenciado para Apache Spark.
- Novos projetos começam com uma rede padrão. A rede padrão é pré-preenchida com uma regra de firewall default-allow-ssh, que permite conexões de entrada na porta TCP 22 de qualquer origem para qualquer instância na rede. Nas versões anteriores à 6.2.0, se essa regra para permitir a entrada na porta TCP 22 não existir na rede usada pela instância do Cloud Data Fusion, crie essa regra.
Criar uma instância
Console
Se a API estiver ativada, a seção do Cloud Data Fusion no console do Google Cloud vai mostrar uma página Instâncias, em que é possível criar e gerenciar suas instâncias do Cloud Data Fusion.
- No console, acesse a página do Cloud Data Fusion.
- Clique em Instâncias e em Criar uma instância.
- Insira um Nome de instância.
- Insira uma Descrição para sua instância.
- Especifique a Região em que a instância será criada.
- Especifique a Versão do Cloud Data Fusion.
- Selecione uma Edição. O padrão é Basic.
- Opcional: clique em Adicionar aceleradores para selecionar os aceleradores que serão usados na instância.
- Especifique a conta de serviço do Serviço Gerenciado para Apache Spark que será usada para executar o pipeline do Cloud Data Fusion no Serviço Gerenciado para Apache Spark. O padrão é a conta do Compute Engine. Independentemente da versão, verifique se uma conta de serviço tem papéis apropriados do Identity and Access Management que atendam a suas necessidades. Para mais informações, consulte Como conceder permissão ao usuário da conta de serviço.
Opcional: especifique as opções avançadas. Se você não especificar nada, os seguintes padrões serão usados:
Categoria Configuração Descrição Padrão IP particular Ativar endereços IP internos Crie a instância do Cloud Data Fusion com um endereço IP interno. Desativado Monitoramento e geração de registros avançados Ativar o Cloud Logging do Serviço Gerenciado para Apache Spark
Ativar o Cloud Monitoring do Serviço Gerenciado para Apache Spark
Acesse os registros avançados de pipeline no Cloud Logging. Desativado Integração da linhagem de dados do Knowledge Catalog Ativar ou desativar a integração com a linhagem de dados do Knowledge Catalog Ver a linhagem no Knowledge Catalog. Desativado Criptografia Use uma chave de criptografia gerenciada pelo cliente (CMEK) Use o controle de acesso baseado em papéis nas versões 6.5 e posteriores. Desativado Marcadores Um par de chave-valor Os rótulos de recursos para a instância usar para anotar todos os recursos subjacentes relacionados, como VMs do Compute Engine. As chaves e os valores de rótulo podem conter apenas letras, números, traços e sublinhados. As chaves de rótulo precisam começar com uma letra ou um número. Nenhum Manutenção Ativar janela de manutenção Defina o período em que o Cloud Data Fusion pode realizar operações de manutenção na instância. Para mais informações, consulte Configurar janelas de manutenção. Desativado Clique em Criar. O processo de criação da instância leva até 30 minutos para ser concluído.
Enquanto o Cloud Data Fusion cria a instância, um indicador de progresso é exibido ao lado do nome dela na página Instâncias. Após a conclusão, o indicador se transforma em uma marca de seleção verde, indicando que a instância já pode ser usada.
API
Crie uma instância:
Para criar uma instância do Cloud Data Fusion com a API REST do Cloud Data Fusion, crie uma solicitação de API instances.create, preenchendo o Instance com suas informações de configuração.
A seguir
- Saiba mais sobre o Cloud Data Fusion.
- Siga as etapas indicadas no tutorial.