Configurar a conectividade privada para transferências do Snowflake

Neste guia, mostramos como configurar a conectividade privada para criar transferências de dados privadas do Snowflake para o BigQuery. As transferências de dados particulares permitem transferir dados de uma origem para outra em uma rede particular e reduzir os riscos de segurança ao transferir dados pela Internet pública.

As seções a seguir mostram as etapas necessárias para configurar a conectividade privada antes de criar uma transferência do Snowflake.

As transferências particulares são compatíveis com instâncias do Snowflake hospedadas na Amazon Web Services (AWS), no Microsoft Azure e no Google Cloud.

Transferências de dados particulares da AWS, do Azure ou de contas do Snowflake hospedadas no Google Cloudpara o BigQuery

Crie um link privado que conecte sua conta do Snowflake ao seu provedor de nuvem. Para mais informações, selecione uma das seguintes opções:

AWS

Configure o AWS PrivateLink para conectar sua conta do Snowflake à sua conta da AWS. Sua conta da AWS precisa conter o bucket de preparo do Amazon S3 necessário para uma transferência do Snowflake.

Azure

Configure o Azure Private Link para conectar sua rede virtual do Azure (VNet) à VNet do Snowflake no Azure. Sua conta do Azure precisa conter o bucket de preparo de blob necessário para uma transferência do Snowflake.

Google Cloud

Configure o Google Cloud Private Service Connect para conectar a sub-rede da sua rede de nuvem privada virtual (VPC) à sua conta do Snowflake hospedada no Google Cloud. O Google Cloud precisa ter um bucket de preparo do Cloud Storage necessário para uma transferência do Snowflake.

Configurar o Interconexão entre nuvens ou a VPN de alta disponibilidade

Configure o Interconexão entre nuvens ou a VPN de alta disponibilidade na AWS ou no Azure. Essa etapa não é necessária para contas do Snowflake hospedadas noGoogle Cloud.

AWS

Uma VPN de alta disponibilidade permite transferir dados por um túnel de VPN criptografado. Para usar uma VPN de alta disponibilidade na transferência privada do Snowflake, consulte Criar conexões de VPN de alta disponibilidade entre o Google Cloud e a AWS.

Uma conexão do Cross-Cloud Interconnect cria um link particular dedicado entre provedores de nuvem e é adequada para grandes transferências de dados com requisitos de baixa latência. Para usar Interconexão entre nuvens na transferência particular do Snowflake, consulte Conectar-se à AWS.

Azure

Uma VPN de alta disponibilidade permite transferir dados por um túnel de VPN criptografado. Para usar uma VPN de alta disponibilidade na transferência privada do Snowflake, consulte Criar conexões de VPN de alta disponibilidade entre o Google Cloud e o Azure.

Uma conexão do Cross-Cloud Interconnect cria um link particular dedicado entre provedores de nuvem e é adequada para grandes transferências de dados com requisitos de baixa latência. Para usar Interconexão entre nuvens na transferência privada do Snowflake, consulte Conectar ao Azure.

Criar VM de proxy

Para concluir uma conexão particular, é necessária uma VM de proxy para concluir a conexão entre as fontes de dados sem que os dados cheguem à Internet pública. Essa etapa é necessária para instâncias do Snowflake hospedadas na AWS, no Azure ou no Google Cloud.

Para criar e configurar uma VM de proxy para uma transferência privada do Snowflake, faça o seguinte:

  1. Crie uma ou mais instâncias de VM do Compute Engine na rede VPC do consumidor.
  2. Faça o download de um software de proxy TCP, como HAProxy ou Nginx, e configure o seguinte:
    1. Especifique uma porta. Por exemplo, 443
    2. Encaminhe todo o tráfego TCP de entrada para o nome do host e a porta particulares na instância do Snowflake.
  3. Configure as VMs para resolver o nome do host particular do Snowflake pelo DNS configurado na rede VPC do consumidor.

Criar balanceador de carga de passagem interno

Configure um balanceador de carga de passagem interno para o plano de controle fazendo o seguinte:

  1. Agrupe as VMs de proxy em um grupo gerenciado de instâncias (MIG).
  2. Configurar um balanceador de carga de rede de passagem interna com back-ends de grupos de instâncias de VM.

Criar anexo de serviço

Use o Private Service Connect para criar um anexo de rede e publicar o serviço. Essa etapa é necessária para instâncias do Snowflake hospedadas na AWS, no Azure ou no Google Cloud.

O anexo de serviço precisa estar na mesma região que o conjunto de dados do BigQuery.

Se o serviço usar aprovação explícita (connection-preference estiver definido como ACCEPT_MANUAL), a conta de serviço usada na transferência de dados privados do Snowflake precisará ter as seguintes permissões do IAM:

  • compute.serviceAttachments.get
  • compute.serviceAttachments.update
  • compute.regionOperations.get

Depois de criar o anexo de serviço, anote o URI dele. Você vai precisar desse URI ao criar a configuração de transferência do Snowflake.

Criar endpoint

Crie um endpoint na sua conta da AWS ou do Azure. Essa etapa não é necessária para contas do Snowflake hospedadas noGoogle Cloud.

AWS

Na AWS, crie um endpoint de VPC que se conecte ao Amazon S3. Para mais informações, consulte Acessar um serviço da AWS usando um endpoint de VPC de interface.

Azure

Configure um endpoint particular na conta de armazenamento no Azure. Para mais informações, consulte Usar endpoints particulares para o Armazenamento do Azure.

O Serviço de transferência do Cloud Storage requer o endpoint *.blob.core.windows.net. O endpoint *.dfs.core.windows.net não é compatível.

Após a criação, anote o endereço IP do endpoint. Você precisará especificar o endereço IP ao criar o balanceador de carga na seção a seguir.

Criar um balanceador de carga regional de proxy

Em Google Cloud, configure um balanceador de carga de rede de proxy interno regional com conectividade híbrida. Isso fornece um endereço IP interno restrito a clientes em execução na mesma rede VPC que o balanceador de carga e que encaminha o tráfego para os endpoints de VPC do S3 ou os endpoints privados do Armazenamento do Azure que você criou na seção anterior.

Crie o balanceador de carga no mesmo projeto e rede VPC que o anexo da VLAN que faz interface com o Cloud Interconnect. Embora a interconexão possa estar em um projeto diferente na mesma organização, o anexo precisa estar na mesma VPC e região que o balanceador de carga.

Especifique o endpoint da VPC do S3 ou o endereço IP do endpoint particular do Armazenamento do Azure quando chegar às etapas rotuladas como Adicionar endpoints ao NEG de conectividade híbrida.

Anote o endereço IP e a porta de front-end do NLB, porque você vai precisar especificá-los na próxima seção.

Validar a conexão

Antes de continuar, recomendamos que você valide se o balanceador de carga pode se conectar ao endpoint de armazenamento remoto.

Para fazer isso, siga estas etapas:

  1. Crie uma VM do Compute Engine na mesma rede VPC do balanceador de carga.
  2. Na VM, use curl para testar a conectividade com o endereço IP e a porta do balanceador de carga:

    curl -v --resolve HOSTNAME:PORT:LOAD_BALANCER_IP https://HOSTNAME
    

    Substitua:

    • HOSTNAME é o nome do host do provedor de armazenamento de origem.
      • Para o AWS S3, use o endpoint de API S3 para a região do bucket, por exemplo, s3.us-west-1.amazonaws.com.
      • Para o Armazenamento do Azure, use o endpoint de blob da sua conta de armazenamento, por exemplo, mystorageaccount.blob.core.windows.net.
    • PORT é a porta que você configurou na regra de encaminhamento do balanceador de carga, normalmente 443.
    • LOAD_BALANCER_IP é o endereço IP de front-end do balanceador de carga.

Uma resposta do endpoint remoto, mesmo um erro, indica que a conectividade foi bem-sucedida. Um tempo limite de conexão indica uma configuração incorreta na rede que precisa ser resolvida antes de continuar.

Registrar o NLB

Registre o NLB no Diretório de Serviços. O BigQuery usa o Diretório de Serviços para resolver o endereço do balanceador de carga e se conectar diretamente a ele.

Siga as instruções para registrar um balanceador de carga interno. Use o endereço IP e a porta do balanceador de carga que você criou ao especificar a regra de encaminhamento.

Depois de criar, anote o link automático do serviço. Ele usa o formato projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}. Você vai precisar desse valor ao criar o job de transferência.

Preparar bucket de preparo

Para concluir uma transferência de dados do Snowflake, crie um bucket de preparo e configure-o para permitir o acesso de gravação do Snowflake.

Selecione uma das seguintes opções:

AWS

Para contas do Snowflake hospedadas na AWS, crie um bucket do Amazon S3 para preparar os dados do Snowflake antes de serem carregados no BigQuery.

  1. Crie um bucket do Amazon S3.

  2. Crie e configure um objeto de integração de armazenamento do Snowflake para permitir que o Snowflake grave dados no bucket do Amazon S3 como um estágio externo.

Para permitir o acesso de leitura no bucket do Amazon S3, você também precisa fazer o seguinte:

  1. Crie um usuário do IAM da Amazon dedicado e conceda a ele a política AmazonS3ReadOnlyAccess.

  2. Crie um par de chaves de acesso da Amazon para o usuário do IAM.

Azure

Para contas do Snowflake hospedadas no Azure, crie um contêiner do Armazenamento de Blobs do Azure para preparar os dados do Snowflake antes que eles sejam carregados no BigQuery.

  1. Crie uma conta de armazenamento do Azure e um contêiner de armazenamento dentro dela.
  2. Crie e configure um objeto de integração de armazenamento do Snowflake para permitir que o Snowflake grave dados no contêiner de armazenamento do Azure como um estágio externo. Você pode pular as etapas para criar um estágio externo, já que isso não é necessário.

Para permitir o acesso de leitura no contêiner do Azure, gere um token SAS para ele.

Google Cloud

Para contas do Snowflake hospedadas no Google Cloud, crie um bucket do Cloud Storage para organizar os dados do Snowflake antes de serem carregados no BigQuery.

  1. Crie um bucket do Cloud Storage.
  2. Crie e configure um objeto de integração de armazenamento do Snowflake para permitir que o Snowflake grave dados no bucket do Cloud Storage como um estágio externo.
  3. Para permitir o acesso ao bucket de preparo, conceda ao agente de serviço do DTS o papel roles/storage.objectViewer com o seguinte comando:

    gcloud storage buckets add-iam-policy-binding gs://STAGING_BUCKET_NAME \
      --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer. \
      --role=roles/storage.objectViewer

Criar uma configuração de transferência privada do Snowflake

Crie a transferência do Snowflake. Ao definir a configuração de transferência, faça o seguinte:

Console

bq

  • Para o parâmetro use_private_network, defina como TRUE.
  • Para o parâmetro service_attachment, especifique o URI do anexo de serviço. Para saber como encontrar o URI do anexo de serviço, consulte Ver detalhes de um serviço publicado. O URI do anexo de serviço está no formato projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT.
  • Para o parâmetro private_network_service, forneça o link próprio do serviço de NLB. Ele usa o formato projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME.
  • cloud_provider: insira AWS, AZURE ou GCP, dependendo de qual provedor de nuvem está hospedando sua conta do Snowflake.
  • staging_s3_uri: insira o URI do bucket do S3 para usar como bucket de preparo. Obrigatório apenas quando cloud_provider é AWS.
  • aws_access_key_id: insira o par de chaves de acesso. Obrigatório apenas quando cloud_provider é AWS.
  • aws_secret_access_key: insira o par de chaves de acesso. Obrigatório apenas quando cloud_provider é AWS.
  • azure_storage_account: insira o nome da conta de armazenamento a ser usada como bucket de preparo. Obrigatório apenas quando cloud_provider é AZURE.
  • staging_azure_container: insira o contêiner no Armazenamento de Blobs do Azure para usar como um bucket de preparo. Obrigatório apenas quando cloud_provider é AZURE.
  • azure_sas_token: insira o token SAS. Obrigatório apenas quando cloud_provider é AZURE.
  • staging_gcs_uri : insira o URI do Cloud Storage para usar como um bucket de preparo. Obrigatório apenas quando cloud_provider é GCP.