Trasferimento da AWS o Azure su una rete privata gestita dal cliente

Una connessione di rete privata, stabilita utilizzando Google Cloud Cross-Cloud Interconnect o Partner Interconnect, può offrire vantaggi significativi per il trasferimento di dati tra AWS o Azure e Cloud Storage:

  • Potenziale ottimizzazione dei costi: ottieni potenzialmente risparmi sui costi in uscita. Questo può essere vantaggioso per i clienti con interconnessioni esistenti o per quelli che eseguono trasferimenti di dati di grandi dimensioni o ricorrenti, con conseguenti risparmi sostanziali a lungo termine.
  • Larghezza di banda di rete dedicata: l'utilizzo di un'interconnessione può offrire un throughput coerente e ad alta capacità e una latenza inferiore, il che è fondamentale per migrazioni di grandi dimensioni e sensibili al fattore tempo e per la sincronizzazione dei dati in tempo reale.
  • Soddisfa le esigenze di conformità: ideale per i workload in cui i requisiti normativi impongono di mantenere i dati al di fuori della rete internet pubblica. Questa funzionalità ti aiuta a trasferire i dati in modo privato utilizzando l'interconnessione per garantire la conformità, supportare la sovranità dei dati e semplificare gli audit.

Panoramica

Questo documento illustra i passaggi per:

  • Ordina e configura un Cross-Cloud Interconnect
  • Crea un endpoint in S3 o Azure
  • Configura un bilanciatore del carico di rete proxy interno regionale con connettività ibrida
  • Registra il bilanciatore del carico con Service Directory
  • Crea un trasferimento
  • Verifica che il traffico utilizzi l'interconnessione

Autorizzazioni obbligatorie

Per completare ciascuna delle seguenti sezioni, devi disporre di autorizzazioni specifiche. Queste autorizzazioni sono elencate nella documentazione relativa a questo insieme di passaggi.

Opzioni di interconnessione

Storage Transfer Service può trasferire dati da AWS e Azure tramite Cross-Cloud Interconnect (CCI) o Partner Interconnect.

I passaggi riportati di seguito sono specifici per CCI, ma si applicano anche alla configurazione del networking per Partner Interconnect.

Ordina e configura un Cross-Cloud Interconnect

Una connessione Cross-Cloud Interconnect è una connessione fisica dedicata tra Google Cloud e altri cloud provider.

Se hai già una connessione CCI, vai alla sezione successiva.

AWS

Segui le istruzioni per connetterti ad Amazon Web Services per ordinare e configurare una nuova connessione Cross-Cloud Interconnect. Devi disporre delle autorizzazioni corrette per configurare il networking sia in Google Cloud sia in AWS.

Guarda un video che illustra i passaggi per ordinare e configurare una CCI tra AWS e Google Cloud.

Azure

Segui le istruzioni per connetterti a Microsoft Azure per ordinare e configurare un nuovo Cross-Cloud Interconnect. Devi disporre delle autorizzazioni corrette per configurare il networking sia in Google Cloud sia in Azure.

Guarda un video che illustra i passaggi per ordinare e configurare una CCI tra Azure e Google Cloud.

Se il tuo bucket Cloud Storage è un bucket regionale, devi configurare l'CCI nella stessa regione del bucket per ridurre la latenza di rete.

Crea un endpoint in S3 o Azure

Crea un endpoint nel tuo account S3 o Azure.

AWS

Nel tuo account Amazon Web Services, crea un endpoint VPC che si connetta a S3.

Per creare l'endpoint, segui queste istruzioni di AWS: Accedi a un servizio AWS utilizzando un endpoint VPC di interfaccia.

Azure

Configura un endpoint privato nell'account di archiviazione in Azure seguendo questi passaggi.

Storage Transfer Service richiede l'endpoint *.blob.core.windows.net. L'endpoint *.dfs.core.windows.net non è supportato.

Una volta creato, prendi nota dell'indirizzo IP dell'endpoint. Dovrai specificare l'indirizzo IP quando crei il bilanciatore del carico nella sezione successiva.

Configura un bilanciatore del carico di rete proxy interno regionale con connettività ibrida

In Google Cloud, configura un bilanciatore del carico di rete proxy interno regionale con connettività ibrida. In questo modo viene fornito un indirizzo IP interno limitato ai client in esecuzione nella stessa rete VPC del bilanciatore del carico e che instrada il traffico agli endpoint VPC S3 o agli endpoint privati di Azure Storage che hai creato nella sezione precedente.

Devi creare il bilanciatore del carico nello stesso progetto e nella stessa rete VPC del collegamento VLAN che si interfaccia con Cloud Interconnect. Sebbene l'interconnessione stessa possa trovarsi in un progetto diverso all'interno della stessa organizzazione, il collegamento deve trovarsi nello stesso VPC e nella stessa regione del bilanciatore del carico.

Specifica l'indirizzo IP dell'endpoint VPC S3 o dell'endpoint privato di Azure Storage quando arrivi ai passaggi denominati Aggiungi endpoint al NEG di connettività ibrida.

Prendi nota dell'indirizzo IP e della porta frontend del bilanciatore del carico di rete, poiché dovrai specificarli nella sezione successiva.

Convalida la connessione

Prima di procedere, ti consigliamo di verificare che il bilanciatore del carico possa connettersi all'endpoint di archiviazione remoto.

Ecco come fare:

  1. Crea una VM di Compute Engine nella stessa rete VPC del bilanciatore del carico.
  2. Dalla VM, utilizza curl per testare la connettività all'indirizzo IP e alla porta del bilanciatore del carico:

    curl -v --resolve HOSTNAME:PORT:LOAD_BALANCER_IP https://HOSTNAME
    

    Sostituisci quanto segue:

    • HOSTNAME è il nome host del provider di archiviazione di origine.
      • Per AWS S3, utilizza l'endpoint API S3 per la regione del bucket, ad esempio s3.us-west-1.amazonaws.com.
      • Per Azure Storage, utilizza l'endpoint blob del tuo account di archiviazione, ad esempio mystorageaccount.blob.core.windows.net.
    • PORT è la porta configurata nella regola di forwarding del bilanciatore del carico, in genere 443.
    • LOAD_BALANCER_IP è l'indirizzo IP di frontend del bilanciatore del carico.

Una risposta dall'endpoint remoto, anche un errore, indica che la connettività è riuscita. Un timeout della connessione indica un'errata configurazione della rete che devi risolvere prima di continuare.

Registra il tuo NLB con Service Directory

Registra il bilanciatore del carico di rete in Service Directory. Storage Transfer Service utilizza Service Directory per risolvere l'indirizzo del bilanciatore del carico e connettersi direttamente.

Segui le istruzioni per registrare un bilanciatore del carico interno. Utilizza l'indirizzo IP e la porta del bilanciatore del carico che hai creato quando hai specificato la regola di forwarding.

Una volta creato, prendi nota del link alla pagina corrente del servizio. Utilizza il formato projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}. Questo valore ti servirà durante la creazione del job di trasferimento.

Crea un trasferimento

Concedi le seguenti autorizzazioni all'agente di servizio. Per istruzioni su come recuperare l'agente di servizio e concedergli le autorizzazioni, consulta Configura l'accesso a un sink: Cloud Storage.

Per creare un job di trasferimento che utilizza Cross-Cloud Interconnect, devi utilizzare l'API REST di Storage Transfer Service. Invia una richiesta come segue. Prendi nota del campo privateNetworkService, in cui specificherai il selfLink del servizio Service Directory.

AWS

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "awsS3DataSource": {
        "privateNetworkService": "SERVICE_SELF_LINK",
        "bucketName": "S3_BUCKET_NAME",
        "awsAccessKey": {
          "accessKeyId": "ACCESS_KEY_ID",
          "secretAccessKey": "SECRET_ACCESS_KEY"
        }
    },
    "gcsDataSink": {
        "bucketName": "GCS_BUCKET_NAME"
    }
  }
}

Azure

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "azureBlobStorageDataSource": {
          "privateNetworkService": "SERVICE_SELF_LINK",
          "storageAccount": "AZURE_SOURCE_NAME",
          "container": "AZURE_CONTAINER",
          "azureCredentials": {
              "sasToken": "AZURE_SAS_TOKEN",
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_BUCKET_NAME"
      }
  }
}

Sostituisci quanto segue:

  • SERVICE_SELF_LINK è il link alla pagina corrente del servizio Service Directory. Utilizza il formato projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}.

Per informazioni sugli altri campi, consulta la documentazione di riferimento di transferSpec.

Verifica che il traffico utilizzi l'interconnessione

Utilizza Cloud Monitoring per verificare il traffico che passa attraverso l'interconnessione da AWS o Azure.

  1. Nella console Google Cloud , vai a Connettività ibrida > Cloud Interconnect.
  2. Seleziona il collegamento VLAN che si connette al tuo ambiente AWS/Azure.
  3. Nella pagina dei dettagli della connessione, seleziona la scheda Monitoraggio. Cerca metriche che indicano il trasferimento di dati. In particolare:
    • Byte in entrata: questa metrica mostra i dati provenienti da AWS o Azure nel tuo VPC Google Cloud .
    • Stato di attività: assicurati che sia la connessione fisica sia la sessione BGP siano in uno stato operativo integro.