Trasferimento da HDFS a Cloud Storage

Storage Transfer Service supporta i trasferimenti da origini Hadoop Distributed File System (HDFS) on-premise e cloud.

I trasferimenti da HDFS devono utilizzare Cloud Storage come destinazione.

I casi d'uso includono la migrazione dallo spazio di archiviazione on-premise a Cloud Storage, l'archiviazione dei dati per liberare spazio di archiviazione on-premise, la replica dei dati su Google Cloud per la continuità aziendale o il trasferimento dei dati su Google Cloud per l'analisi e l'elaborazione.

Prerequisiti

Prima di configurare il trasferimento, assicurati di aver configurato quanto segue:

  • Autorizzazioni utente: assicurati che il tuo account utente o account di servizio gestito dall'utente disponga dell'autorizzazione per creare job di trasferimento e pool di agenti. Consulta Autorizzazioni utente richieste.
  • Autorizzazioni a livello di progetto basate su agenti: assicurati di aver configurato i ruoli a livello di progetto richiesti per l'account dell'agente di servizio e dell'agente di trasferimento. Vedi Autorizzazioni a livello di progetto basate su agenti.
  • Autorizzazioni del bucket di destinazione: concedi le autorizzazioni richieste nel bucket Cloud Storage di destinazione. Consulta Configura l'accesso a un sink: Cloud Storage.

Installa gli agenti in un pool di agenti

I trasferimenti basati su agenti utilizzano agenti software per orchestrare i trasferimenti. Questi agenti devono essere installati su una o più macchine con accesso al tuo file system. Gli agenti devono avere accesso al NameNode, a tutti i DataNode, al Key Management Server (KMS) di Hadoop e al Key Distribution Center (KDC) di Kerberos.

Gli agenti di trasferimento collaborano in un pool di agenti. L'aumento del numero di agenti può migliorare le prestazioni complessive del job, ma questo dipende da diversi fattori.

  • L'aggiunta di altri agenti può essere utile, fino a circa la metà del numero di nodi nel cluster HDFS. Ad esempio, con un cluster di 30 nodi, l'aumento da 5 a 15 agenti dovrebbe migliorare le prestazioni, ma oltre i 15 è improbabile che faccia molta differenza.

  • Per un cluster HDFS di piccole dimensioni, un agente potrebbe essere sufficiente.

  • Gli agenti aggiuntivi tendono ad avere un impatto maggiore sulle prestazioni quando un trasferimento include un numero elevato di file di piccole dimensioni. Storage Transfer Service ottiene un throughput elevato parallelizzando le attività di trasferimento tra più agenti. Più file sono presenti nel workload, maggiori saranno i vantaggi derivanti dall'aggiunta di altri agenti.

Non includere informazioni sensibili come quelle che consentono l'identificazione personale (PII) oppure dati di sicurezza nel nome del pool di agenti o nel prefisso dell'ID agente. I nomi delle risorse possono essere propagati ai nomi di altre risorse Google Cloud e possono essere esposti ai sistemi interni di Google esterni al tuo progetto.

Crea un pool di agenti

Crea un pool di agenti. Utilizza il tuo account utente Simbolo dell'account utente per questa azione.

Installa agenti

Installa gli agenti nel pool di agenti. Per questa azione, utilizza il tuo account agente di trasferimento.

Console Google Cloud

  1. Nella console Google Cloud , vai alla pagina Pool di agenti.

    Vai ai pool di agenti

  2. Seleziona il pool di agenti a cui aggiungere il nuovo agente.

  3. Fai clic su Installa agente.

  4. Segui le istruzioni per installare ed eseguire l'agente.

    Per saperne di più sulle opzioni della riga di comando dell'agente, consulta Opzioni della riga di comando dell'agente.

gcloud CLI

Per installare uno o più agenti utilizzando gcloud CLI, esegui gcloud transfer agents install:

gcloud transfer agents install --pool=POOL_NAME \
  --count=NUM_AGENTS \
  --mount-directories=MOUNT_DIRECTORIES \
  --hdfs-namenode-uri=HDFS_NAMENODE_URI \
  --hdfs-username=HDFS_USERNAME \
  --hdfs-data-transfer-protection=HDFS_DATA_TRANSFER_PROTECTION \
  --kerberos-config-file=KERBEROS_CONFIG_FILE \
  --kerberos-keytab-file=KERBEROS_KEYTAB_FILE \
  --kerberos-user-principal=KERBEROS_USER_PRINCIPAL \
  --kerberos-service-principal=KERBEROS_SERVICE_PRINCIPAL \

Sostituisci quanto segue:

  • --hdfs-namenode-uri specifica un cluster HDFS, inclusi uno schema, un nodo dei nomi e una porta, in formato URI. Ad esempio:

    • rpc://my-namenode:8020
    • http://my-namenode:9870

    Utilizza HTTP o HTTPS per WebHDFS. Se non viene fornito alcuno schema, si presume che sia RPC. Se non viene fornita alcuna porta, il valore predefinito è 8020 per RPC, 9870 per HTTP e 9871 per HTTPS. Ad esempio, l'input my-namenode diventa rpc://my-namenode:8020.

    Se il cluster è configurato con più nodi dei nomi, specifica il nodo principale corrente. Per saperne di più, consulta Cluster con più nodi dei nomi.

  • --hdfs-username è il nome utente per la connessione a un cluster HDFS con autenticazione semplice. Ometti questo flag se l'autenticazione avviene con Kerberos o se la connessione avviene senza autenticazione.

  • --hdfs-data-transfer-protection (facoltativo) è l'impostazione della qualità della protezione (QOP) lato client per i cluster con Kerberos. Il valore non può essere più restrittivo del valore QOP lato server. I valori validi sono: authentication, integrity e privacy.

Se esegui l'autenticazione con Kerberos, includi anche i seguenti flag:

  • --kerberos-config-file è il percorso di un file di configurazione Kerberos. Ad esempio, --kerberos-config-file=/etc/krb5.conf.

  • --kerberos-user-principal è l'entità utente Kerberos da utilizzare. Ad esempio, --kerberos-user-principal=user1.

  • --kerberos-keytab-file è il percorso di un file Keytab contenente l'entità utente specificata con il flag --kerberos-user-principal. Ad esempio, --kerberos-keytab-file=/home/me/kerberos/user1.keytab.

  • --kerberos-service-principal è l'entità servizio Kerberos da utilizzare, nel formato <primary>/<instance>. Il realm viene mappato dal file di configurazione Kerberos; qualsiasi realm fornito viene ignorato. Se questo flag non viene specificato, il valore predefinito è hdfs/<namenode_fqdn>, dove <namenode_fqdn> è il nome di dominio completo specificato nel file di configurazione.

    Ad esempio, --kerberos-service-principal=hdfs/my-namenode.a.example.com.

Lo strumento ti guiderà attraverso i passaggi necessari per installare gli agenti. Questo comando installa NUM_AGENTS agenti sulla tua macchina, mappati al nome del pool specificato come POOL_NAME, e autentica l'agente utilizzando le tue credenziali gcloud. Il nome del pool deve esistere, altrimenti viene restituito un errore.

Il flag --mount-directories è facoltativo, ma vivamente consigliato. Il suo valore è un elenco separato da virgole di directory nel file system a cui concedere l'accesso all'agente. Se ometti questo flag, l'intero file system viene montato nel container dell'agente. Per ulteriori dettagli, consulta il riferimento gcloud.

docker run

Prima di utilizzare docker run per installare gli agenti, segui le istruzioni per installare Docker.

Il comando docker run installa un agente. Per aumentare il numero di agenti nel pool, esegui di nuovo questo comando tutte le volte necessarie.

I flag di comando richiesti dipendono dal tipo di autenticazione che utilizzi.

Kerberos

Per eseguire l'autenticazione nel file system utilizzando Kerberos, utilizza il seguente comando:

sudo docker run -d --ulimit memlock=64000000 --rm \
  --network=host \
  -v /:/transfer_root \
  gcr.io/cloud-ingest/tsop-agent:latest \
  --enable-mount-directory \
  --project-id=${PROJECT_ID} \
  --hostname=$(hostname) \
  --creds-file="service_account.json" \
  --agent-pool=${AGENT_POOL_NAME} \
  --hdfs-namenode-uri=cluster-namenode \
  --kerberos-config-file=/etc/krb5.conf \
  --kerberos-user-principal=user \
  --kerberos-keytab-file=/path/to/folder.keytab

Sostituisci quanto segue:

  • --network=host deve essere omesso se su questa macchina sono in esecuzione più agenti.

  • --hdfs-namenode-uri: uno schema, un nodo dei nomi e una porta, in formato URI, che rappresentano un cluster HDFS. Ad esempio:

    • rpc://my-namenode:8020
    • http://my-namenode:9870

Utilizza HTTP o HTTPS per WebHDFS. Se non viene fornito alcuno schema, si presume che sia RPC. Se non viene fornita alcuna porta, il valore predefinito è 8020 per RPC, 9870 per HTTP e 9871 per HTTPS. Ad esempio, l'input my-namenode diventa rpc://my-namenode:8020.

Se il cluster è configurato con più nodi dei nomi, specifica il nodo principale corrente. Per saperne di più, consulta Cluster con più nodi dei nomi.

  • --kerberos-config-file: il percorso di un file di configurazione Kerberos. Il valore predefinito è /etc/krb5.conf.
  • --kerberos-user-principal: l'entità utente Kerberos.
  • --kerberos-keytab-file: il percorso di un file Keytab contenente l'entità utente specificata con --kerberos-user-principal.
  • --kerberos-service-principal: l'entità servizio Kerberos da utilizzare, nel formato "service/instance". Il realm viene mappato dal file di configurazione Kerberos; qualsiasi realm fornito viene ignorato. Se questo flag non viene specificato, il valore predefinito è hdfs/<namenode_fqdn>, dove fqdn è il nome di dominio completo.

Autenticazione semplice

Per eseguire l'autenticazione nel file system utilizzando l'autenticazione semplice:

sudo docker run -d --ulimit memlock=64000000 --rm \
  --network=host \
  -v /:/transfer_root \
  gcr.io/cloud-ingest/tsop-agent:latest \
  --enable-mount-directory \
  --project-id=${PROJECT_ID} \
  --hostname=$(hostname) \
  --creds-file="${CREDS_FILE}" \
  --agent-pool="${AGENT_POOL_NAME}" \
  --hdfs-namenode-uri=cluster-namenode \
  --hdfs-username="${USERNAME}"

Sostituisci quanto segue:

  • --hdfs-username: il nome utente da utilizzare per la connessione a un cluster HDFS utilizzando l'autenticazione semplice.
  • --hdfs-namenode-uri: uno schema, un nodo dei nomi e una porta, in formato URI, che rappresentano un cluster HDFS. Ad esempio:
    • rpc://my-namenode:8020
    • http://my-namenode:9870

Utilizza HTTP o HTTPS per WebHDFS. Se non viene fornito alcuno schema, presupponiamo che si tratti di RPC. Se non viene fornita alcuna porta, il valore predefinito è 8020 per RPC, 9870 per HTTP e 9871 per HTTPS. Ad esempio, l'input my-namenode diventa rpc://my-namenode:8020.

Se il cluster è configurato con più nodi dei nomi, specifica il nodo principale corrente. Per saperne di più, consulta Cluster con più nodi dei nomi.

Nessuna autenticazione

Per connetterti al file system senza autenticazione:

sudo docker run -d --ulimit memlock=64000000 --rm \
  --network=host \
  -v /:/transfer_root \
  gcr.io/cloud-ingest/tsop-agent:latest \
  --enable-mount-directory \
  --project-id=${PROJECT_ID} \
  --hostname=$(hostname) \
  --creds-file="${CREDS_FILE}" \
  --agent-pool="${AGENT_POOL_NAME}" \
  --hdfs-namenode-uri=cluster-namenode \

Sostituisci quanto segue:

  • --hdfs-namenode-uri: uno schema, un nodo dei nomi e una porta, in formato URI, che rappresentano un cluster HDFS. Ad esempio:
    • rpc://my-namenode:8020
    • http://my-namenode:9870

Utilizza HTTP o HTTPS per WebHDFS. Se non viene fornito alcuno schema, presupponiamo che si tratti di RPC. Se non viene fornita alcuna porta, il valore predefinito è 8020 per RPC, 9870 per HTTP e 9871 per HTTPS. Ad esempio, l'input my-namenode diventa rpc://my-namenode:8020.

Se il cluster è configurato con più nodi dei nomi, specifica il nodo principale corrente. Per saperne di più, consulta Cluster con più nodi dei nomi.

Opzioni di trasferimento

Le seguenti funzionalità di Storage Transfer Service sono disponibili per i trasferimenti da HDFS a Cloud Storage.

I file trasferiti da HDFS non conservano i metadati.

Crea un trasferimento

Non includere nell'ID progetto informazioni sensibili come quelle che consentono l'identificazione personale (PII) oppure dati di sicurezza. I nomi delle risorse possono essere propagati ai nomi di altre risorse Google Cloud e possono essere esposti ai sistemi interni di Google esterni al tuo progetto.

Storage Transfer Service offre più interfacce tramite le quali creare un trasferimento.

Console Google Cloud

  1. Vai alla pagina Storage Transfer Service nella console Google Cloud .

    Vai a Storage Transfer Service

  2. Fai clic su Crea job di trasferimento. Viene visualizzata la pagina Crea un job di trasferimento.

  3. Seleziona Hadoop Distributed File System come Tipo di origine. La destinazione deve essere Google Cloud Storage.

    Fai clic su Passaggio successivo.

Configura l'origine

  1. Specifica le informazioni richieste per questo trasferimento:

    1. Seleziona il pool di agenti che hai configurato per questo trasferimento.

    2. Inserisci il Percorso da cui eseguire il trasferimento, relativo alla directory root.

  2. Facoltativamente, specifica i filtri da applicare ai dati di origine.

  3. Fai clic su Passaggio successivo.

Configura il sink

  1. Nel campo Bucket o cartella, inserisci il nome del bucket di destinazione e (facoltativamente) della cartella oppure fai clic su Sfoglia per selezionare un bucket da un elenco di bucket esistenti nel progetto corrente. Per creare un nuovo bucket, fai clic su Icona bucket Crea nuovo bucket.

  2. Fai clic su Passaggio successivo.

Pianifica il trasferimento

Puoi pianificare l'esecuzione del trasferimento una sola volta o configurare un trasferimento ricorrente.

Fai clic su Passaggio successivo.

Scegli le impostazioni di trasferimento

  1. Nel campo Descrizione, inserisci una descrizione del trasferimento. Come best practice, inserisci una descrizione significativa e univoca in modo da poter distinguere i job.

  2. In Opzioni metadati, seleziona la classe di archiviazione di Cloud Storage e se salvare l'ora di creazione di ogni oggetto. Per maggiori dettagli, consulta Conservazione dei metadati.

  3. In Quando sovrascrivere, seleziona una delle seguenti opzioni:

    • Mai: non sovrascrivere i file di destinazione. Se esiste un file con lo stesso nome, non verrà trasferito.

    • Se diverso: sovrascrive i file di destinazione se il file di origine con lo stesso nome ha valori Etag o checksum diversi.

    • Sempre: sovrascrive sempre i file di destinazione quando il file di origine ha lo stesso nome, anche se sono identici.

  4. In Quando eliminare, seleziona una delle seguenti opzioni:

    • Mai: non eliminare mai i file dall'origine o dalla destinazione.

    • Elimina i file dalla destinazione se non sono presenti anche nell'origine: se i file nel bucket Cloud Storage di destinazione non sono presenti anche nell'origine, elimina i file dal bucket Cloud Storage.

      Questa opzione garantisce che il bucket Cloud Storage di destinazione corrisponda esattamente all'origine.

  5. Seleziona se attivare il logging dei trasferimenti e/o le notifiche Pub/Sub.

Fai clic su Crea per creare il job di trasferimento.

gcloud CLI

Per creare un nuovo job di trasferimento, utilizza il comando gcloud transfer jobs create. La creazione di un nuovo job avvia il trasferimento specificato, a meno che non venga specificata una pianificazione o --do-not-run.

gcloud transfer jobs create \
  hdfs:///PATH/ gs://BUCKET_NAME/PATH/ \
  --source-agent-pool=AGENT_POOL_NAME

Sostituisci quanto segue:

  • PATH è un percorso assoluto dalla directory principale del cluster HDFS. Il nodo dei nomi e la porta del cluster sono configurati a livello di agente, quindi il comando di creazione del job deve specificare solo il percorso (facoltativo) e il pool di agenti.

  • --source-agent-pool specifica il pool di agenti di origine da utilizzare per questo trasferimento.

Tra le altre opzioni ci sono:

  • --do-not-run impedisce a Storage Transfer Service di eseguire il job al momento dell'invio del comando. Per eseguire il job, aggiornalo per aggiungere una pianificazione o utilizza jobs run per avviarlo manualmente.

  • --manifest-file specifica il percorso di un file CSV in Cloud Storage contenente un elenco di file da trasferire dall'origine. Per la formattazione del file manifest, consulta Trasferisci file o oggetti specifici utilizzando un manifest.

  • Informazioni sul job: puoi specificare --name e --description.

  • Pianificazione: specifica --schedule-starts, --schedule-repeats-every e --schedule-repeats-until o --do-not-run.

  • Condizioni degli oggetti: utilizza le condizioni per determinare quali oggetti vengono trasferiti. Queste includono --include-prefixes e --exclude-prefixes, nonché le condizioni basate sul tempo in --include-modified-[before | after]-[absolute | relative]. Se hai specificato una cartella con l'origine, i filtri dei prefissi sono relativi a quella cartella. Per saperne di più, consulta Filtra gli oggetti di origine per prefisso.

  • Opzioni di trasferimento: specifica se sovrascrivere i file di destinazione (--overwrite-when=different o always) e se eliminare determinati file durante o dopo il trasferimento (--delete-from=destination-if-unique o source-after-transfer); facoltativamente, imposta una classe di archiviazione per gli oggetti trasferiti (--custom-storage-class).

  • Notifiche: configura le notifiche Pub/Sub per i trasferimenti con --notification-pubsub-topic, --notification-event-types e --notification-payload-format.

Per visualizzare tutte le opzioni, esegui gcloud transfer jobs create --help o consulta la documentazione di riferimento di gcloud.

API REST

Per creare un trasferimento da un'origine HDFS utilizzando l'API REST, crea un oggetto JSON simile all'esempio seguente.

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  ...
  "transferSpec": {
    "source_agent_pool_name":"POOL_NAME",
    "hdfsDataSource": {
      "path": "/mount"
    },
    "gcsDataSink": {
      "bucketName": "SINK_NAME"
    },
    "transferOptions": {
      "deleteObjectsFromSourceAfterTransfer": false
    }
  }
}

Per informazioni dettagliate su altri campi supportati, consulta il riferimento transferJobs.create.

Cluster con più nodi dei nomi

Gli agenti di Storage Transfer Service possono essere configurati solo con un singolo NameNode. Se il tuo cluster HDFS è configurato con più namenode ("alta affidabilità") e si verifica un evento di failover che genera un nuovo namenode principale, devi reinstallare gli agenti con il namenode corretto.

Per eliminare i vecchi agenti, consulta Elimina un agente.

Il nodo dei nomi attivo del cluster può essere recuperato eseguendo:

hdfs haadmin -getAllServiceState