Gli agenti di Storage Transfer Service sono applicazioni in esecuzione all'interno di un container Open Container Initiative (OCI) che si coordinano con Storage Transfer Service per i trasferimenti che coinvolgono file system o spazio di archiviazione compatibile con S3.
Per impostazione predefinita, Storage Transfer Service utilizza Docker per creare ed eseguire i container OCI.
Storage Transfer Service supporta anche Podman per la gestione dei container; per utilizzare Podman, devi installare gli agenti utilizzando il comando podman run.
Se il trasferimento non coinvolge un file system o uno spazio di archiviazione compatibile con S3, non è necessario configurare gli agenti.
Questo documento descrive come amministrare gli agenti di trasferimento sui tuoi server.
Panoramica
I processi degli agenti sono dinamici. Durante l'esecuzione di un trasferimento, puoi aggiungere agenti per migliorare le prestazioni. Gli agenti appena avviati si uniscono al pool di agenti assegnato ed eseguono il lavoro dei trasferimenti esistenti. Puoi utilizzarlo per regolare il numero di agenti in esecuzione o per adattare le prestazioni del trasferimento alla domanda di trasferimento in evoluzione.
I processi degli agenti sono un collettivo a tolleranza di errore. Se un agente smette di funzionare, gli altri continuano a lavorare. Se tutti gli agenti si arrestano, quando aggiungi nuovi agenti il trasferimento riprende dal punto in cui si erano arrestati. In questo modo, puoi evitare di monitorare gli agenti, riprovare i trasferimenti o implementare la logica di recupero. Puoi applicare patch, spostare e scalare dinamicamente i pool di agenti senza tempi di inattività del trasferimento coordinando gli agenti con Kubernetes.
Ad esempio, invii due trasferimenti mentre sono in esecuzione due agenti. Se uno degli agenti si arresta a causa del riavvio di una macchina o di una patch del sistema operativo, l'agente rimanente continua a funzionare. I due trasferimenti sono ancora in esecuzione, ma più lenti, poiché i dati vengono spostati da un singolo agente. Se anche l'agente rimanente si arresta, tutti i trasferimenti smettono di avanzare, poiché non ci sono agenti in esecuzione. Quando riavvii i processi degli agenti, i trasferimenti riprendono da dove erano stati interrotti.
I processi degli agenti appartengono a un pool. Insieme, spostano i dati in parallelo. Per questo motivo, tutti gli agenti di un pool devono avere lo stesso accesso a tutte le origini dati che vuoi trasferire.
Ad esempio, se stai trasferendo dati da un determinato file system, devi montare il file system su ogni macchina che ospita agenti nel tuo pool di agenti. Se alcuni agenti del tuo pool possono raggiungere un'origine dati e altri no, i trasferimenti da quell'origine dati non andranno a buon fine.
Prima di iniziare
Prima di configurare i trasferimenti, assicurati di aver configurato l'accesso per gli utenti e i service account.
Se utilizzerai i comandi gcloud, installa gcloud CLI.
Installa ed esegui gli agenti di trasferimento
Ti consigliamo di installare almeno tre agenti per pool di agenti, idealmente su macchine separate. Per saperne di più su come determinare il numero di agenti da eseguire, consulta Massimizzazione delle prestazioni degli agenti di trasferimento.
Per installare ed eseguire gli agenti di trasferimento:
Console Google Cloud
Nella console Google Cloud , vai alla pagina Pool di agenti.
Seleziona il pool di agenti a cui aggiungere il nuovo agente.
Fai clic su Installa agente.
Segui le istruzioni per installare ed eseguire l'agente.
Per saperne di più sulle opzioni della riga di comando dell'agente, consulta Opzioni della riga di comando dell'agente.
gcloud CLI
Per installare uno o più agenti utilizzando gcloud CLI, esegui gcloud transfer agents install:
gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
--mount-directories=MOUNT_DIRECTORIES
Lo strumento ti guiderà attraverso i passaggi necessari per installare gli agenti. Questo comando installa NUM_AGENTS agenti sulla tua macchina, mappati al nome del pool specificato come POOL_NAME, e autentica l'agente utilizzando le tue credenziali gcloud. Il nome del pool deve esistere, altrimenti viene restituito un errore.
Il flag --mount-directories è facoltativo, ma vivamente consigliato. Il suo valore è un elenco separato da virgole di directory nel file system a cui concedere l'accesso all'agente.
Se ometti questo flag, l'intero file system viene montato nel container dell'agente. Per ulteriori dettagli, consulta il riferimento gcloud.
Origini compatibili con S3
Quando installi gli agenti da utilizzare con un'origine compatibile con S3, devi fornire le credenziali AWS come variabili di ambiente come valori di AWS_ACCESS_KEY_ID e AWS_SECRET_ACCESS_KEY o archiviate come credenziali predefinite nei file di configurazione del sistema.
export AWS_ACCESS_KEY_ID=ID
export AWS_SECRET_ACCESS_KEY=SECRET
gcloud transfer agents install --pool=POOL_NAME \
--creds-file=/relative/path/to/service-account-key.json
Utilizza una chiave del account di servizio
Per eseguire gli agenti utilizzando una chiave del service account, utilizza l'opzione --creds-file:
gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
--mount-directories=MOUNT_DIRECTORIES \
--creds-file=relative/path/to/service-account-key.json
Scopri di più
Per un elenco completo dei flag facoltativi, esegui gcloud transfer agents install --help o leggi la documentazione di riferimento di gcloud transfer.
Docker
Prima di utilizzare Docker per installare gli agenti, segui le istruzioni per installare Docker.
Il comando docker run installa un agente. Per aumentare il numero di agenti nel tuo pool, esegui di nuovo questo comando tutte le volte necessarie.
Quando installi gli agenti, puoi scegliere di eseguire l'autenticazione utilizzando le tue credenziali predefinite di gcloud o con un account di servizio.
Credenziali predefinite
Per consentire al container Docker di autenticarsi con le tue credenziali predefinite di gcloud, crea un volume Docker contenente un file con le tue credenziali predefinite dell'applicazione eseguendo questo comando:
sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login
Poi utilizza il seguente comando per installare un agente, utilizzando il flag --volumes-from per montare il volume delle credenziali gcloud-config:
sudo docker run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Autenticazione del service account
Per installare ed eseguire gli agenti di trasferimento con docker run utilizzando le credenziali dell'account di servizio, monta il file della chiave dell'account di servizio in formato JSON nel container con -v e passa il percorso del file all'interno del container al flag --creds-file.
Per saperne di più sulle chiavi dei service account, consulta Crea e gestisci le chiavi dei service account.
sudo docker run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Opzioni e flag
Sostituisci le variabili negli esempi precedenti con le seguenti informazioni:
HOST_DIRECTORYè la directory sulla macchina host da cui intendi copiare. Puoi utilizzare più di un flag-vper specificare directory aggiuntive da cui copiare.CONTAINER_DIRECTORYè la directory mappata all'interno del container dell'agente. Deve essere uguale aHOST_DIRECTORY.PROJECT_IDè l'ID progetto che ospita il trasferimento.POOL_NAMEè il nome del pool di agenti in cui installare questo agente. Se ometti questo flag, l'agente viene installato nel pooltransfer_service_defaultdel tuo progetto.
Il comando docker run supporta flag aggiuntivi.
--enable-mount-directoryindica all'agente che l'intero file system dell'host è montato in/transfer_rootnel container. Utilizzala solo insieme a-v /:/transfer_root. L'agente antepone quindi/transfer_rootai percorsi di origine, destinazione, log e credenziali. Non combinarlo con i montaggi-v HOST_DIRECTORY:CONTAINER_DIRECTORYper directory.--creds-file=/etc/gcloud/key.jsonspecifica il percorso del file delle credenziali dell'account di servizio in formato JSON nel container. Questo file viene montato dal flag-v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ronel comando.Gli agenti non hanno bisogno di un flag per i trasferimenti dallo spazio di archiviazione compatibile con S3; l'agente utilizza automaticamente la modalità compatibile con S3 quando il job di trasferimento lo richiede. Il flag
--enable-s3è deprecato e viene ignorato.Se il trasferimento proviene da AWS S3 o da uno spazio di archiviazione compatibile con S3, passa l'ID della chiave di accesso e la chiave segreta utilizzando le variabili di ambiente:
sudo docker run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ -e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \ -e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
--env HTTPS_PROXY=PROXYspecifica un proxy di inoltro sulla tua rete. Il valore diPROXYè l'URL HTTP e la porta del server proxy. Assicurati di specificare l'URL HTTP e non un URL HTTPS per evitare il doppio wrapping delle richieste nella crittografia TLS. Le richieste con doppio wrapping impediscono al server proxy di inviare richieste in uscita valide.--gcs-api-endpoint=storage.LOCATION.rep.googleapis.comspecifica un endpoint regionale di Cloud Storage. Quando viene specificato un endpoint regionale di Cloud Storage, tutto il traffico di trasferimento di dati tramite l'agente rimane all'interno della regione Google Cloud . Per maggiori dettagli, consulta Endpoint regionali.--agent-id-prefix=ID_PREFIXspecifica un prefisso facoltativo che viene aggiunto all'ID agente per aiutare a identificare l'agente o la relativa macchina nella console Google Cloud . Quando viene utilizzato un prefisso, l'ID agente viene formattato comeprefix + hostname + Docker container ID.--log-dir=LOGS_DIRECTORYmodifica la directory in cui l'agente scrive i log. La directory predefinita è/tmp/.Monta questa directory nel container (ad esempio
-v /tmp:/tmp) in modo che i log vengano conservati sull'host. Se utilizzi--enable-mount-directory, specifica il percorso host. L'agente aggiunge automaticamente il prefisso/transfer_root.--max-physical-mem=MAX_MEMORY: Gli agenti utilizzano per impostazione predefinita un buffer pool da 8 GiB. Se il valore predefinito non è adatto al tuo ambiente, puoi specificare una memoria utilizzata massima pertinente nei seguenti formati:Valore max-physical-memImpostazione della memoria massima 6g6 gibibyte 6gb6 gibibyte 6GiB6 gibibyte --network=DOCKER_NETWORK: specifica la rete Docker per questo container. La specifica di--network=hostpuò migliorare le prestazioni riducendo l'overhead di rete, ma consente al container l'accesso completo alla rete dell'host.--kerberos-disable-pa-fx-fastimpedisce agli agenti di utilizzare la negoziazione FAST con Kerberos per i trasferimenti HDFS. Utilizza questo flag se il tuo Key Distribution Center (KDC) Kerberos non supporta la negoziazione FAST.
Podman
Prima di utilizzare Podman per installare gli agenti, installa Podman:
sudo apt-get update
sudo apt-get -y install podman
Quando installi gli agenti, puoi scegliere di eseguire l'autenticazione utilizzando le tue credenziali predefinite di gcloud o con un account di servizio.
Credenziali predefinite
Per consentire al container dell'agente di autenticarsi con le tue credenziali predefinite di Google Cloud CLI, crea un volume contenente un file con le tue credenziali predefinite dell'applicazione eseguendo questo comando:
gcloud auth print-access-token | podman login -u oauth2accesstoken --password-stdin gcr.io sudo podman pull gcr.io/google.com/cloudsdktool/google-cloud-cli:stable sudo podman run -ti --replace --name gcloud-config gcr.io/google.com/cloudsdktool/google-cloud-cli:stable gcloud auth application-default login
Quindi utilizza il seguente comando per installare un agente, utilizzando il flag --volumes-from per montare il volume delle credenziali gcloud-config.
Il comando installa un agente. Per aumentare il numero di agenti nel tuo pool, esegui di nuovo questo comando tutte le volte necessarie.
sudo podman run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Autenticazione del service account
Per installare ed eseguire gli agenti di trasferimento utilizzando le credenziali dell'account di servizio, devi rendere disponibile nel container la chiave dell'account di servizio in formato JSON. Ecco come fare:
- Monta la posizione host della chiave su qualsiasi percorso del container. Ad esempio:
-v $HOME/.config/gcloud/credentials.json:/key.json:ro. In questo modo, specifichi che la chiave si trova sulla macchina host in$HOME/.config/gcloud/credentials.jsone deve essere montata come/key.jsonsul container.roindica che il file viene reso disponibile al container in modalità di sola lettura. - Specifica il percorso del container della chiave come valore di
--creds-file. Nell'esempio del passaggio precedente, specifica--creds-file=/key.json.
Per saperne di più sulle chiavi dei service account, consulta Crea e gestisci le chiavi dei service account.
sudo podman run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Opzioni e flag
Sostituisci le variabili negli esempi precedenti con le seguenti informazioni:
HOST_DIRECTORYè la directory sulla macchina host da cui intendi copiare. Puoi utilizzare più di un flag-vper specificare directory aggiuntive da cui copiare.CONTAINER_DIRECTORYè la directory mappata all'interno del container dell'agente. Deve essere uguale aHOST_DIRECTORY.PROJECT_IDè l'ID progetto che ospita il trasferimento.POOL_NAMEè il nome del pool di agenti in cui installare questo agente. Se ometti questo flag, l'agente viene installato nel pooltransfer_service_defaultdel tuo progetto.
Il comando podman run supporta flag aggiuntivi.
--enable-mount-directoryindica all'agente che l'intero file system dell'host è montato in/transfer_rootnel container. Utilizzala solo insieme a-v /:/transfer_root. L'agente antepone quindi/transfer_rootai percorsi di origine, destinazione, log e credenziali. Non combinarlo con i montaggi-v HOST_DIRECTORY:CONTAINER_DIRECTORYper directory.--creds-file=/etc/gcloud/key.jsonspecifica il percorso del file delle credenziali dell'account di servizio in formato JSON nel container. Questo file viene montato dal flag-v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ronel comando.Gli agenti non hanno bisogno di un flag per i trasferimenti dallo spazio di archiviazione compatibile con S3; l'agente utilizza automaticamente la modalità compatibile con S3 quando il job di trasferimento lo richiede. Il flag
--enable-s3è deprecato e viene ignorato.Se il trasferimento proviene da AWS S3 o da uno spazio di archiviazione compatibile con S3, passa l'ID della chiave di accesso e la chiave segreta utilizzando le variabili di ambiente:
-e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \ -e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY ```--env HTTPS_PROXY=PROXYspecifica un proxy di inoltro sulla tua rete. Il valore diPROXYè l'URL HTTP e la porta del server proxy. Assicurati di specificare l'URL HTTP e non un URL HTTPS per evitare il doppio wrapping delle richieste nella crittografia TLS. Le richieste con doppio wrapping impediscono al server proxy di inviare richieste in uscita valide.--agent-id-prefix=ID_PREFIXspecifica un prefisso facoltativo che viene aggiunto all'ID agente per aiutare a identificare l'agente o la relativa macchina nella console Google Cloud . Quando viene utilizzato un prefisso, l'ID agente viene formattato comeprefix + hostname + OCI container ID.--log-dir=LOGS_DIRECTORYmodifica la directory in cui l'agente scrive i log. La directory predefinita è/tmp/.Monta questa directory nel container (ad esempio
-v /tmp:/tmp) in modo che i log vengano conservati sull'host. Se utilizzi--enable-mount-directory, specifica il percorso host. L'agente aggiunge automaticamente il prefisso/transfer_root.--max-physical-mem=MAX_MEMORY: Gli agenti utilizzano per impostazione predefinita un buffer pool da 8 GiB. Se il valore predefinito non è adatto al tuo ambiente, puoi specificare una memoria utilizzata massima pertinente nei seguenti formati:Valore max-physical-memImpostazione della memoria massima 6g6 gibibyte 6gb6 gibibyte 6GiB6 gibibyte --network=DOCKER_NETWORK: specifica la rete Docker per questo container. La specifica di--network=hostpuò migliorare le prestazioni riducendo l'overhead di rete, ma consente al container l'accesso completo alla rete dell'host.--kerberos-disable-pa-fx-fastimpedisce agli agenti di utilizzare la negoziazione FAST con Kerberos per i trasferimenti HDFS. Utilizza questo flag se il tuo Key Distribution Center (KDC) Kerberos non supporta la negoziazione FAST.
Risoluzione dei problemi
Se la configurazione di SELinux richiede l'inserimento di etichette nei contenuti del volume montati in un container, aggiungi il flag :Z al volume:
sudo podman run --ulimit memlock=64000000 -d --rm \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY:Z \
-v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--creds-file=/etc/gcloud/key.json \
--hostname=$(hostname) \
--agent-pool=POOL_NAME
Senza un'etichetta, il sistema di sicurezza potrebbe impedire ai processi in esecuzione all'interno del container di utilizzare i contenuti. Per impostazione predefinita, Podman non modifica le etichette impostate dal sistema operativo.
Conferma le connessioni dell'agente
Per verificare che gli agenti siano connessi:
Nella console Google Cloud , vai alla pagina Pool di agenti.
Vengono visualizzati i pool di agenti, con il numero di agenti connessi.
Seleziona un pool di agenti per visualizzare i dettagli sugli agenti connessi.
Se un nuovo agente non viene visualizzato nella pagina del pool di agenti entro 10 minuti dalla sua creazione, consulta Gli agenti non sono connessi.
Monitora l'attività dell'agente
Puoi utilizzare Cloud Monitoring per monitorare l'attività degli agenti.
Il monitoraggio è disponibile per le dimensioni project, agent_pool e agent_id.
Utilizzando questi dati di monitoraggio, puoi configurare avvisi per ricevere notifiche di potenziali problemi con il trasferimento. Per farlo, crea un avviso su una delle seguenti metriche Google Cloud :
| Nome metrica | Punti trattati | Usi suggeriti |
|---|---|---|
| storagetransfer.googleapis.com/agent/transferred_bytes_count | Misura la velocità con cui un agente specifico trasferisce i dati in tutti i job che gestisce in un determinato momento. | Avviso di calo del rendimento. |
| storagetransfer.googleapis.com/agent/connected | Un valore booleano che è True per ogni agente da cui Google Cloud è stato ricevuto un messaggio di heartbeat recente. |
|
Aggiornamenti dell'agente
Per assicurarti che gli agenti di Storage Transfer Service dispongano delle funzionalità, delle patch di sicurezza e delle correzioni di bug più recenti, devi sostituire periodicamente i container degli agenti precedenti con quelli nuovi.
L'immagine container dell'agente più recente si trova in Artifact Registry sotto il tag latest: gcr.io/cloud-ingest/tsop-agent.
Quando è disponibile una nuova immagine, gli agenti devono essere sostituiti. Questa operazione può essere eseguita in modo progressivo, in modo che i trasferimenti in corso non vengano interessati. Devi eseguire il pull di una nuova immagine container prima di avviare il nuovo agente per evitare di utilizzare una versione precedente memorizzata nella cache della tua macchina.
Confronta le versioni dei container
Per visualizzare la versione di un container in esecuzione, recupera i primi 12 caratteri del digest del manifest:
sudo docker inspect --format='{{index .RepoDigests 0}}' $(sudo docker inspect --format='{{.Image}}' CONTAINER_ID) | sed 's/.*sha256://' | cut -c1-12
Confronta questo digest breve con la colonna Nome pubblicata in Artifact Registry.
Per visualizzare il digest più recente nella riga di comando, esegui docker pull gcr.io/cloud-ingest/tsop-agent:latest per scaricare l'immagine più recente, quindi esegui questo comando per visualizzare il digest breve:
docker inspect --format='{{index .RepoDigests 0}}' gcr.io/cloud-ingest/tsop-agent:latest | sed 's/.*sha256://' | cut -c1-12
Aggiornamento container
Per eseguire un aggiornamento in sequenza degli agenti:
gcloud CLI
Una volta su ogni macchina, esegui il pull dell'immagine container più recente da Artifact Registry:
sudo docker pull gcr.io/cloud-ingest/tsop-agent:latestElenca tutti gli agenti in esecuzione su questa macchina:
sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agentInterrompi un agente:
sudo docker stop CONTAINER_IDInstalla un nuovo agente:
gcloud transfer agents install --pool=POOL_NAME --count=1 \ --mount-directories=MOUNT_DIRECTORIES
Ripeti questi passaggi finché tutti gli agenti non saranno stati sostituiti su tutte le macchine.
Docker
Una volta su ogni macchina, esegui il pull dell'immagine container più recente da Artifact Registry:
sudo docker pull gcr.io/cloud-ingest/tsop-agent:latestElenca tutti gli agenti in esecuzione su questa macchina:
sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agentInterrompi un agente:
sudo docker stop CONTAINER_IDInstalla un nuovo agente:
sudo docker run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Ripeti questi passaggi finché tutti gli agenti non saranno stati sostituiti su tutte le macchine.
Podman
Una volta su ogni macchina, esegui il pull dell'immagine container più recente da Artifact Registry:
sudo podman pull gcr.io/cloud-ingest/tsop-agent:latestElenca tutti gli agenti in esecuzione su questa macchina:
sudo podman container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agentInterrompi un agente:
sudo podman stop CONTAINER_IDInstalla un nuovo agente:
sudo podman run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Ripeti questi passaggi finché tutti gli agenti non saranno stati sostituiti su tutte le macchine.
Aggiornamenti dei file binari dell'agente
Oltre agli aggiornamenti del container, all'interno del container viene eseguito uno script di aggiornamento che recupera automaticamente il file binario dell'agente più recente. Questo script esegue il polling degli aggiornamenti dei file binari ogni 5 minuti mentre il container è in esecuzione. Gli aggiornamenti dei file binari vengono applicati automaticamente in loco, senza richiedere il riavvio del container.
Se disattivi gli aggiornamenti automatici, potremmo non supportare il debug dei problemi di prestazioni sulle versioni precedenti dell'agente. In questi casi, in genere richiediamo di eseguire l'aggiornamento a una versione recente prima di fornire ulteriore assistenza.
Interrompi un agente
Per arrestare un agente, esegui docker stop o podman stop sull'ID container dell'agente.
Per trovare l'ID e arrestare l'agente:
Nella console Google Cloud , vai alla pagina Pool di agenti.
Seleziona il pool di agenti contenente l'agente da arrestare.
Seleziona un agente dall'elenco. Utilizza il campo Filtra per cercare prefissi, stato dell'agente, età dell'agente e altro ancora.
Fai clic su Arresta agente. Viene visualizzato il comando
docker stopcon l'ID contenitore specifico.Esegui il comando sulla macchina su cui è in esecuzione l'agente.
Un comando di arresto riuscito restituisce l'ID container.
Una volta arrestato, l'agente viene visualizzato nell'elenco dei pool di agenti come Disconnesso.
Riavvia un agente
Gli agenti arrestati non possono essere riavviati. Invece, installa nuovi agenti nel pool di agenti.
Elimina un agente
Per eliminare agenti specifici, elenca gli agenti in esecuzione sulla tua macchina.
Docker
sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent
Podman
sudo podman container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent
Poi passa gli ID agente a gcloud transfer agents delete. Questo comando non arresta gli agenti, ma stampa il comando docker stop che devi eseguire:
gcloud transfer agents delete --ids=id1,id2,...
Per stampare i comandi che arrestano tutti gli agenti sulla macchina, utilizza il flag --all.
Per stampare anche il comando che rimuove l'immagine container dell'agente, utilizza il flag --uninstall. Esegui i comandi stampati per arrestare gli agenti:
gcloud transfer agents delete --all
gcloud transfer agents delete --uninstall
Dettagli sul trasferimento del file system
Trasferimenti incrementali
Storage Transfer Service avvia tutti i trasferimenti calcolando i dati presenti nell'origine e nella destinazione per determinare quali file di origine sono nuovi, aggiornati o eliminati dall'ultimo trasferimento. In questo modo, riduciamo la quantità di dati inviati dalle tue macchine, utilizziamo la larghezza di banda in modo efficace e riduciamo i tempi di trasferimento.
Per rilevare se un file è stato modificato, controlliamo l'ora dell'ultima modifica e le dimensioni del file di origine e li confrontiamo con l'ora dell'ultima modifica e le dimensioni registrate al momento dell'ultima copia del file. Quando rileviamo un file nuovo o modificato, copiamo l'intero file nella destinazione. Per saperne di più sull'aggiornamento dei file, consulta Dettagli sulla coerenza dei dati.
Per impostazione predefinita, rileviamo i file eliminati nell'origine, ma non interveniamo. Se scegli l'opzione di sincronizzazione Elimina i file di destinazione che non sono presenti anche nell'origine durante la creazione o la modifica di un job, il trasferimento eliminerà l'oggetto corrispondente nella destinazione.
Se scegli l'opzione di sincronizzazione Elimina i file di destinazione che non sono presenti anche nell'origine, i file eliminati accidentalmente nell'origine vengono eliminati anche nella destinazione. Per evitare la perdita di dati dovuta a eliminazioni accidentali, ti consigliamo di attivare il controllo delle versioni degli oggetti nel bucket di destinazione se scegli di utilizzare questa opzione. In questo modo, se elimini un file per errore, puoi ripristinare gli oggetti in Cloud Storage a una versione precedente.
Dettagli sulla coerenza dei dati
Un'operazione di trasferimento riuscita trasferirà tutti i file di origine esistenti e non modificati durante l'intero tempo di esecuzione dell'operazione. I file di origine creati, aggiornati o eliminati durante un trasferimento potrebbero non riflettere queste modifiche nel set di dati di destinazione.
Storage Transfer Service utilizza l'ora dell'ultima modifica e le dimensioni di un file per determinare se è stato modificato. Se un file viene aggiornato senza modificare l'ora dell'ultima modifica o le dimensioni e attivi l'opzione delete-objects-from-source, potresti perdere i dati di questa modifica.
Quando utilizzi la funzionalità delete-objects-from-source, ti consigliamo vivamente di bloccare le scritture nell'origine per la durata del trasferimento per evitare la perdita di dati.
Per bloccare le scritture nell'origine, esegui una delle seguenti operazioni:
- Clona la directory che intendi trasferire, quindi utilizza la directory clonata come origine del trasferimento.
- Arresta le applicazioni che scrivono nella directory di origine.
Se è importante acquisire le modifiche apportate durante un trasferimento, puoi eseguire nuovamente il trasferimento o impostare il file system di origine come di sola lettura mentre l'operazione è in esecuzione.
Poiché Cloud Storage non ha il concetto di directory, le directory di origine vuote non vengono trasferite.