Storage Transfer Service-Agents sind Anwendungen, die in einem OCI-Container (Open Container Initiative) ausgeführt werden und mit dem Storage Transfer Service für Übertragungen mit Dateisystemen oder S3-kompatiblem Speicher koordiniert werden.
Standardmäßig verwendet der Storage Transfer Service Docker, um OCI-Container zu erstellen und auszuführen.
Der Storage Transfer Service unterstützt auch Podman für die Containerverwaltung. Sie müssen Ihre Agents mit dem Befehl podman run installieren, um Podman verwenden zu können.
Wenn Ihre Übertragung kein Dateisystem oder keinen S3-kompatiblen Speicher umfasst, müssen Sie keine Agents einrichten.
In diesem Dokument wird beschrieben, wie Sie Übertragungs-Agents auf Ihren Servern verwalten.
Übersicht
Agent-Prozesse sind dynamisch. Sie können während der Übertragung auch Agents hinzufügen, um die Leistung zu verbessern. Neu gestartete Agents werden dem zugewiesenen Agent-Pool hinzugefügt und führen Aufgaben aus vorhandenen Übertragungen aus. Damit können Sie anpassen, wie viele Agents ausgeführt werden, oder die Übertragungsleistung an die sich ändernde Übertragungsnachfrage anpassen.
Agent-Prozesse sind eine fehlertolerante Sammlung. Wenn ein Agent nicht mehr ausgeführt wird, funktionieren die verbleibenden Agents weiterhin. Wenn alle Ihre Agents beendet werden, wird die Übertragung fortgesetzt, sobald Sie neue Agents hinzufügen. Auf diese Weise können Sie vermeiden, Agents zu überwachen, Übertragungen zu wiederholen oder Wiederherstellungslogik zu implementieren. Sie können Ihre Agent-Pools patchen, verschieben und dynamisch skalieren, ohne dass es zu Ausfallzeiten bei der Übertragung kommt. Dazu müssen Sie Agenten mit Kubernetes koordinieren.
Beispiel: Sie senden zwei Übertragungen, während zwei Agents ausgeführt werden. Wenn einer der Agents aufgrund eines Neustarts oder Betriebssystem-Patches gestoppt wird, funktioniert der verbleibende Agent weiterhin. Die beiden Übertragungen werden weiterhin ausgeführt, sind jedoch langsamer, da ein einzelner Agent Daten verschiebt. Wenn der verbleibende Agent ebenfalls beendet wird, werden alle Übertragungen unterbrochen, da keine Agents ausgeführt werden. Wenn Sie die Agent-Prozesse neu starten, werden die Übertragungen an der Stelle fortgesetzt, an der sie unterbrochen wurden.
Agent-Prozesse gehören zu einem Pool. Sie verschieben Ihre Daten parallel. Daher müssen alle Agents in einem Pool denselben Zugriff auf alle Datenquellen haben, die Sie übertragen möchten.
Wenn Sie beispielsweise Daten aus einem bestimmten Dateisystem übertragen, müssen Sie das Dateisystem auf jedem Computer bereitstellen, auf dem Agents in Ihrem Agent-Pool gehostet werden. Wenn einige Agents in Ihrem Pool eine Datenquelle erreichen können und andere nicht, schlagen Übertragungen von dieser Datenquelle fehl.
Vorbereitung
Bevor Sie die Übertragungen konfigurieren, müssen Sie folgenden Zugriff konfiguriert haben: für Nutzer und Dienstkonten.
Wenn Sie gcloud-Befehle verwenden, installieren Sie die gcloud CLI.
Übertragungs-Agents installieren und ausführen
Wir empfehlen, mindestens drei Agents pro Agent-Pool zu installieren, idealerweise auf separaten Maschinen. Weitere Informationen dazu, wie Sie die Anzahl der auszuführenden Agents bestimmen, finden Sie unter Leistung von Übertragungs-Agents maximieren.
So installieren Sie Übertragungs-Agents und führen sie aus:
Google Cloud Console
Rufen Sie in der Google Cloud Console die Seite Agent-Pools auf.
Wählen Sie den Agent-Pool aus, dem Sie den neuen Agent hinzufügen möchten.
Klicken Sie auf Agent installieren.
Folgen Sie der Anleitung, um den Agent zu installieren und auszuführen.
Weitere Informationen zu den Befehlszeilenoptionen des Agents finden Sie unter Agent-Befehlszeilenoptionen.
gcloud-CLI
Wenn Sie einen oder mehrere Agents mithilfe der gcloud CLI installieren möchten, führen Sie gcloud transfer agents install aus:
gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
--mount-directories=MOUNT_DIRECTORIES
Das Tool führt Sie durch die erforderlichen Schritte zur Installation des Agents. Dieser Befehl installiert NUM_AGENTS Agents auf Ihrem Computer, die dem Poolnamen angegeben als POOL_NAME zugeordnet sind und authentifiziert die Agents mithilfe Ihrer gcloud-Anmeldedaten. Der Poolname muss vorhanden sein oder ein Fehler wird zurückgegeben.
Das Flag --mount-directories ist optional, wird aber dringend empfohlen. Der Wert ist eine durch Kommas getrennte Liste von Verzeichnissen im Dateisystem, auf die der Agent Zugriff erhalten soll.
Wenn Sie dieses Flag weglassen, wird das gesamte Dateisystem im Agent-Container bereitgestellt. Weitere Informationen finden Sie in der Referenz zu gcloud.
S3-kompatible Quellen
Wenn Sie Agents für die Verwendung mit einer S3-kompatiblen Quelle installieren, müssen Sie AWS-Anmeldedaten entweder als Umgebungsvariablen als Werte von AWS_ACCESS_KEY_ID und AWS_SECRET_ACCESS_KEY oder als Standardanmeldedaten in den Konfigurationsdateien Ihres Systems speichern.
export AWS_ACCESS_KEY_ID=ID
export AWS_SECRET_ACCESS_KEY=SECRET
gcloud transfer agents install --pool=POOL_NAME \
--creds-file=/relative/path/to/service-account-key.json
Dienstkontoschlüssel verwenden
Verwenden Sie die Option --creds-file, um Agents mit einem Dienstkontoschlüssel auszuführen:
gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
--mount-directories=MOUNT_DIRECTORIES \
--creds-file=relative/path/to/service-account-key.json
Weitere Informationen
Für eine vollständige Liste der optionalen Flags führen Sie gcloud transfer agents install --help aus oder lesen Sie die Referenz zu gcloud transfer.
Docker
Bevor Sie Docker zum Installieren von Agents verwenden, folgen Sie der Anleitung zum Installieren von Docker.
Mit dem Befehl docker run wird ein Agent installiert. Wenn Sie die Anzahl der Agents in Ihrem Pool erhöhen möchten, führen Sie diesen Befehl so oft wie nötig aus.
Bei der Installation von Agents können Sie sich entweder mit Ihren gcloud-Standardanmeldedaten oder mit einem Dienstkonto authentifizieren.
Standardanmeldedaten
Damit sich der Docker-Container mit Ihren gcloud-Standardanmeldedaten authentifizieren kann, erstellen Sie ein Docker-Volume, das eine Datei mit Ihren Standardanmeldedaten für Anwendungen enthält. Führen Sie dazu den folgenden Befehl aus:
sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login
Verwenden Sie dann den folgenden Befehl, um einen Agent zu installieren. Verwenden Sie dabei das Flag --volumes-from, um das Volume mit den Anmeldedaten gcloud-config bereitzustellen:
sudo docker run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Dienstkontoauthentifizierung
Wenn Sie Transfer-Agents mit docker run und Dienstkonto-Anmeldedaten installieren und ausführen möchten, hängen Sie die JSON-formatierte Dienstkontoschlüsseldatei mit -v in den Container ein und übergeben Sie den Pfad der Datei im Container an das Flag --creds-file.
Weitere Informationen zu Dienstkontoschlüsseln finden Sie unter Dienstkontoschlüssel erstellen und verwalten.
sudo docker run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Optionen und Flags
Ersetzen Sie die Variablen in den obigen Beispielen durch die folgenden Informationen:
HOST_DIRECTORYist das Verzeichnis auf dem Hostcomputer, aus dem Sie kopieren möchten. Sie können mehrere-v-Flags verwenden, um zusätzliche Verzeichnisse anzugeben, aus denen kopiert werden soll.CONTAINER_DIRECTORYist das Verzeichnis, das dem Agent-Container zugeordnet ist. Sie muss mitHOST_DIRECTORYübereinstimmen.PROJECT_IDist die Projekt-ID, die die Übertragung hostet.POOL_NAMEist der Name des Agent-Pools, in dem dieser Agent installiert werden soll. Wenn Sie dieses Flag weglassen, wird der Agent imtransfer_service_default-Pool Ihres Projekts installiert.
Der Befehl docker run unterstützt zusätzliche Flags.
--enable-mount-directoryteilt dem Agenten mit, dass das gesamte Dateisystem des Hosts im Container unter/transfer_rootbereitgestellt wird. Verwende sie nur zusammen mit-v /:/transfer_root. Der Agent stellt dann/transfer_rootden Quell-, Ziel-, Log- und Anmeldedatenpfaden voran. Kombinieren Sie sie nicht mit-v HOST_DIRECTORY:CONTAINER_DIRECTORY-Bereitstellungen pro Verzeichnis.--creds-file=/etc/gcloud/key.jsongibt den Pfad zur JSON-formatierten Datei mit den Anmeldedaten des Dienstkontos im Container an. Diese Datei wird durch das Flag-v PATH/TO/KEY.JSON:/etc/gcloud/key.json:roim Befehl bereitgestellt.Für Übertragungen aus S3-kompatiblem Speicher benötigen Agents kein Flag. Der Agent verwendet automatisch den S3-kompatiblen Modus, wenn der Übertragungsjob dies erfordert. Das Flag
--enable-s3wird verworfen und ignoriert.Wenn Sie Daten aus AWS S3 oder S3-kompatiblem Speicher übertragen, übergeben Sie Ihre Zugriffsschlüssel-ID und Ihren geheimen Schlüssel mithilfe von Umgebungsvariablen:
sudo docker run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ -e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \ -e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
--env HTTPS_PROXY=PROXYgibt einen Weiterleitungsproxy in Ihrem Netzwerk an. Der Wert vonPROXYist die HTTP-URL und der Port des Proxyservers. Achten Sie darauf, die HTTP-URL und keine HTTPS-URL anzugeben, damit Anfragen in TLS-Verschlüsselung nicht doppelt verpackt werden. Doppelt verpackte Anfragen verhindern, dass der Proxyserver gültige ausgehende Anfragen sendet.--gcs-api-endpoint=storage.LOCATION.rep.googleapis.comgibt einen regionalen Cloud Storage-Endpunkt an. Wenn ein regionaler Cloud Storage-Endpunkt angegeben ist, bleibt der gesamte Datenübertragungstraffic über den Agenten innerhalb dieser Google Cloud -Region. Weitere Informationen finden Sie unter Regionale Endpunkte.--agent-id-prefix=ID_PREFIXgibt ein optionales Präfix an, das der Agent-ID vorangestellt wird, um den Agent oder seinen Computer in der Google Cloud Console zu identifizieren. Wenn ein Präfix verwendet wird, hat die Agent-ID das Formatprefix + hostname + Docker container ID.--log-dir=LOGS_DIRECTORYändert das Verzeichnis, in das der Agent Logs schreibt. Das Standardverzeichnis ist/tmp/.Stellen Sie dieses Verzeichnis im Container bereit (z. B.
-v /tmp:/tmp), damit Logs auf dem Host beibehalten werden. Wenn Sie--enable-mount-directoryverwenden, geben Sie den Hostpfad an. Der Agent fügt das Präfix/transfer_rootautomatisch hinzu.--max-physical-mem=MAX_MEMORY: Agents verwenden standardmäßig einen 8-GiB-Pufferpool. Wenn der Standardwert nicht zu Ihrer Umgebung passt, können Sie in den folgenden Formaten eine geeignete maximale Speichernutzung angeben:max-physical-memWertEinstellung für den maximalen Arbeitsspeicher 6g6 Gibibyte 6gb6 Gibibyte 6GiB6 Gibibyte --network=DOCKER_NETWORK: Geben Sie das Docker-Netzwerk für diesen Container an. Wenn Sie--network=hostangeben, kann die Leistung verbessert werden, da der Netzwerk-Overhead reduziert wird. Der Container hat dann jedoch uneingeschränkten Zugriff auf das Netzwerk des Hosts.--kerberos-disable-pa-fx-fastverhindert, dass Agents die FAST-Aushandlung mit Kerberos für HDFS-Übertragungen verwenden. Verwenden Sie dieses Flag, wenn Ihr Kerberos Key Distribution Center (KDC) keine FAST-Verhandlung unterstützt.
Podman
Bevor Sie Podman zum Installieren von Agents verwenden, müssen Sie Podman installieren:
sudo apt-get update
sudo apt-get -y install podman
Bei der Installation von Agents können Sie sich entweder mit Ihren gcloud-Standardanmeldedaten oder mit einem Dienstkonto authentifizieren.
Standardanmeldedaten
Damit sich der Agent-Container mit Ihren Standardanmeldedaten für die Google Cloud CLI authentifizieren kann, erstellen Sie ein Volume mit einer Datei mit Ihren Standardanmeldedaten für Anwendungen. Führen Sie dazu den folgenden Befehl aus:
gcloud auth print-access-token | podman login -u oauth2accesstoken --password-stdin gcr.io sudo podman pull gcr.io/google.com/cloudsdktool/google-cloud-cli:stable sudo podman run -ti --replace --name gcloud-config gcr.io/google.com/cloudsdktool/google-cloud-cli:stable gcloud auth application-default login
Verwenden Sie dann den folgenden Befehl, um einen Agent zu installieren. Verwenden Sie dabei das Flag --volumes-from, um das Volume mit den Anmeldedaten gcloud-config bereitzustellen.
Mit dem Befehl wird ein Agent installiert. Wenn Sie die Anzahl der Agents in Ihrem Pool erhöhen möchten, führen Sie diesen Befehl so oft wie nötig aus.
sudo podman run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Dienstkontoauthentifizierung
Wenn Sie Übertragungs-Agents mit Dienstkonto-Anmeldedaten installieren und ausführen möchten, müssen Sie den Dienstkontoschlüssel im JSON-Format im Container verfügbar machen. Anleitung:
- Stellen Sie den Hostspeicherort des Schlüssels in einem beliebigen Pfad im Container bereit. Beispiel:
-v $HOME/.config/gcloud/credentials.json:/key.json:ro. Damit wird angegeben, dass sich der Schlüssel auf dem Hostcomputer unter$HOME/.config/gcloud/credentials.jsonbefindet und als/key.jsonim Container bereitgestellt werden soll.rogibt an, dass die Datei dem Container als schreibgeschützt zur Verfügung gestellt wird. - Geben Sie den Containerpfad des Schlüssels als Wert von
--creds-filean. Geben Sie im Beispiel aus dem vorherigen Schritt--creds-file=/key.jsonan.
Weitere Informationen zu Dienstkontoschlüsseln finden Sie unter Dienstkontoschlüssel erstellen und verwalten.
sudo podman run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Optionen und Flags
Ersetzen Sie die Variablen in den obigen Beispielen durch die folgenden Informationen:
HOST_DIRECTORYist das Verzeichnis auf dem Hostcomputer, aus dem Sie kopieren möchten. Sie können mehrere-v-Flags verwenden, um zusätzliche Verzeichnisse anzugeben, aus denen kopiert werden soll.CONTAINER_DIRECTORYist das Verzeichnis, das dem Agent-Container zugeordnet ist. Sie muss mitHOST_DIRECTORYübereinstimmen.PROJECT_IDist die Projekt-ID, die die Übertragung hostet.POOL_NAMEist der Name des Agent-Pools, in dem dieser Agent installiert werden soll. Wenn Sie dieses Flag weglassen, wird der Agent imtransfer_service_default-Pool Ihres Projekts installiert.
Der Befehl podman run unterstützt zusätzliche Flags.
--enable-mount-directoryteilt dem Agenten mit, dass das gesamte Dateisystem des Hosts im Container unter/transfer_rootbereitgestellt wird. Verwende sie nur zusammen mit-v /:/transfer_root. Der Agent stellt dann/transfer_rootden Quell-, Ziel-, Log- und Anmeldedatenpfaden voran. Kombinieren Sie sie nicht mit-v HOST_DIRECTORY:CONTAINER_DIRECTORY-Bereitstellungen pro Verzeichnis.--creds-file=/etc/gcloud/key.jsongibt den Pfad zur JSON-formatierten Datei mit den Anmeldedaten des Dienstkontos im Container an. Diese Datei wird durch das Flag-v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:roim Befehl bereitgestellt.Für Übertragungen aus S3-kompatiblem Speicher benötigen Agents kein Flag. Der Agent verwendet automatisch den S3-kompatiblen Modus, wenn der Übertragungsjob dies erfordert. Das Flag
--enable-s3wird verworfen und ignoriert.Wenn Sie Daten aus AWS S3 oder S3-kompatiblem Speicher übertragen, übergeben Sie Ihre Zugriffsschlüssel-ID und Ihren geheimen Schlüssel mithilfe von Umgebungsvariablen:
-e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \ -e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY ```--env HTTPS_PROXY=PROXYgibt einen Weiterleitungsproxy in Ihrem Netzwerk an. Der Wert vonPROXYist die HTTP-URL und der Port des Proxyservers. Achten Sie darauf, die HTTP-URL und keine HTTPS-URL anzugeben, damit Anfragen in TLS-Verschlüsselung nicht doppelt verpackt werden. Doppelt verpackte Anfragen verhindern, dass der Proxyserver gültige ausgehende Anfragen sendet.--agent-id-prefix=ID_PREFIXgibt ein optionales Präfix an, das der Agent-ID vorangestellt wird, um den Agent oder seinen Computer in der Google Cloud Console zu identifizieren. Wenn ein Präfix verwendet wird, hat die Agent-ID das Formatprefix + hostname + OCI container ID.--log-dir=LOGS_DIRECTORYändert das Verzeichnis, in das der Agent Logs schreibt. Das Standardverzeichnis ist/tmp/.Stellen Sie dieses Verzeichnis im Container bereit (z. B.
-v /tmp:/tmp), damit Logs auf dem Host beibehalten werden. Wenn Sie--enable-mount-directoryverwenden, geben Sie den Hostpfad an. Der Agent fügt das Präfix/transfer_rootautomatisch hinzu.--max-physical-mem=MAX_MEMORY: Agents verwenden standardmäßig einen 8-GiB-Pufferpool. Wenn der Standardwert nicht zu Ihrer Umgebung passt, können Sie in den folgenden Formaten eine geeignete maximale Speichernutzung angeben:max-physical-memWertEinstellung für den maximalen Arbeitsspeicher 6g6 Gibibyte 6gb6 Gibibyte 6GiB6 Gibibyte --network=DOCKER_NETWORK: Geben Sie das Docker-Netzwerk für diesen Container an. Wenn Sie--network=hostangeben, kann die Leistung verbessert werden, da der Netzwerk-Overhead reduziert wird. Der Container hat dann jedoch uneingeschränkten Zugriff auf das Netzwerk des Hosts.--kerberos-disable-pa-fx-fastverhindert, dass Agents die FAST-Aushandlung mit Kerberos für HDFS-Übertragungen verwenden. Verwenden Sie dieses Flag, wenn Ihr Kerberos Key Distribution Center (KDC) keine FAST-Verhandlung unterstützt.
Fehlerbehebung
Wenn Ihre SELinux-Konfiguration erfordert, dass Labels auf Volume-Inhalten platziert werden, die in einem Container bereitgestellt werden, fügen Sie dem Volume das Flag :Z hinzu:
sudo podman run --ulimit memlock=64000000 -d --rm \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY:Z \
-v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--creds-file=/etc/gcloud/key.json \
--hostname=$(hostname) \
--agent-pool=POOL_NAME
Ohne Label kann das Sicherheitssystem verhindern, dass die im Container ausgeführten Prozesse den Inhalt verwenden. Standardmäßig ändert Podman die vom Betriebssystem festgelegten Labels nicht.
Agent-Verbindungen bestätigen
So prüfen Sie, ob Ihre Agents verbunden sind:
Rufen Sie in der Google Cloud Console die Seite Agent-Pools auf.
Ihre Agent-Pools werden mit der Anzahl der verbundenen Agents angezeigt.
Wählen Sie einen Agent-Pool aus, um Details zu verbundenen Agents aufzurufen.
Wenn ein neuer Agent nicht innerhalb von zehn Minuten nach der Erstellung auf der Seite des Agent-Pools angezeigt wird, finden Sie weitere Informationen unter Agents sind nicht verbunden.
Agent-Aktivität überwachen
Sie können Cloud Monitoring verwenden, um die Agent-Aktivität zu überwachen.
Monitoring ist für die Dimensionen project, agent_pool und agent_id verfügbar.
Mit diesen Monitoring-Daten können Sie Benachrichtigungen einrichten, um über potenzielle Probleme bei der Übertragung informiert zu werden. Erstellen Sie dazu eine Benachrichtigung für einen der folgenden Google Cloud -Messwerte:
| Messwertname | Beschreibung | Empfohlene Anwendungsmöglichkeiten |
|---|---|---|
| storagetransfer.googleapis.com/agent/transferred_bytes_count | Gibt an, wie schnell ein bestimmter Agent Daten über alle von ihm bereitgestellten Jobs zu einem bestimmten Zeitpunkt verschiebt. | Benachrichtigung bei Leistungsrückgängen. |
| storagetransfer.googleapis.com/agent/connected | Ein boolescher Wert, der für jeden Agenten True ist, von dem Google Cloud kürzlich eine Heartbeat-Nachricht empfangen hat. |
|
KI-Agent: aktueller Status
Damit Ihre Storage Transfer Service-Agents die neuesten Funktionen, Sicherheitspatches und Fehlerkorrekturen haben, müssen Sie alte Agent-Container regelmäßig durch neue ersetzen.
Das neueste Agent-Container-Image befindet sich in Artifact Registry unter dem Tag latest: gcr.io/cloud-ingest/tsop-agent.
Wenn ein neues Image verfügbar ist, sollten die Agents ersetzt werden. Dies kann rollierend erfolgen, sodass laufende Übertragungen nicht beeinträchtigt werden. Sie müssen ein neues Container-Image abrufen, bevor Sie den neuen Agent starten, damit keine alte, im Cache gespeicherte Version von Ihrem Computer verwendet wird.
Containerversionen vergleichen
Wenn Sie die Containerversion eines laufenden Containers aufrufen möchten, rufen Sie die ersten 12 Zeichen des Manifest-Digests ab:
sudo docker inspect --format='{{index .RepoDigests 0}}' $(sudo docker inspect --format='{{.Image}}' CONTAINER_ID) | sed 's/.*sha256://' | cut -c1-12
Vergleichen Sie diesen kurzen Digest mit der Spalte Name, die in Artifact Registry veröffentlicht wurde.
Wenn Sie den neuesten Digest in der Befehlszeile aufrufen möchten, führen Sie docker pull gcr.io/cloud-ingest/tsop-agent:latest aus, um das neueste Image herunterzuladen. Führen Sie dann den folgenden Befehl aus, um den kurzen Digest aufzurufen:
docker inspect --format='{{index .RepoDigests 0}}' gcr.io/cloud-ingest/tsop-agent:latest | sed 's/.*sha256://' | cut -c1-12
Container aktualisieren
So führen Sie ein Rolling Update Ihrer Agents durch:
gcloud-CLI
Rufen Sie auf jedem Computer das neueste Container-Image aus Artifact Registry ab:
sudo docker pull gcr.io/cloud-ingest/tsop-agent:latestListen Sie alle auf diesem Computer ausgeführten Agents auf:
sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agentEinen Agenten beenden:
sudo docker stop CONTAINER_IDEinen neuen Agent installieren:
gcloud transfer agents install --pool=POOL_NAME --count=1 \ --mount-directories=MOUNT_DIRECTORIES
Wiederholen Sie diese Schritte, bis alle Agents auf allen Computern ersetzt wurden.
Docker
Rufen Sie auf jedem Computer das neueste Container-Image aus Artifact Registry ab:
sudo docker pull gcr.io/cloud-ingest/tsop-agent:latestListen Sie alle auf diesem Computer ausgeführten Agents auf:
sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agentEinen Agenten beenden:
sudo docker stop CONTAINER_IDEinen neuen Agent installieren:
sudo docker run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Wiederholen Sie diese Schritte, bis alle Agents auf allen Computern ersetzt wurden.
Podman
Rufen Sie auf jedem Computer das neueste Container-Image aus Artifact Registry ab:
sudo podman pull gcr.io/cloud-ingest/tsop-agent:latestListen Sie alle auf diesem Computer ausgeführten Agents auf:
sudo podman container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agentEinen Agenten beenden:
sudo podman stop CONTAINER_IDEinen neuen Agent installieren:
sudo podman run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Wiederholen Sie diese Schritte, bis alle Agents auf allen Computern ersetzt wurden.
Updates für KI-Agenten-Binärdateien
Zusätzlich zu Container-Updates wird im Container ein Update-Skript ausgeführt, das automatisch die neueste Agent-Binärdatei abruft. Dieses Skript fragt alle 5 Minuten nach Binärupdates, während der Container ausgeführt wird. Binäre Updates werden automatisch direkt angewendet, ohne dass ein Containerneustart erforderlich ist.
Wenn Sie automatische Updates deaktivieren, wird das Debugging von Leistungsproblemen bei älteren Agent-Versionen möglicherweise nicht unterstützt. In solchen Fällen müssen Sie in der Regel ein Update auf eine aktuelle Version durchführen, bevor wir weiteren Support leisten können.
Agent beenden
Wenn Sie einen Agenten beenden möchten, führen Sie docker stop oder podman stop für die Container-ID des Agenten aus.
So finden Sie die ID und beenden den Agenten:
Rufen Sie in der Google Cloud Console die Seite Agent-Pools auf.
Wählen Sie den Agent-Pool aus, der den zu beendenden Agent enthält.
Wählen Sie einen Agent aus der Liste aus. Im Feld Filter können Sie nach Präfixen, Agent-Status, Agent-Alter und mehr suchen.
Klicken Sie auf Agent beenden. Der Befehl
docker stopmit der spezifischen Container-ID wird angezeigt.Führen Sie den Befehl auf dem Computer aus, auf dem der Agent ausgeführt wird.
Ein erfolgreicher Befehl zum Beenden gibt die Container-ID zurück.
Nach dem Beenden wird der Agent in der Liste der Agent-Pools als Nicht verbunden angezeigt.
Agent neu starten
Beendete KI-Agenten können nicht neu gestartet werden. Installieren Sie stattdessen neue Agents im Agent-Pool.
KI-Agent löschen
Um bestimmte Agents zu löschen, listen Sie auf, welche Agents auf Ihrem Computer ausgeführt werden.
Docker
sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent
Podman
sudo podman container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent
Übergeben Sie dann die Agenten-IDs an gcloud transfer agents delete. Mit diesem Befehl werden die Agents nicht beendet. Es wird der docker stop-Befehl ausgegeben, den Sie dann ausführen müssen:
gcloud transfer agents delete --ids=id1,id2,...
Verwenden Sie das Flag --all, um die Befehle auszugeben, die alle Agents auf dem Computer beenden.
Wenn Sie auch den Befehl ausgeben möchten, mit dem das Agent-Container-Image entfernt wird, verwenden Sie das Flag --uninstall. Führen Sie die ausgegebenen Befehle aus, um die Agents zu beenden:
gcloud transfer agents delete --all
gcloud transfer agents delete --uninstall
Details zur Dateisystemübertragung
Inkrementelle Übertragungen
Der Storage Transfer Service beginnt mit allen Daten, die an der Quelle und am Ziel vorhanden sind, um festzustellen, welche Quelldateien seit der letzten Übertragung neu, aktualisiert oder gelöscht wurden. Dadurch soll die von Ihren Maschinen gesendete Datenmenge reduziert, die Bandbreite effektiv genutzt und die Übertragungszeiten reduziert werden.
Um festzustellen, ob sich eine Datei geändert hat, prüfen wir die letzte Änderungszeit und -größe der Quelldatei und vergleichen sie mit der letzten Änderungszeit und -größe, die beim letzten Kopieren der Datei aufgezeichnet wurde. Wenn wir eine neue oder geänderte Datei erkennen, kopieren wir die gesamte Datei an ihr Ziel. Weitere Informationen zur Dateiaktualität finden Sie unter Details zur Datenkonsistenz.
Standardmäßig erkennen wir keine Dateien, die aus der Quelle gelöscht wurden, aber nicht darauf reagieren. Wenn Sie beim Erstellen oder Bearbeiten eines Jobs die Synchronisierungsoption Zieldateien löschen, die nicht auch in der Quelle vorhanden sind auswählen, wird das entsprechende Objekt am Ziel gelöscht.
Wenn Sie die Synchronisierungsoption Zieldateien löschen, die nicht auch in der Quelle sind auswählen, werden Dateien, die versehentlich an der Quelle gelöscht wurden, auch am Ziel gelöscht. Wenn Sie verhindern möchten, dass Datenverluste versehentlich gelöscht werden, empfehlen wir, die Objektversionierung im Ziel-Bucket zu aktivieren, wenn Sie diese Option verwenden möchten. Wenn Sie dann versehentlich eine Datei löschen, können Sie Ihre Objekte in Cloud Storage in einer älteren Version wiederherstellen.
Details zur Datenkonsistenz
Bei einem erfolgreichen Übertragungsvorgang werden alle Quelldateien übertragen, die während der gesamten Ausführungszeit des Vorgangs nicht geändert wurden. Quelldateien, die während einer Übertragung erstellt, aktualisiert oder gelöscht wurden, können diese Änderungen im Zieldatensatz enthalten.
Storage Transfer Service verwendet die letzte Änderungszeit und -größe einer Datei, um festzustellen, ob sie geändert wurde. Wenn eine Datei aktualisiert wird, ohne dass sich der Zeitpunkt der letzten Änderung oder die Größe ändert, und Sie die Option delete-objects-from-source aktivieren, gehen möglicherweise Daten aus dieser Änderung verloren.
Wenn Sie das Feature delete-objects-from-source verwenden, empfehlen wir dringend, Schreibvorgänge in die Quelle für die Dauer der Übertragung einzufrieren, um vor Datenverlust zu schützen.
So frieren Sie Schreibvorgänge in der Quelle ein:
- Klonen Sie das Verzeichnis, das Sie übertragen möchten, und verwenden Sie das geklonte Verzeichnis als Übertragungsquelle.
- Halten Sie Anwendungen an, die in das Quellverzeichnis schreiben.
Wenn es wichtig ist, während einer Übertragung vorgenommene Änderungen zu erfassen, können Sie die Übertragung noch einmal ausführen oder das Quelldateisystem während der Ausführung als schreibgeschützt festlegen.
Da es in Cloud Storage keine Verzeichnisse gibt, werden leere Quellverzeichnisse nicht übertragen.