Quellobjekte nach Änderungszeit filtern

Sie können die zu übertragenden Objekte nach dem Zeitpunkt ihrer letzten Änderung filtern. So können Sie nur geänderte Objekte übertragen:

  • Vor oder nach einem bestimmten Datum und einer bestimmten Uhrzeit
  • Vor oder nach einer bestimmten Zeitspanne im Verhältnis zum Übertragungsjob

Diese Funktion ist nützlich, um inkrementelle Übertragungen einzurichten oder Objekte zu überspringen, die außerhalb eines Zeitraums liegen.

Das Filtern nach dem Zeitpunkt der letzten Änderung wird für Übertragungen aus allen Quellen außer URL-Listen unterstützt.

Zeitbasierte Filter

Die Filterung wird mit den Werten last modified since, last modified before, minimum time elapsed since modified und maximum time elapsed since modified definiert. Sie können die Filter einzeln oder zusammen verwenden, um ein Zeitfenster zu erstellen.

Feld Beschreibung
Zuletzt geändert seit Schließt Objekte in die Übertragung ein, die an oder nach diesem Zeitstempel zuletzt geändert wurden.
Zuletzt geändert vor dem Schließt Objekte in die Übertragung ein, die zuletzt vor diesem Zeitstempel geändert wurden.
Mindestzeit, die seit der Änderung vergangen ist Schließt Objekte in die Übertragung ein, die zuletzt vor mindestens dieser Zeitspanne geändert wurden. Mit diesem Filter können Sie beispielsweise nur Objekte einschließen, die vor mindestens einem Monat geändert wurden. Objekte ohne „Zeitpunkt der letzten Änderung“ werden ebenfalls übertragen.
Maximale Zeit seit der letzten Änderung Schließt Objekte in die Übertragung ein, die zuletzt vor maximal dieser Zeitspanne geändert wurden. Mit diesem Filter können Sie beispielsweise nur Objekte einbeziehen, die in den letzten 7 Tagen geändert wurden. Objekte ohne „Zeitpunkt der letzten Änderung“ werden ebenfalls übertragen.

Zeitbasierten Filter angeben

Sie können Filter für die Änderungszeit beim Erstellen oder Aktualisieren eines Übertragungsjobs angeben.

Zeitstempel müssen in UTC angegeben und als RFC 3339-String formatiert sein (z.B. 2025-10-31T10:00:00Z). Für die Dauer wird das absolute Dauerformat verwendet (z.B. P1M für 1 Monat; 1h30m für 1 Stunde und 30 Minuten).

Google Cloud Console

So geben Sie einen Zeitfilter in der Google Cloud Console an:

  1. Rufen Sie die Seite Übertragungsjob erstellen oder Übertragungsjob bearbeiten auf.
  2. Wählen Sie im Abschnitt Zu übertragende Daten auswählen die Option Datums- und Uhrzeitangaben als Filtertyp aus.
  3. Geben Sie ein Datum und eine Uhrzeit für den absoluten Zeitraum oder eine Dauer für den relativen Zeitraum ein. Es können mehrere Filter angegeben werden.

gcloud-CLI

Wenn Sie mit der gcloud CLI nach Änderungszeit filtern möchten, übergeben Sie die zeitbasierten Filter-Flags an den Befehl gcloud transfer jobs create oder gcloud transfer jobs update:

gcloud transfer jobs create SOURCE DESTINATION \
  --include-modified-before-absolute="DATETIME" \
  --include-modified-after-absolute="DATETIME" \
  --include-modified-before-relative="DURATION" \
  --include-modified-after-relative="DURATION"

Wobei:

  • --include-modified-before-absolute enthält Objekte, die vor einem absoluten Datum/einer absoluten Uhrzeit zuletzt geändert wurden. Wenn Sie beispielsweise 2020-01-01 angeben, werden bei der Übertragung Objekte berücksichtigt, die zuletzt vor dem 1. Januar 2020 geändert wurden. Verwenden Sie das datetime-Format %Y-%m-%dT%H:%M:%S%z.
  • --include-modified-after-absolute enthält Objekte, die zuletzt nach einem absoluten Datum/einer absoluten Uhrzeit geändert wurden. Wenn Sie beispielsweise „2020-01-01“ angeben, werden bei der Übertragung Objekte berücksichtigt, die nach dem 1. Januar 2020 zuletzt geändert wurden. Verwenden Sie das datetime-Format %Y-%m-%dT%H:%M:%S%z.
  • --include-modified-before-relative enthält Objekte, die außerhalb eines bestimmten Zeitraums geändert wurden. Wenn Sie beispielsweise eine Dauer von 10d angeben, werden Objekte übertragen, die zuletzt mehr als 10 Tage vor dem Start der Übertragung geändert wurden. Verwenden Sie das Format für die absolute Dauer (z. B. P1M für 1 Monat oder 1h30m für 1 Stunde und 30 Minuten).
  • --include-modified-after-relative enthält Objekte, die innerhalb eines bestimmten Zeitraums geändert wurden. Wenn Sie beispielsweise eine Dauer von 10d angeben, werden Objekte übertragen, die zuletzt weniger als 10 Tage vor dem Start der Übertragung geändert wurden. Verwenden Sie das Format für die absolute Dauer (z. B. P1M für 1 Monat oder 1h30m für 1 Stunde und 30 Minuten).

Beispiel (geändert nach):

Mit dem folgenden Befehl werden nur Objekte übertragen, die am oder nach dem 1. Oktober 2025 geändert wurden.

gcloud transfer jobs create gs://my-source-bucket gs://my-sink-bucket \
  --include-modified-after-absolute="2025-10-01T00:00:00Z"

Beispiel (Zeitraum):

Mit dem folgenden Befehl werden nur Objekte übertragen, die im Oktober 2025 geändert wurden.

gcloud transfer jobs create gs://my-source-bucket gs://my-sink-bucket \
  --include-modified-after-absolute="2025-10-01T00:00:00Z" \
  --include-modified-before-absolute="2025-11-01T00:00:00Z"

Beispiel (verstrichene Zeit):

Mit dem folgenden Befehl werden nur Objekte übertragen, die in den letzten 7 Tagen geändert wurden.

gcloud transfer jobs create gs://my-source-bucket gs://my-sink-bucket \
  --include-modified-after-relative="7d"

REST

Wenn Sie mit der REST API nach Änderungszeit filtern möchten, geben Sie die zeitbasierten Filterfelder im objectConditions Ihrer transferSpec an.

{
  "description": "DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "gcsDataSource": {
      "bucketName": "SOURCE_BUCKET"
    },
    "gcsDataSink": {
      "bucketName": "DESTINATION_BUCKET"
    },
    "objectConditions": {
      "lastModifiedBefore": "DATETIME",
      "lastModifiedSince": "DATETIME",
      "minTimeElapsedSinceLastModification": "DURATION",
      "maxTimeElapsedSinceLastModification": "DURATION"
    }
  }
}

Wobei:

  • lastModifiedBefore enthält Objekte, die vor dem angegebenen Zeitpunkt zuletzt geändert wurden. Verwenden Sie einen RFC 3339-Zeitstempel, z. B. 2020-01-01T00:00:00Z.
  • lastModifiedSince enthält Objekte, die zuletzt am oder nach dem angegebenen Zeitpunkt geändert wurden. Verwenden Sie einen RFC 3339-Zeitstempel, z. B. 2020-01-01T00:00:00Z.
  • minTimeElapsedSinceLastModification enthält Objekte, die mindestens so lange vor dem Start der Übertragung zuletzt geändert wurden. Geben Sie die Dauer in Sekunden gefolgt von s an. Beispiel: Mit 864000s (10 Tage) werden Objekte übertragen, die zuletzt 10 oder mehr Tage vor dem Start der Übertragung geändert wurden.
  • maxTimeElapsedSinceLastModification enthält Objekte, die zuletzt vor weniger als dieser Zeitspanne vor dem Start der Übertragung geändert wurden. Geben Sie die Dauer in Sekunden gefolgt von s an. Beispiel: Mit 864000s (10 Tage) werden Objekte übertragen, die zuletzt weniger als 10 Tage vor dem Start der Übertragung geändert wurden.

Beispiel (Zeitraum):

Mit dem folgenden JSON-Text wird ein Job so konfiguriert, dass nur Objekte übertragen werden, die im Oktober 2025 geändert wurden.

{
  "description": "Transfer October 2025 data",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "gcsDataSource": {
      "bucketName": "SOURCE_BUCKET"
    },
    "gcsDataSink": {
      "bucketName": "DESTINATION_BUCKET"
    },
    "objectConditions": {
      "lastModifiedSince": "2025-10-01T00:00:00Z",
      "lastModifiedBefore": "2025-11-01T00:00:00Z"
    }
  }
}

Weitere Informationen finden Sie in der Referenz zu ObjectConditions.

Interaktion mit anderen Filtern

Wenn Sie mehrere Filter verwenden, wendet der Storage Transfer Service sie in der folgenden Reihenfolge an:

  1. Präfixe einschließen: Schränkt die zu berücksichtigenden Objekte ein.

  2. Objektbedingungen (Glob-Muster und Zeitpunkt der letzten Änderung): Filtert die Objekte, die mit dem Einschlusspräfix übereinstimmen. Ein Objekt muss sowohl dem Glob-Filter als auch dem Filter für die letzte Änderung entsprechen, um im Ergebnis enthalten zu sein.

  3. Präfixe ausschließen: Entfernt Objekte aus dem Ergebnis.

Weitere Informationen zum Filtern nach Präfix und zum Filtern mit Glob-Mustern.

Beispiel: Alle Filter kombinieren

Angenommen, Sie haben die folgende Filterkonfiguration für eine Übertragung von AWS S3 oder Azure:

  • include_prefix: "logs/"
  • match_glob: "**/*.log"
  • lastModifiedSince: "2025-10-31T00:00:00Z"
  • exclude_prefix: "logs/temp/"

Ergebnis: Der Dienst führt die Übertragung so aus:

  1. Erstens werden nur Objekte im Verzeichnis logs/ berücksichtigt.
  2. Als Nächstes wird nach Objekten gesucht, die sowohl auf .log enden ALS AUCH am oder nach dem 31. Oktober 2025 geändert wurden.
  3. Schließlich werden alle Objekte aus dieser Liste entfernt, die sich im Verzeichnis logs/temp/ befinden.