Dataflow-Worker-VMs konfigurieren

Durch das Anpassen von Worker-VMs können Sie Rechen- und Speicherressourcen an die Speicher- und Verarbeitungsanforderungen Ihrer Pipeline anpassen. So können Sie die Jobleistung optimieren und die Infrastrukturkosten für ressourcenintensive Arbeitslasten verwalten.

Standardmäßig wählt Dataflow den Maschinentyp für die Worker-VMs aus, auf denen Ihr Job ausgeführt wird, sowie die Größe und den Typ der Persistent Disk. Wenn Sie diese Ressourcen anpassen möchten, legen Sie beim Erstellen des Jobs die folgenden Pipelineoptionen fest.

Maschinentyp

Der Compute Engine-Maschinentyp, den Dataflow beim Starten von Worker-VMs verwendet. Sie können x86- oder Arm-Maschinentypen verwenden, einschließlich benutzerdefinierter Maschinentypen.

Java

Legen Sie die Pipelineoption workerMachineType fest.

Python

Legen Sie die Pipelineoption machine_type fest.

Go

Legen Sie die Pipelineoption worker_machine_type fest.

  • Für Arm werden die Maschinenserien Tau T2A, C4A und N4A unterstützt. Weitere Informationen zur Verwendung von Arm-VMs finden Sie unter Arm-VMs in Dataflow verwenden.

  • x86-VMs werden automatisch unterstützt.

  • Maschinentypen mit gemeinsam genutztem Kern (z. B. f1-micro, g1-small, e2-micro, e2-small und e2-medium) werden für Dataflow-Jobs nicht empfohlen und im Rahmen des Dataflow-Service Level Agreements nicht unterstützt.

  • Die Abrechnung erfolgt unabhängig von der Maschinentypfamilie. Weitere Informationen finden Sie unter Dataflow – Preise.

  • Für die Maschinentypen f1-micro und g1-small wird in Dataflow so abgerechnet, als hätten sie 1 vCPU. Für die Maschinentypen e2-micro, e2-small und e2-medium wird in Dataflow so abgerechnet, als hätten sie 2 vCPUs. Diese Preise werden auch dann in Rechnung gestellt, wenn Maschinentypen mit gemeinsam genutztem Kern weniger als die abgerechneten vCPUs an kontinuierlicher CPU-Zeit bereitstellen.

Benutzerdefinierte Maschinentypen

Verwenden Sie das folgende Format, um einen benutzerdefinierten Maschinentyp anzugeben: FAMILY-vCPU-MEMORY. Ersetzen Sie Folgendes:

  • FAMILY. Verwenden Sie einen der folgenden Werte:
    MaschinenserieWert
    N1custom
    N2n2-custom
    N2Dn2d-custom
    E2e2-custom
  • vCPU: die Anzahl der vCPUs.
  • MEMORY: Der Arbeitsspeicher in MB.

Wenn Sie erweiterten Speicher aktivieren möchten, hängen Sie -ext an den Maschinentyp an. Beispiele: n2-custom-6-3072, n2-custom-2-32768-ext.

Weitere Informationen zu gültigen benutzerdefinierten Maschinentypen finden Sie in der Compute Engine-Dokumentation unter Benutzerdefinierte Maschinentypen.

Nicht unterstützte Maschinentypen für Hyperdisk Balanced

Wenn Sie Hyperdisk Balanced-Laufwerke verwenden, kann Ihr Job mit einem Fehler wie dem folgenden fehlschlagen:

hyperdisk-balanced disk type cannot be used by MACHINE_TYPE machine type

Das passiert, wenn Sie einen Maschinentyp auswählen, der nicht mit Hyperdisk Balanced kompatibel ist. Dieser Fehler kann auch auftreten, wenn kein Maschinentyp angegeben ist oder wenn Sie autoVM verwenden. Eine Liste der Maschinentypen, die mit Hyperdisk Balanced kompatibel sind, finden Sie unter Informationen zu Hyperdisk Balanced.

Laufwerkstyp

Der zu verwendende Persistent Disk-Typ.

Geben Sie keinen nichtflüchtigen Speicher an, wenn Sie entweder die Streaming Engine oder den Maschinentyp N4 verwenden.

Java

Legen Sie die Pipelineoption workerDiskType fest.

Python

Legen Sie die Pipelineoption worker_disk_type fest.

Go

Legen Sie die Pipelineoption disk_type fest.

Geben Sie den Laufwerkstyp im folgenden Format an: compute.googleapis.com/projects/PROJECT_ID/zones/ZONE/diskTypes/DISK_TYPE.

Ersetzen Sie Folgendes:

  • PROJECT_ID: Ihre Projekt-ID.
  • ZONE: die Zone für den nichtflüchtigen Speicher, z. B. us-central1-b
  • DISK_TYPE: der Laufwerkstyp, z. B. pd-ssd, pd-standard oder hyperdisk-balanced

Weitere Informationen finden Sie auf der Referenzseite zur Compute Engine API für diskTypes.

IOPS und Durchsatz bereitstellen

Wenn Sie Hyperdisk Balanced-Laufwerke verwenden, können Sie IOPS und Durchsatz unabhängig von der Laufwerksgröße bereitstellen. Verwenden Sie die folgenden Pipelineoptionen, um IOPS und Durchsatz bereitzustellen:

Java

  • Legen Sie die Pipelineoption diskProvisionedIOPS fest, um IOPS bereitzustellen.
  • Wenn Sie den Durchsatz in MiB/s bereitstellen möchten, legen Sie die Pipelineoption diskProvisionedThroughput fest.

Python

  • Legen Sie die Pipelineoption disk_provisioned_iops fest, um IOPS bereitzustellen.
  • Wenn Sie den Durchsatz in MiB/s bereitstellen möchten, legen Sie die Pipelineoption disk_provisioned_throughput_mibps fest.

Go

  • Legen Sie die Pipelineoption disk_provisioned_iops fest, um IOPS bereitzustellen.
  • Wenn Sie den Durchsatz in MiB/s bereitstellen möchten, legen Sie die Pipelineoption disk_provisioned_throughput_mibps fest.

Wenn Sie diese Optionen nicht festlegen, wird für Jobs, die hyperdisk-balanced-Laufwerke verwenden, standardmäßig die Basisleistung von 3.000 IOPS und 140 MiB/s Durchsatz verwendet. Weitere Informationen finden Sie in der Compute Engine-Dokumentation unter Informationen zu Hyperdisk Balanced.

Beschränkungen

  • Die Bereitstellung von IOPS und Durchsatz für Hyperdisk Balanced wird in Apache Beam SDK-Versionen ab 2.74.0 unterstützt.

Laufwerksgröße

Die Größe des nichtflüchtigen Speichers.

Java

Legen Sie die Pipelineoption diskSizeGb fest.

Python

Legen Sie die Pipelineoption disk_size_gb fest.

Go

Legen Sie die Pipelineoption disk_size_gb fest.

Wenn Sie diese Option festlegen, geben Sie mindestens 30 GB an, um das Worker-Boot-Image und die lokalen Logs zu berücksichtigen.

Wenn Sie die Laufwerksgröße verringern, wird die verfügbare Shuffle-E/A reduziert. Shuffle-gebundene Jobs, die weder Dataflow Shuffle noch Streaming Engine verwenden, können zu einer längeren Laufzeit und höheren Jobkosten führen.

Batchjobs

Bei Batchjobs, die Dataflow Shuffle verwenden, wird mit dieser Option die Größe des Bootlaufwerks einer Worker-VM festgelegt. Bei Batchjobs, die Dataflow Shuffle nicht verwenden, wird mit dieser Option die Größe der Laufwerke festgelegt, auf denen Shuffle-Daten gespeichert werden. Die Größe des Bootlaufwerks ist davon nicht betroffen.

Wenn ein Batchjob Dataflow Shuffle verwendet, beträgt die Standardlaufwerkgröße 25 GB. Andernfalls beträgt der Standardwert 250 GB.

Streamingjobs

Bei Streamingjobs, die Streaming Engine verwenden, wird mit dieser Option die Größe der Bootlaufwerke festgelegt. Bei Streamingjobs ohne Streaming Engine wird mit dieser Option die Größe jedes zusätzlichen nichtflüchtigen Speichers festgelegt, der vom Dataflow-Dienst erstellt wird. Das Bootlaufwerk ist davon nicht betroffen.

Wenn ein Streamingjob die Streaming Engine nicht verwendet, können Sie die Größe des Bootlaufwerks mit dem Experiment-Flag streaming_boot_disk_size_gb festlegen. Geben Sie beispielsweise --experiments=streaming_boot_disk_size_gb=80 an, um Bootlaufwerke mit 80 GB zu erstellen.

Wenn ein Streamingjob Streaming Engine verwendet, beträgt die Standardlaufwerkgröße 30 GB. Andernfalls beträgt der Standardwert 400 GB.

Mindest-CPU-Plattform

Wenn Sie leistungsempfindliche Arbeitslasten haben, die von bestimmten CPU-Features abhängen, können Sie eine Mindest-CPU-Plattform für Worker-VMs angeben. Mit dieser Option wird sichergestellt, dass Dataflow-Worker einen Prozessor verwenden, der die angegebene CPU-Generation erfüllt oder übertrifft.

Legen Sie die experimentelle Pipelineoption min_cpu_platform fest, um die kleinstmögliche CPU-Plattform anzugeben. Der Wert muss der genaue Name der ausgewählten CPU-Plattform sein, z. B. AMD Milan oder Intel Ice Lake. Geben Sie beispielsweise --experiments=min_cpu_platform='AMD Milan' an, um die Mindest-CPU-Plattform auf AMD Milan festzulegen. Eine Liste der unterstützten kleinstmöglichen CPU-Plattformen finden Sie unter Verfügbarkeit von CPU-Plattformen. Informationen zu Einschränkungen finden Sie unter Einschränkungen beim Angeben einer kleinstmöglichen CPU-Plattform.

So prüfen Sie, ob die Dataflow-Worker-VMs mit der angegebenen kleinstmöglichen CPU-Plattform erstellt wurden:

  1. Rufen Sie in der Google Cloud Console die Cloud Logging-Konsole auf.

  2. Verwenden Sie den folgenden Filter und ersetzen Sie die Beispiel-CPU-Plattform und die Dataflow-Job-ID durch die Informationen für Ihren Job.

    resource.type="gce_instance"
protoPayload.request.minCpuPlatform="AMD Milan"
"dataflow_job_id"

  3. Prüfen Sie in den resultierenden Logs, ob Dataflow die kleinstmögliche CPU-Plattform während der VM-Erstellung erfolgreich angegeben hat.

Cloud Storage FUSE verwenden, um Cloud Storage-Buckets auf Dataflow-VMs bereitzustellen

Mit Cloud Storage FUSE können Sie Ihre Cloud Storage-Buckets direkt mit Dataflow-VMs bereitstellen, sodass Software auf Dateien zugreifen kann, als wären sie lokal. Durch diese Integration müssen Daten nicht mehr vorab heruntergeladen werden, was den Datenzugriff für Ihre Arbeitslasten optimiert. Weitere Informationen finden Sie unter ML-Daten mit Dataflow und Cloud Storage FUSE verarbeiten.

Nächste Schritte