Informazioni sui carichi di lavoro altamente paralleli HPC di Dataflow

I workload altamente paralleli, noti anche come workload estremamente parallelizzabili, sono comuni nelle aziende del settore finanziario, dei media e delle scienze biologiche. Per workload paralleli come questi, le aziende in genere eseguono il deployment di un cluster di nodi di computing. Ogni nodo può eseguire attività di elaborazione indipendenti, in una configurazione denominata grid computing. Per elaborare i dati per i workload paralleli, puoi utilizzare Apache Beam con Dataflow. Per saperne di più su Apache Beam, consulta la guida alla programmazione di Apache Beam.

L'utilizzo di Dataflow per workload altamente paralleli offre molti vantaggi.

Inoltre, Dataflow include varie funzionalità di sicurezza:

Questi workload richiedono la distribuzione dei dati a funzioni eseguite su molti core. Questa distribuzione spesso richiede letture con un livello di contemporaneità molto elevato, seguite da un fan-out di dati di grandi dimensioni, assorbito dai sistemi downstream. Le competenze principali di Dataflow sono la distribuzione dei workload batch e in streaming tra le risorse e la gestione della scalabilità automatica e del bilanciamento dinamico del lavoro tra queste risorse. Pertanto, quando utilizzi Dataflow per i tuoi workload altamente paralleli, le esigenze di prestazioni, scalabilità, disponibilità e sicurezza vengono gestite automaticamente.

Incorpora codice esterno nella pipeline

Apache Beam dispone di SDK integrati per Java, Python e Go. Tuttavia, molti workload altamente paralleli utilizzano codice scritto in C++. Puoi utilizzare Dataflow e altri servizi Google Cloud per eseguire file binari (librerie) C++ come codice esterno utilizzando Apache Beam. L'inclusione di file binari C++ ti consente di sbloccare questi tipi di workload utilizzando servizi completamente gestiti. Inoltre, ti consente di creare pipeline complete utilizzando un sofisticato grafo diretto aciclico (DAG).

Lo stesso approccio per l'esecuzione di file binari C++ è pertinente anche per il codice scritto in altri linguaggi in cui puoi compilare un file binario autonomo.

Pipeline end-to-end altamente parallele

Con Dataflow, puoi eseguire l'elaborazione di lettura e scrittura di I/O, l'analisi e l'output delle attività, tutto nella stessa pipeline. In questo modo puoi eseguire pipeline complete altamente parallele.

Ad esempio, un workload HPC altamente parallelo potrebbe incorporare i seguenti passaggi:

  1. Importa dati non elaborati, sia da origini interne che esterne. I dati potrebbero provenire da origini non limitate o limitate. Le origini non limitate vengono per lo più convertite in origini limitate per adattarsi alle tecnologie utilizzate per il task farming.

  2. Pre-elabora i dati non elaborati in una forma e una codifica dei dati che il componente di task farming può utilizzare.

  3. Utilizza un sistema per distribuire i calcoli agli host e per recuperare i dati da un'origine, quindi materializza i risultati per la post-analisi.

  4. Eseguire la post-analisi per convertire i risultati in output.

Puoi utilizzare Dataflow per gestire tutti questi passaggi in un'unica pipeline, sfruttando al contempo le funzionalità di Dataflow:

  • Poiché un singolo sistema è responsabile di tutte le fasi, non è necessario un sistema di orchestrazione esterno per coordinare l'esecuzione di più pipeline.

  • Con la località dei dati, non è necessario materializzare e dematerializzare esplicitamente tra i confini delle fasi, aumentando l'efficienza.

  • Con una migliore telemetria interna al sistema, sono disponibili informazioni sui byte totali nella fase, il che aiuta a progettare le fasi successive.

  • Con la scalabilità automatica, quando i dati sono nel sistema, le risorse vengono scalate in base ai volumi di dati man mano che questi si spostano attraverso le fasi della pipeline.

La pipeline principale altamente parallela di Dataflow HPC utilizza moderni motori di esecuzione DAG. Tutti i processi tipici della pipeline possono essere completati in un singolo DAG e, di conseguenza, in una singola pipeline Dataflow. Puoi utilizzare un DAG generato da Apache Beam per definire la forma della pipeline.

Se stai eseguendo la migrazione da un sistema di task farm a un workflow altamente parallelo, devi passare dalle attività ai dati. Un PTransform contiene un DoFn, che ha una funzione di elaborazione che accetta un elemento di dati. Il punto dati può essere qualsiasi oggetto con una o più proprietà.

Utilizzando un DAG e una singola pipeline, puoi caricare tutti i dati all'interno del sistema durante l'intero workflow. Non è necessario inviare i dati a database o spazio di archiviazione.

ComponentiGoogle Cloud utilizzati con workflow altamente paralleli

Le applicazioni di grid computing richiedono che i dati vengano distribuiti alle funzioni in esecuzione su molti core. Questo pattern spesso richiede letture ad alta contemporaneità ed è spesso seguito da un ampio fan-out di dati assorbiti dai sistemi downstream.

Dataflow è integrato con altri servizi gestiti di Google Cloud che possono assorbire I/O di dati parallelizzati su larga scala:

  • Pub/Sub: servizio di acquisizione di flussi di dati di eventi globali
  • Bigtable: archivio a colonne larghe per la memorizzazione nella cache e la pubblicazione
  • Cloud Storage: archivio di oggetti unificato
  • BigQuery: servizio di data warehouse su scala petabyte

Se utilizzati insieme, questi servizi forniscono una soluzione interessante per i workload altamente paralleli.

L'architettura comune per i workload altamente paralleli in esecuzione suGoogle Cloud include quanto segue:

  • Dataflow Runner per Apache Beam. Questo runner distribuisce il lavoro ai nodi della griglia con un flusso di elaborazione derivato da un DAG. Un singolo DAG Apache Beam consente di definire pipeline multifase complesse in cui le fasi della pipeline parallele possono essere riunite utilizzando input laterali o join.

  • Cloud Storage. Questo servizio fornisce una posizione per la gestione temporanea dei file binari C++. Quando è necessario archiviare file di grandi dimensioni, come in molti casi d'uso dei contenuti multimediali, anche questi file risiedono in Cloud Storage.

  • Bigtable, BigQuery e Pub/Sub. Questi servizi vengono utilizzati sia come origini sia come sink.

Il seguente diagramma illustra l'architettura di alto livello per un workflow di esempio.

Architettura di una soluzione di grid computing

Puoi anche utilizzare altri sistemi di archiviazione. Per maggiori dettagli, consulta l'elenco dei sistemi di archiviazione e delle origini di flussi di dati nella pagina I/O della pipeline nella documentazione di Apache Beam.

Il runner Dataflow per Apache Beam

Utilizza Dataflow per trasformare e arricchire i dati sia in modalità flusso che batch. Dataflow si basa su Apache Beam.

Cloud Storage

Cloud Storage è un archivio di oggetti unificato che comprende la distribuzione di dati in tempo reale, l'analisi dei dati, il machine learning (ML) e l'archiviazione dei dati. Per i workload altamente paralleli con Dataflow, Cloud Storage fornisce l'accesso ai file binari C++. In alcuni casi d'uso, Cloud Storage fornisce anche la località per i dati necessari alla fase di elaborazione.

Per i carichi con burst elevati richiesti dal grid computing, devi comprendere le caratteristiche prestazionali di Cloud Storage. Per saperne di più sulle prestazioni di distribuzione dei dati di Cloud Storage, consulta le Linee guida per tasso di richieste e distribuzione degli accessi nella documentazione di Cloud Storage.

Bigtable

Bigtable è un servizio di database NoSQL ad alte prestazioni ottimizzato per workload analitici e operativi di grandi dimensioni. Bigtable è complementare a Dataflow. Le caratteristiche principali di Bigtable, ovvero letture e scritture a bassa latenza (6 ms al 90° percentile), gli consentono di gestire molte migliaia di client simultanei e workload con picchi elevati. Queste funzionalità rendono Bigtable ideale come sink e come origine dati all'interno della funzione DoFn nella fase di elaborazione di Dataflow.

BigQuery

BigQuery è un data warehouse aziendale veloce, economico e completamente gestito per l'analisi dei dati su larga scala. I risultati della griglia vengono spesso utilizzati per l'analisi e consentono di eseguire aggregazioni su larga scala rispetto all'output dei dati della griglia.

Pub/Sub

Pub/Sub è un servizio di messaggistica asincrono e scalabile che disaccoppia i producer di servizi che producono messaggi dai servizi che li elaborano. Puoi utilizzare Pub/Sub per le pipeline di analisi dei flussi di dati e integrazione dei dati al fine di importare e distribuire i dati. È altrettanto efficace come middleware orientato alla messaggistica per l'integrazione dei servizi o come coda per parallelizzare le attività.

Il DAG Dataflow

Puoi utilizzare l'SDK Apache Beam per creare DAG espressivi, che a loro volta ti consentono di creare pipeline multifase in modalità flusso o batch. Il movimento dei dati è gestito dal runner, con i dati espressi come oggetti PCollection, ovvero raccolte di elementi paralleli immutabili.

Il seguente diagramma illustra questo flusso.

Flusso che utilizza il DAG

L'SDK Apache Beam ti consente di definire un DAG. Nel DAG, puoi includere codice definito dall'utente come funzioni. In genere, per la dichiarazione del DAG e per il codice definito dall'utente viene utilizzato lo stesso linguaggio di programmazione (Java, Python o Go). Per il codice definito dall'utente, puoi anche utilizzare un codice non integrato, ad esempio C++.

Passaggi successivi

  • Scopri le best practice per lavorare con le pipeline Dataflow HPC altamente parallele.
  • Segui il tutorial per creare una pipeline che utilizza container personalizzati con librerie C++.