Panoramica dei plug-in

I plug-in di Cloud Data Fusion consentono di spostare e gestire i dati mentre scorrono dall'origine al sink in una pipeline di dati. Ogni fase, nota come nodo, è costituita da un modulo personalizzabile che estende le funzionalità del flusso di lavoro. Nell' interfaccia web di Cloud Data Fusion, puoi accedere ai plug-in predefiniti nella pagina Studio , sfogliare l'Hub per ulteriori integrazioni o esplorare tutti i plug-in di Cloud Data Fusion.

Plug-in nell'interfaccia web.

Tipi di plug-in

I plug-in sono suddivisi nelle seguenti categorie:

  • Fonti
  • Trasformazioni
  • Analytics
  • Sink
  • Condizioni e azioni
  • Gestori di errori e avvisi

Fonti

I plug-in di origine si connettono a database, file o stream in tempo reale da cui la pipeline legge i dati. Configura le origini per la pipeline di dati utilizzando l'interfaccia web, in modo da non doverti preoccupare di codificare le connessioni di basso livello.

Trasformazioni

I plug-in di trasformazione modificano i dati dopo che sono stati importati da un'origine. Ad esempio, puoi clonare un record, modificare il formato file in JSON o utilizzare il plug-in JavaScript per creare una trasformazione personalizzata.

Analytics

I plug-in di analisi eseguono aggregazioni, ad esempio unendo i dati di origini diverse ed eseguendo operazioni di analisi e machine learning.

Sink

I plug-in sink scrivono i dati nelle risorse, come Cloud Storage, BigQuery, Spanner, database relazionali, file system e mainframe. Puoi eseguire query sui dati scritti nel sink utilizzando l'interfaccia web o l'API REST di Cloud Data Fusion.

Condizioni e azioni

Utilizza i plug-in di condizione e azione per pianificare le azioni programmate che si svolgono durante un flusso di lavoro che non manipolano direttamente i dati nel flusso di lavoro. Ad esempio:

  • Utilizza il plug-in Database per pianificare l'esecuzione di un comando di database alla fine della pipeline.
  • Utilizza il plug-in Sposta file per attivare un'azione che sposta i file all'interno di Cloud Storage.

Gestori di errori e avvisi

Quando le fasi rilevano valori null, errori logici o altre origini di errori, puoi utilizzare un plug-in di gestione degli errori per intercettare gli errori. Utilizza questi plug-in per trovare gli errori nell'output dopo un plug-in di trasformazione o analisi. Puoi scrivere gli errori in un database per l'analisi.

Passaggi successivi