Cloud Data Fusion プラグインを使用すると、データ パイプラインでソースからシンクに流れるデータを移動して管理できます。ノードと呼ばれる各ステージは、ワークフロー機能を拡張するカスタマイズ可能なモジュールで構成されています。 Cloud Data Fusion ウェブ インターフェースでは、 [Studio] ページでデフォルトのプラグインにアクセスしたり、[Hub] で追加の統合を参照したり、 [Cloud Data Fusion plugins] を確認したりできます。
プラグインの種類
プラグインは次のカテゴリに分類されます。
- ソース
- 変換
- 分析
- シンク
- Conditions and Actions
- Error handlers and alerts
ソース
ソース プラグインは、パイプラインがデータを読み取るデータベース、ファイル、リアルタイム ストリームに接続します。ウェブ インターフェースを使用してデータ パイプラインのソースを設定するため、低レベルの接続のコーディングについて心配する必要はありません。
変換
変換プラグインは、データがソースから取り込まれた後にデータを変更します。たとえば、レコードのクローンを作成したり、ファイル形式を JSON に変更したり、Javascript プラグインを使用してカスタム変換を作成したりできます。
分析
分析プラグインは、さまざまなソースからのデータの結合、分析、機械学習オペレーションの実行などの集約を行います。
シンク
シンク プラグインは、Cloud Storage、BigQuery、Spanner、リレーショナル データベース、ファイル システム、メインフレームなどのリソースにデータを書き込みます。シンクに書き込まれたデータは、Cloud Data Fusion ウェブ インターフェースまたは REST API を使用してクエリできます。
Conditions and Actions
Condition プラグインと Action プラグインを使用して、ワークフローで実行される予約アクションをスケジュールします。これらのアクションは、ワークフロー内のデータを直接操作しません。次に例を示します。
- Database プラグインを使用して、パイプラインの最後に実行するデータベース コマンドをスケジュールします。
- File Move プラグインを使用して、Cloud Storage 内のファイルを移動するアクションをトリガーします。
Error handlers and alerts
ステージに null 値、ロジックエラー、その他のエラーの原因が存在する場合、エラーハンドラ プラグインを使用してエラーを検出できます。変換または分析プラグインの後に、これらのプラグインを使用して出力のエラーを見つけます。エラーをデータベースに書き込んで分析できます。
次のステップ
- プラグインを確認する。
- プラグインを使用してデータ パイプラインを作成する。