Ringkasan plugin

Plugin Cloud Data Fusion memungkinkan Anda memindahkan dan mengelola data saat data mengalir dari sumber ke sink dalam pipeline data. Setiap tahap, yang dikenal sebagai node, terdiri dari modul yang dapat disesuaikan yang memperluas kemampuan alur kerja Anda. Di antarmuka web Cloud Data Fusion, Anda dapat mengakses plugin default di halaman Studio, menjelajahi Hub untuk integrasi tambahan, atau menjelajahi semua plugin Cloud Data Fusion.

Plugin di antarmuka web.

Jenis plugin

Plugin dikategorikan ke dalam kategori berikut:

  • Sumber
  • Transformations
  • Analytics
  • Sink
  • Kondisi dan tindakan
  • Penangan error dan pemberitahuan

Sumber

Plugin sumber terhubung ke database, file, atau streaming real-time tempat pipeline Anda membaca data. Anda menyiapkan sumber untuk pipeline data menggunakan antarmuka web, sehingga Anda tidak perlu khawatir tentang pengkodean koneksi tingkat rendah.

Transformations

Plugin transformasi mengubah data setelah data di-ingest dari sumber. Misalnya, Anda dapat meng-clone rekaman, mengubah format file menjadi JSON, atau menggunakan plugin Javascript untuk membuat transformasi kustom.

Analytics

Plugin analisis melakukan agregasi, seperti menggabungkan data dari berbagai sumber dan menjalankan operasi analisis dan machine learning.

Sink

Plugin sink menulis data ke resource, seperti Cloud Storage, BigQuery, Spanner, database relasional, sistem file, dan mainframe. Anda dapat mengkueri data yang ditulis ke sink menggunakan antarmuka web Cloud Data Fusion atau REST API.

Kondisi dan tindakan

Gunakan plugin kondisi dan tindakan untuk menjadwalkan tindakan terjadwal yang terjadi selama alur kerja yang tidak secara langsung memanipulasi data dalam alur kerja. Contoh:

  • Gunakan plugin Database untuk menjadwalkan perintah database agar berjalan di akhir pipeline Anda.
  • Gunakan plugin File Move untuk memicu tindakan yang memindahkan file dalam Cloud Storage.

Penangan error dan pemberitahuan

Saat tahap menemukan nilai null, error logis, atau sumber error lainnya, Anda dapat menggunakan plugin penangan error untuk menangkap error. Gunakan plugin ini untuk menemukan error dalam output setelah plugin transformasi atau analisis. Anda dapat menulis error ke database untuk dianalisis.

Langkah berikutnya