Pipeline konektivitas terkelola mengimpor metadata dari sumber pihak ketiga ke Knowledge Catalog (sebelumnya Dataplex Universal Catalog). Anda dapat menggunakan pipeline ini untuk mengimpor metadata ke Knowledge Catalog dalam skala besar untuk mengekstrak data dari sumber Anda. Pipeline juga membuat grup entri Knowledge Catalog di projectGoogle Cloud Anda sesuai kebutuhan. Dengan pendekatan ini, Anda dapat mengatur alur kerja dan menjadwalkan tugas impor sesuai dengan persyaratan Anda.
Anda membuat konektor kustom untuk mengekstrak metadata dari berbagai sumber pihak ketiga, termasuk MySQL, SQL Server, Oracle, Snowflake, dan Databricks. Atau, Anda dapat menggunakan konektor kustom yang dikontribusikan komunitas untuk berbagai sumber yang lebih luas.
Cara kerja konektivitas terkelola
Diagram berikut menunjukkan pipeline konektivitas terkelola.
Secara umum, berikut cara kerja konektivitas terkelola:
Anda membuat konektor untuk sumber data Anda.
Konektor harus berupa image Artifact Registry yang dapat berjalan di Managed Service untuk Apache Spark.
Anda menjalankan pipeline konektivitas terkelola di Workflows, sebuah platform orkestrasi.
Pipeline konektivitas terkelola melakukan tindakan berikut:
- Membuat grup entri target berdasarkan konfigurasi Anda, jika grup entri tidak ada.
- Menjalankan konektor. Konektor ini mengekstrak metadata dari sumber data Anda dan membuat file impor metadata yang dapat diimpor ke Knowledge Catalog.
- Memantau progres ekstraksi metadata.
- Menjalankan tugas impor metadata untuk mengimpor metadata ke Knowledge Catalog.
- Memantau progres tugas impor metadata.
Pipeline konektivitas terkelola menggunakan Managed Service untuk Apache Spark guna menjalankan konektor, dan metode API impor metadata Knowledge Catalog untuk menjalankan tugas impor metadata.
Metadata yang Anda impor terdiri dari entri Knowledge Catalog dan aspeknya. Untuk mengetahui informasi selengkapnya tentang metadata Knowledge Catalog, lihat Tentang pengelolaan metadata di Knowledge Catalog.
Konektor kustom kontribusi komunitas
Untuk mengimpor metadata dari sumber pihak ketiga, Anda dapat menggunakan konektor kustom yang dikontribusikan oleh komunitas. Lihat file README setiap konektor untuk mengetahui petunjuk penyiapan dan informasi selengkapnya tentang konektor.
| Sumber data | Repositori |
|---|---|
| MySQL | mysql-connector |
| Oracle | oracle-connector |
| PostgreSQL | postgresql-connector |
| Snowflake | snowflake-connector |
| SQL Server | sql-server-connector |