データ環境が複雑になるにつれて、メタデータが異なるプラットフォーム間でサイロ化し、チームがデータを見つけ、信頼し、管理することが難しくなる可能性があります。Knowledge Catalog（旧称 Dataplex Universal Catalog）コネクタは、サードパーティのデータソースから技術、運用、ビジネス、セマンティックのメタデータを Google Cloudに直接自動的にインポートすることで、この問題を解決します。
これらのコネクタを使用すると、アナリストはツールを切り替えることなく外部データアセットを検索できます。また、データ スチュワードはマルチクラウド環境全体で一元化されたガバナンスを適用し、クロスプラットフォームのデータ品質を 1 か所でモニタリングできます。定期的な実行をスケジュールすることで、カタログとソースシステムの同期を維持し、チームがデータ エコシステムの正確な最新ビューを把握できるようにします。
サポートされるデータソース
Knowledge Catalog コネクタを使用して、次のソースからメタデータをインポートできます。
- Databricks Unity Catalog
- dbt Core と dbt Cloud
- MySQL
- Oracle
- PostgreSQL
- Snowflake Horizon
- SQL Server
データ ガバナンス パートナーとの統合
Knowledge Catalog を他の Data Catalog プラットフォームやガバナンス プラットフォームと統合することもできます。これらの統合により、並列カタログツールは、元データソースからデータを取得するのではなく、情報を共有できます。Knowledge Catalog 内でメタデータを拡充したり、Knowledge Catalog メタデータをエクスポートして、これらのサードパーティ ツールで表示したりできます。
次のパートナーが Knowledge Catalog の統合を提供しています。
このページの残りの部分では、コネクタを介してメタデータをインポートする方法について説明します。パートナー統合の詳細については、リンク先のパートナー ページをご覧ください。
仕組み
Knowledge Catalog コネクタは、事前構築済みの統合を使用してデータソースに接続し、メタデータを自動的に抽出します。BigQuery Data Transfer Service は、これらの転送を管理し、抽出されたメタデータを、選択した特定の Knowledge Catalog エントリ グループにマッピングします。
コネクタは、次の種類のメタデータを抽出します。
- テクニカル メタデータ: スキーマ、データ型、列名の定義。
- 運用メタデータ: 作成および変更されたタイムスタンプ、リネージ、使用統計情報、データ品質の結果。
- ビジネス メタデータ: タグ、オーナー、アノテーション。
- セマンティック メタデータ: ディメンション、メジャー、指標、ゴールデン クエリ、関係。
コネクタを構成すると、Knowledge Catalog は指定したスケジュールでメタデータのインポート実行をスケジュールし、カタログがソースシステムと同期された状態を維持します。メタデータのインポートが実行されるたびに、その構成で管理されている宛先エントリ グループのエントリが完全に上書きされます。ソースに存在しなくなったメタデータ オブジェクトはエントリ グループから削除され、新しいオブジェクトが追加されます。コネクタ構成によってインポートされないエントリ グループ内のオブジェクトは影響を受けません。
用語
このドキュメントでは、次の用語を使用します。
- メタデータのインポート構成: BigQuery Data Transfer Service を使用してソースからメタデータを抽出し、Knowledge Catalog に読み込む、スケジュール設定されたタスクまたはオンデマンド タスクの設定。
- 実行: メタデータ インポート構成の単一の実行インスタンス。
- エントリ グループ: メタデータ エントリを含む Knowledge Catalog のリソース。コネクタを構成するときに、インポートされたメタデータの宛先としてエントリ グループを指定します。
- エントリ: テーブルやビューなどのデータアセットを表す Knowledge Catalog のリソース。
料金
コネクタを使用してメタデータをインポートする場合、Knowledge Catalog または BigQuery Data Transfer Service からの追加料金は発生しません。
他の Knowledge Catalog の使用（メタデータ ストレージなど）には、標準料金が適用されます。詳細については、Knowledge Catalog の料金をご覧ください。
制限事項
- インポートされるのはメタデータのみで、ソーステーブルまたはビューの基になるデータはインポートされません。基盤となるデータを転送するには、BigQuery Data Transfer Service を使用します。
- 実行するたびに、宛先エントリ グループ内のコネクタ管理エントリが完全に上書きされます。メタデータの増分更新はサポートされていません。
- 実行履歴は 90 日間保持されます。
次のステップ
- Databricks Unity Catalog からメタデータをインポートする方法を確認する。
- dbt Core と Cloud からメタデータをインポートする方法を学習する。
- MySQL からメタデータをインポートする方法を学習する。
- Oracle からメタデータをインポートする方法を確認する。
- PostgreSQL からメタデータをインポートする方法を学習する。
- Snowflake Horizon からメタデータをインポートする方法を学習する。
- SQL Server からメタデータをインポートする方法を学習する。
- コネクタ構成を管理する方法を学習する。