(非推奨)データメッシュのコンセプト
Google Cloud Cortex Framework を使用したデータメッシュのデプロイに関する詳細なガイドに入る前に、このページでは、関連するデータメッシュのコンセプトが Google Cloud プロダクト内、特に Cortex Framework のコンテキスト内で一般的にどのように実装されるかについて説明します。データメッシュのコンセプトを理解したら、Cortex Framework Data Foundation のデータメッシュ ユーザーガイドをご覧ください。
Knowledge Catalog
次の表に、Knowledge Catalog 内のデータメッシュのコンセプトを定義します。
| コンセプト | 説明 | Cortex Framework のコンテキスト |
| レイク | データメッシュ内でデータを整理するための最上位ユニット。Knowledge Catalog - レイクを管理します。 | データソース(例: SAP ECC、Salesforce、Google Ads)。 |
| ゾーン | レイク内でデータを整理するための第 2 レベルのユニット。 | データソース内の特定の処理レイヤ(未加工データと CDC など)。 |
| Knowledge Catalog アセット | ゾーンに関連付けられた Cloud Storage または BigQuery に保存されているデータへの参照。これはデータアセットへの参照であり、データ自体ではありません。 | ゾーンに登録されている BigQuery データセットへの参照。 |
| ラベル | レイクまたはゾーンに適用できる任意の Key-Value ペア。 | テーブルや列ではなく、レイクまたはゾーン全体に、Knowledge Catalog で表示したり、カスタム アプリケーションで使用したりできるメタデータのラベルを付けます。 |
| Data Catalog | ウェアハウス内のデータアセットの検出、理解、管理に役立つテクニカル ビジネス メタデータ。 | Knowledge Catalog 検索またはカスタム アプリケーションで使用できる豊富なメタデータタグを使用して、テーブルまたは列(レイクまたはゾーンではなく)にアノテーションを付けます。 |
| カタログタグ テンプレート | タグで使用可能なフィールドとそのタイプを定義するテンプレート。Knowledge Catalog - タグ テンプレートを管理する | ビジネス部門でデータアセットにタグ付けするなどの用途に、一連のテンプレートを定義します。 |
| カタログタグ | テーブルまたは列に適用されるメタデータを含むフィールドとその値のセット。タグ テンプレートのインスタンス。 | 特定の事業部門など、そのアセットに関連するメタデータ値を使用してテーブルまたは列にアノテーションを付けます。 |
| カタログ用語集 | 定義して BigQuery 列に関連付けることができる用語の辞書。Knowledge Catalog - 用語集を管理します。 | BigQuery アセットで使用される用語または頭字語を定義します。これは将来的に計画されているものであり、サポートされていません。 |
| データリネージ | BigQuery アセットの依存関係を表すグラフ。 | これらは Cortex データメッシュでは定義されていませんが、ユーザーが BigQuery アセットのデータソースを検出するのに役立つ Knowledge Catalog ツールです。 |
| リネージ イベント | BigQuery アセット間でデータを移動するオペレーションが発生した時点。リンクのリストが含まれます。 | サポートされている BigQuery オペレーションと Composer オペレーションに対して自動的に作成されます。 |
| リネージリンク | リネージ イベントの一部として、ソースからターゲット アセットに流れるデータを表すエッジ。 | これを分析することで、コンソールに表示されるリネージ可視化グラフ以外のユースケースをサポートできます。 |
BigQuery
次の表に、BigQuery 内のデータメッシュのコンセプトを示します。
| コンセプト | 説明 | Cortex Framework のコンテキスト |
| ポリシーの分類 | ポリシータグの階層。BigQuery - ポリシータグを管理します。 | アクセス制御に使用できる関連するポリシータグを、継承された権限を持つ階層に整理します。 |
| ポリシータグ | BigQuery テーブルまたはビュー内の特定の列に適用されるタグ。階層内の任意のレベルのポリシータグを適用できます。特定の列に適用できるポリシータグは 1 つだけです。 | 列レベルのアクセス制御に使用されるタグを列にアノテーションします。ポリシータグのプリンシパルは、未加工の列データを表示できる「きめ細かい」読み取りまたは「マスクされていない」読み取りを定義します。 |
| データポリシー | マスクされた列データを表示する方法と表示できるユーザーを定義するポリシータグに適用されるポリシー。 | データポリシーのプリンシパルは、マスクされた列データを表示できる「マスクされた読み取り」を定義します。マスクされたリーダー権限またはマスクされていないリーダー権限を持たないユーザーは、列をクエリできません。 |
| マスキング ルール | データポリシーに適用されるルール。データのマスキング方法(ハッシュ、デフォルト値の表示、末尾の 4 文字など)を定義します。 | 機密性の高い列に状況に応じて適用されます。 |
| 行アクセス ポリシー | 特定の列の値に基づいて、テーブル内の行をクエリできるグループを定義する SQL ステートメント。 | アセットレベルと列レベルの制御が不十分な場合に、行レベルのアクセス制御に使用されます。 |
Cortex データメッシュのコンセプト
次の表に、Cortex Framework 内の特定のデータメッシュのコンセプトを示します。
| コンセプト | 説明 | Cortex Framework のコンテキスト |
| メタデータ リソース | 複数の BigQuery アセットで再利用できるメタデータ エンティティ。たとえば、レイク、カタログタグ テンプレート、ポリシー分類などがあります。これは、BigQuery 自体のデータではなく、メタデータです。 | 再利用可能なリソースを定義して、Cortex データメッシュの一貫した管理を可能にします。 |
| BigQuery アセット | BigQuery のテーブルまたはビュー。 | Data Mesh で管理されている既存の Cortex BigQuery オブジェクト。 |
| BigQuery アセットのアノテーション | 特定の BigQuery テーブルまたはビューに適用されるメタデータ。これには、説明、アクセス ポリシー、メタデータ リソースへのマッピングが含まれます。 | メタデータを BigQuery アセットに関連付けて、検出とアクセス制御を有効にします。 |
| リソース仕様(spec) | メタデータ リソースまたは BigQuery アセット アノテーションを定義する YAML ファイル。 | リソース仕様の完全なセットは、デプロイするデータメッシュ構成をコード化します。 |