Datastream リソースを検索して管理するには、Knowledge Catalog を使用できます。これは、メタデータを保存、管理、アクセスするためのプラットフォームです。Knowledge Catalog を使用して、以下を行うことができます。
- Datastream メタデータの検出、分析、理解。
- ストリーム、接続プロファイル、接続構成などの Datastream リソースを閲覧する。
- データ パイプラインのトラブルシューティングと管理のための運用可視性の向上。
- ライブ同期とバッチ同期による一貫したメタデータ取り込みのために、準リアルタイムと定期的なメカニズムの両方を確立します。詳細については、同期モードをご覧ください。
Knowledge Catalog のモデリング
Datastream リソースは、Knowledge Catalog で、予約済みの Knowledge Catalog 所有のエントリ グループと特定のエントリタイプでモデル化されます。
| Knowledge Catalog エンティティ | リソース ID |
|---|---|
| エントリ グループ | @datastream |
| エントリタイプ | datastream-stream |
| エントリタイプ | datastream-connection-profile |
| エントリタイプ | datastream-private-connection |
メタデータ検出の種類
Knowledge Catalog のメタデータ検出は、Datastream などの接続されたデータソースをスキャンしてデータアセットを特定し、その技術メタデータを Knowledge Catalog に抽出する自動プロセスです。
このプロセスでは、リアルタイム同期と定期的な同期の両方を使用して、カタログとソースシステムの整合性を維持します。Datastream の場合、すべてのストリーム、接続プロファイル、プライベート接続構成のメタデータがデフォルトで検出されます。
| リソースの種類 | 取得したメタデータ |
|---|---|
| ストリーム |
|
| 接続プロファイル |
|
| プライベート接続構成 |
|
同期モード
Datastream は、次の同期モードを使用して、Knowledge Catalog とソースシステムの一貫性を維持します。
- ライブ同期: このモードでは、メタデータの変更が発生すると、Datastream は Pub/Sub トピックにイベントをパブリッシュします。これにより、Knowledge Catalog はこれらのトピックにサブスクライブして、準リアルタイムで更新を受信できます。
- バッチ同期: このモードでは、Datastream は指定された Cloud Storage バケットに完全なメタデータ エクスポート（チェックポイント）を定期的に公開し、Knowledge Catalog はそこからデータを取り込みます。
キーワード検索と自然言語検索
Knowledge Catalog では、キーワード検索と自然言語検索をサポートしています。
- キーワード検索では、特定のキーワード、フィルタ、定義された構文を使用してリソースを検索できます。たとえば、「
system=Datastream AND type=Stream」と入力すると、すべての Datastream ストリームが表示されます。 - 自然言語検索は、AI を使用してセマンティック クエリを理解します。普段使う言葉でリソースを検索できるため、複雑な構文を使用する必要はありません。たとえば、「
List all Datastream streams with BigQuery destination」などのクエリを入力できます。
詳細については、Knowledge Catalog の検索構文をご覧ください。
始める前に
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
プロジェクトで Dataplex API を有効にします。
- 必要な権限があることを確認します。
必要な IAM のロール
このセクションでは、リソースの検索と検索結果へのアクセスに必要なロールと権限について説明します。
検索結果にアクセスするために必要なロール
Knowledge Catalog で Datastream メタデータを検索して表示するには、プリンシパルに Datastream リソースを表示する権限（dataplex.projects.search 権限を含む）が必要です。
プリンシパル（ユーザー、グループ、サービス アカウントなど）にこれらの権限を付与するには、Datastream リソースを含むプロジェクトに対する Datastream 閲覧者（roles/datastream.viewer）IAM ロールを割り当てます。
| Knowledge Catalog のオペレーション | Datastream リソース | 必要なロールまたは権限 |
|---|---|---|
| Datastream リソースを検索する | ストリーム | datastream.streams.get |
| 接続プロファイル | datastream.connectionProfiles.get |
|
| プライベート接続構成 | datastream.privateConnections.get |
ロールの付与の詳細については、アクセスの管理をご覧ください。Datastream IAM ロールの詳細については、Datastream の IAM ロールと権限をご覧ください。
エントリの検索に必要なロール
エントリを検索するには、検索に使用するプロジェクトに対する次の IAM ロールが 1 つ以上必要です。
- Dataplex Catalog 管理者（
roles/dataplex.catalogAdmin） - Dataplex Catalog 編集者（
roles/dataplex.catalogEditor） - Dataplex Catalog 閲覧者（
roles/dataplex.catalogViewer）
検索結果に対する権限は、選択したプロジェクトとは別にチェックされます。詳細については、Knowledge Catalog でデータアセットを検索するをご覧ください。
Datastream アセットを検索する
Google Cloud コンソールの Knowledge Catalog 検索ページを使用して、Datastream アセットを検索します。
Knowledge Catalog の [検索] ページに移動します。
[検索プラットフォームの選択] で、[Knowledge Catalog] を選択します。
[フィルタ] パネルで [システム] をクリックし、[Datastream] を選択します。
省略可。[タイプ エイリアス] で、次のいずれかのタイプ エイリアスを選択すると、特定のタイプの Datastream アセットで検索結果をフィルタできます。
- データ ストリーム: Datastream ストリームを検索します。
- 接続プロファイル: Datastream 接続プロファイルを検索します。
- 接続: Datastream のプライベート接続構成を検索します。
クエリを使用してキーワード検索を行う
Knowledge Catalog の検索フィールドを使用して、キーワード検索クエリを実行できます。たとえば、「system=Datastream AND type=Stream」と入力すると、すべての Datastream ストリームが表示されます。
詳細については、Knowledge Catalog の検索構文をご覧ください。
すべての Datastream アセットを表示するには、「system=Datastream」と入力します。
次に、特定のキーワードを入力します。たとえば、すべての Datastream ストリームを表示するには、次のクエリを入力します。
system=Datastream AND type=Stream
すべての接続プロファイルを表示するには、次のクエリを入力します。
system=Datastream AND type=ConnectionProfile
複雑な式では、かっこと、論理演算子（AND と OR）を使用することもできます。検索フィールドで使用できる式の詳細については、Knowledge Catalog の検索構文をご覧ください。
検索フィールドに、特定の Datastream アセットの検索クエリを直接入力できます。クエリ文字列の形式は次のとおりです。
type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"
次のように置き換えます。
QUERY_STRING: 次のリストを使用して、クエリする Datastream アセットタイプに応じたクエリ文字列を特定します。datastream-streamdatastream-connection-profiledatastream-private-connection
クエリの例を次に示します。
type="projects/dataplex-types/locations/global/entryTypes/datastream-stream"
料金
Knowledge Catalog への Datastream テクニカル メタデータの保存は無料です。API 呼び出しと追加のビジネス メタデータの拡張には、Knowledge Catalog の標準の料金が適用されます。詳細については、 Knowledge Catalog の料金ページをご覧ください。