オブジェクト エンリッチメントを使用すると、カスタム ML パイプラインを構築することなく、構造化メタデータを自動的に生成できます。オブジェクト エンリッチメントは、Google の事前トレーニング済み機械学習モデルを保存されたオブジェクトに直接適用して、非構造化データの検索、キュレーション、ガバナンスを大規模に行うことができます。
オブジェクトのメタデータの生成を開始するには、オブジェクト エンリッチメントを構成するをご覧ください。
仕組み
オブジェクト エンリッチメントを使用するには、システムの次の部分を操作します。
- 機能構成（
FeatureConfig）: 機能構成を作成して、Cloud Storage がモニタリングするバケットまたはプロジェクトを指定します。 - 機械学習モデル: 構成では、オブジェクトの検出、画像のラベル付け、顔の分析、PDF ドキュメントの分類など、適用するモデルを選択します。
- オブジェクト エンリッチメント（メタデータ）: Cloud Storage はオブジェクトを非同期でスキャンし、選択したモデルで対象となるオブジェクトを評価します。Cloud Storage は、生成されたメタデータをオブジェクト コンテキストとしてオブジェクトに直接アタッチします。
Cloud Storage がエンリッチメント メタデータをオブジェクトにアタッチすると、メタデータを使用できるようになります。個々のオブジェクト エンリッチメントを検査することも、Storage Insights データセットを使用して、BigQuery で SQL を使用して数百万のオブジェクトのメタデータを分析することもできます。
次の図は、Cloud Storage がオブジェクト エンリッチメントを使用して非構造化データからコンテキストを抽出し、ダウンストリームの AI ワークフローと分析ワークフローのオブジェクト コンテキストとして保存する方法を示しています。
サポートされているモデル
特徴構成を作成するときに、データと分析目標に最適な ML モデルを選択します。Cloud Storage は、選択したモデルを使用して対象オブジェクトを評価し、contexts.custom に構造化メタデータを生成します。
サポートされているモデルの表には、各モデル、検出対象、出力データのサンプルが一覧表示されます。スキーマ定義とコンテキスト キーの詳細については、サポートされているモデルとスキーマをご覧ください。
| モデル | 説明 | 出力データの例 |
|---|---|---|
| オブジェクト検出 | 画像内の複数のオブジェクトを検出し、その位置と四角い境界線を提供します。 | 商品、動物、人物 |
| 画像のラベル付け | オブジェクト、場所、アクティビティなど、幅広いカテゴリにわたって画像内のエンティティに関する情報を検出して抽出します。 | 風景、都市、夜 |
| 顔検出 | 画像内の顔を検出します。境界ポリゴン、顔のランドマーク（目、鼻、口）、向きの角度、表情の可能性などが含まれます。 | 顔の数、ロール角、チルト角 |
| 不適切コンテンツ検出 | アダルト コンテンツや暴力的なコンテンツなど、デリケートなコンテンツや不適切なコンテンツが含まれていないか画像を評価します。 | 成人向けコンテンツと暴力的なコンテンツの可能性の評価 |
| PDF の分類 | コンテンツに基づいて、PDF ドキュメントを標準的なビジネスおよび業界のカテゴリに分類します。 | 財務、税金、請求書（カテゴリとスコア） |
ユースケース
オブジェクトの拡充を使用すると、非構造化データの管理を効率化し、次のダウンストリーム分析と AI ワークフロー用にオブジェクトを準備できます。
- 整理されていないオブジェクトを整理してカタログ化する: PDF ドキュメント（請求書、銀行の明細書、税務フォームなど）と画像のコレクションを自動的に分類します。これらの分類を使用すると、カスタムコードを記述することなく、バケット全体で検索可能な Data Catalog を構築できます。
- AI エージェントをグラウンディングして検索を改善する: 整理されていないドキュメント リポジトリを構造化されたナレッジベースに変換します。ドキュメント カテゴリと画像ラベルを使用すると、検索拡張生成（RAG）中の検索を改善し、生成 AI アプリケーションをグラウンディングできます。
- 生成 AI 用のデータのサンプリングと準備: ドキュメント タイプを区別して層化サンプリングを実行してから、コンテンツを大規模言語モデル（LLM）または人間によるレビューにルーティングします。
- 機械学習（ML）トレーニング データセットをキュレートする: 分類法または視覚ラベルで画像とドキュメントをフィルタリングしてセグメント化し、モデルのファインチューニング用のドメイン固有のトレーニング データセットを組み立てます。
- 機密性の高いコンテンツや露骨なコンテンツをスキャンする: アップロードされた画像に不適切な素材が含まれていないか自動的に検査し、コンテンツ管理者と安全ポリシーをサポートします。
- マルチモーダル プロンプトを強化する: Gemini などのマルチモーダル モデルをプロンプトする際に、境界ボックスやドキュメント カテゴリなどの構造化メタデータをコンテキストとして渡します。
- データ アーキテクチャを簡素化する: Cloud Storage でメタデータを直接生成することで、カスタム取り込みパイプラインとコンピューティング インフラストラクチャを排除します。
メタデータのクエリと分析
Cloud Storage は、オブジェクト エンリッチメントをオブジェクト コンテキストとしてオブジェクトに直接アタッチします。規模とワークフローに応じて、次の方法でこのメタデータにアクセスして分析できます。
- 個々のオブジェクトを検査する: Google Cloud コンソールまたは Cloud Storage API を使用して、特定のオブジェクトのエンリッチメントを検査します。手順については、オブジェクト エンリッチメントを管理するをご覧ください。
- SQL を使用して大規模に分析する: Storage Insights データセットを使用して、数百万または数十億のオブジェクトのメタデータを BigQuery に直接エクスポートします。Storage Insights がメタデータをエクスポートしたら、標準 SQL を使用して
object_contexts_catalog_viewビューをクエリできます。たとえば、ラベルを検索したり、カテゴリでフィルタしたり、信頼スコアの高いオブジェクトを検索したりできます。
SQL クエリとサンプル レシピの使用を開始するには、BigQuery でオブジェクト エンリッチメントを分析するをご覧ください。
考慮事項と制限事項
オブジェクト エンリッチメントを構成する前に、次の運用上の考慮事項を確認してください。
処理を行うロケーション
オブジェクト エンリッチメントは、us、eu、asia の 3 つの地理的位置でデータを処理します。処理ロケーションを選択する際は、次の点を考慮してください。
- コンプライアンス: 選択した処理場所が、規制とデータ主権の要件を満たしていることを確認します。
- パフォーマンス: バケットのストレージ リージョンに最も近い処理ロケーションを選択します。
- 費用: 重複課金を回避するには、バケットとモデルごとに 1 つの処理ロケーションのみを構成します。同じバケットとモデルに複数のロケーションを構成すると、Cloud Storage は各ロケーションでオブジェクトを処理し、実行ごとに課金します。
処理とパフォーマンス
コンテンツ タイプ、オブジェクト サイズ、処理タイムラインに関する次の制約を確認してください。
非同期処理: Cloud Storage はオブジェクトを非同期で処理します。
オブジェクト サイズの上限: オブジェクト（画像と PDF の両方）は 20 MiB 以下にする必要があります。
サポートされているコンテンツ タイプ: Cloud Storage は、オブジェクトに設定された
Content-Typeメタデータ フィールドを使用して、評価するかどうかを判断します。オブジェクトのContent-Typeが無効または欠落している場合、基になるデータが有効な画像または PDF であっても、Cloud Storage はオブジェクトを処理しません。Cloud Storage でオブジェクトが処理されるようにするには、Content-Typeメタデータを次のサポートされているタイプのいずれかに更新します。- 画像: BMP、GIF、ICO、JPEG、PNG、TIFF、WEBP。
- ドキュメント: PDF（
application/pdf）。
対応していない機能
オブジェクト エンリッチメントは、次のバケットタイプとオペレーションに対応していません。
- バケットの再配置: オブジェクト エンリッチメントは、バケットの再配置と互換性がありません。バケットを再配置する前に、機能構成からバケットを削除します。
- サポートされていないバケットタイプ: Rapid バケットまたは階層型名前空間が有効になっているバケットでは、オブジェクト エンリッチメントを有効にできません。
構成とスコープの管理
機能構成でターゲット バケットを定義して維持する場合は、次の要件が適用されます。
- バケットのスコープ設定: 機能構成で正確なバケット名を指定します。Cloud Storage は、正規表現やワイルドカード パターンをサポートしていません。
- バケットのライフサイクル: Cloud Storage は、新しく作成、再作成、または再配置されたバケットを既存の構成に自動的に追加しません。これらのバケットを含めるように機能構成を更新する必要があります。
費用とセキュリティ
暗号鍵とデータアクセス料金に関する次の運用上の詳細を確認します。
- 顧客指定の鍵（CSEK）: オブジェクト エンリッチメントは、顧客指定の暗号鍵で暗号化されたオブジェクトをサポートしていません。
- ストレージ アクセスと Autoclass: メタデータを生成するために、オブジェクト エンリッチメントはオブジェクト データを読み取ります。これらの読み取りオペレーションには、標準のデータアクセス料金が発生します。また、バケットで Autoclass が有効になっている場合、これらの読み取りによってストレージ クラスの移行がトリガーされます。
料金
オブジェクト エンリッチメントを使用すると、モデル推論、メタデータ ストレージ、データアクセス オペレーション、ネットワーキングの料金が発生します。詳細については、料金をご覧ください。
監視とトラブルシューティング
メタデータの生成の進行状況を追跡し、オブジェクト エンリッチメントの構成時に問題を解決するには、次のリソースを使用します。
- オペレーションをモニタリングする: Cloud Monitoring で保留中のオブジェクト、モデルの実行数、処理ステータスを追跡するには、オブジェクト エンリッチメント指標をモニタリングするをご覧ください。
- 問題を解決する: エンリッチメントが不足している場合や、権限エラーが発生した場合は、オブジェクト エンリッチメントのトラブルシューティングをご覧ください。