大規模な候補生成のための 2 つのタワーの検索を実装する

Last reviewed 2026-11-18 UTC

このドキュメントでは、Gemini Enterprise Agent Platform を使用してエンドツーエンドの 2 タワー候補生成ワークフローを実装する方法を示すリファレンス アーキテクチャについて説明します。Two-Tower モデリング フレームワークは、ウェブ検索と候補アイテムなど、2 つの異なるエンティティ間のセマンティック類似性を学習するため、パーソナライズのユースケースに有効な検索手法です。

このドキュメントは、低レイテンシのサービング要件を持つ大規模なレコメンデーション アプリケーションを開発しているデータ サイエンティストや ML エンジニアなどの技術者を対象としています。

アーキテクチャ

次の図は、Two-Tower モデルをトレーニングし、異なるデプロイタスクとサービング タスクに各タワーを個別にデプロイするアーキテクチャを示しています。

Two-Tower モデルをトレーニングし、各タワーを個別にデプロイするアーキテクチャ。

この図のアーキテクチャには、次のコンポーネントが含まれています。

  • トレーニング データ: トレーニング ファイルは Cloud Storage に保存されます。
  • Two-Tower トレーニング: 結合された Two-Tower モデルは、Gemini Enterprise Agent Platform マネージド トレーニング サービスを使用してオフラインでトレーニングされます。各タワーは個別に保存され、異なるタスクに使用されます。
  • 登録済みのクエリタワーと候補タワー: タワーのトレーニングが完了すると、各タワーは Gemini Enterprise Agent Platform の Model Registry に個別にアップロードされます。
  • デプロイされたクエリタワー: 登録されたクエリタワーが Agent Platform のオンライン エンドポイントにデプロイされます。
  • エンベディングのバッチ予測: 登録された候補タワーは、バッチ推論ジョブで使用され、利用可能なすべての候補アイテムのエンベディング表現を事前に計算します。
  • エンベディング JSON: 予測されたエンベディングは、Cloud Storage の JSON ファイルに保存されます。
  • ANN インデックス: Agent Platform ベクトル検索を使用して、近似最近傍(ANN)検索用に構成されたサービング インデックスを作成します。
  • デプロイされたインデックス: ANN インデックスは、Agent Platform ベクトル検索インデックス エンドポイントにデプロイされます。

使用するプロダクト

このリファレンス アーキテクチャでは、次の Google Cloud プロダクトを使用します。

  • Gemini Enterprise Agent Platform マネージド トレーニング: 大規模なモデル トレーニングの運用を可能にするマネージド トレーニング サービス。
  • ベクトル検索: 意味的に類似または関連するデータを保存、インデックス化、検索できるベクトル類似度マッチング サービス。
  • Gemini Enterprise Agent Platform の Model Registry: ML モデルのライフサイクルを管理できる中央リポジトリ。
  • Cloud Storage: 低コストで無制限のオブジェクト ストア。さまざまなデータ型に対応しています。データには Google Cloudの内部および外部からアクセスでき、冗長性を確保するために複数のロケーションに複製されます。

ユースケース

低レイテンシでのサービング要件を満たすために、大規模なレコメンダーは多くの場合、2 段階システムとして、または多段階システムとして本番環境に導入されています。最初の段階である候補生成の目標は、候補アイテムの膨大なコレクションをふるいにかけ、後工程のフィルタリングおよびランキング タスクのために関連性の高いアイテムのサブセット(数百個程度)を抽出することです。このリトリーブ タスクを最適化するため、次の 2 つの基本的な目標を検討します。

  1. モデルのトレーニング中に、解決する問題またはタスクの最適な表現を学習し、この表現を <query, candidate> エンベディングにコンパイルします。
  2. モデル提供中に、レイテンシ要件を満たす速さで関連性の高いアイテムを抽出する。

次の図は、2 段階のレコメンダーの概念コンポーネントを示しています。

2 段階レコメンダーのコンセプト コンポーネント。

この図では、候補の生成によって、数百万の候補アイテムがフィルタされます。次に、ランキングで、結果として得られた数百個の候補アイテムをフィルタリングして、数十個のおすすめアイテムを返します。

このドキュメントのリファレンス アーキテクチャでは、2 タワーベースの検索モデルをトレーニングします。このアーキテクチャでは、それぞれのタワーがニューラル ネットワークであり、クエリまたは候補アイテムの特徴量を処理してそれらのエンベディング表現を生成します。各タワーは本番環境で異なるタスクに使用されるため、別々にデプロイされます。

  • 候補タワー: 候補タワーは、すべての候補アイテムのエンベディングを事前計算するために使用されます。事前計算されたエンベディングは、低レイテンシの取得用に最適化されたベクトル検索インデックス エンドポイントにデプロイされます。
  • デプロイされたタワー: オンライン サービング中に、デプロイされたクエリタワーは、未加工のユーザークエリをエンベディング表現に変換します。エンベディング表現は、デプロイされたインデックスで類似アイテムのエンベディングを検索するために使用されます。

Two-Tower アーキテクチャは、クエリと候補の各エンティティのセマンティック関係を取得して、共通のエンベディング空間にそれらをマッピングできるため、多くのリトリーブ タスクに最適です。エンティティが共有エンベディング空間にマッピングされると、意味的に類似したエンティティがクラスタ化されます。したがって、あるクエリのベクトル エンベディングを計算する場合に、エンベディング空間内で最も近い(最も類似した)候補アイテムを検索できます。このようなアーキテクチャの主な利点は、クエリと候補の表現の推論を分離できることです。この分離には、主に次の 2 つのメリットがあります。

  • 新しいアイテムのボキャブラリを再トレーニングすることなく、新しい(新しい)アイテムを提供できます。任意のアイテム特徴セットを候補アイテムタワーにフィードすることで、任意の候補セット(トレーニング中に表示されない候補セットを含む)のアイテム エンベディングを計算できます。この計算を行うことで、コールド スタートの問題に対処できます。
    • 候補タワーは、レコメンデーション システムとまだやり取りしていないアイテムなど、任意の候補アイテムのセットをサポートできます。このサポートは、2 タワー アーキテクチャが各 <query, candidate> ペアに関するリッチ コンテンツとメタデータの特徴を処理するため、可能になります。この種の処理により、システムは既知のアイテムの観点から未知のアイテムを記述できます。
  • すべての候補アイテムのエンベディングを事前に計算することで、検索推論を最適化できます。これらの事前計算されたエンベディングは、低レイテンシの取得用に最適化されたサービング インフラストラクチャにインデックス化してデプロイできます。
    • タワーの共同学習により、クエリの観点からアイテムを記述できます。クエリなど、ペアの半分があり、対応するもう一方のアイテムを探す必要がある場合は、方程式の半分を事前に計算できます。事前計算により、残りの決定をできるだけ迅速に行うことができます。

設計上の考慮事項

このセクションでは、Google Cloud Well-Architected Framework に沿った設計要素、ベスト プラクティス、推奨事項について説明します。このリファレンス アーキテクチャを使用して、セキュリティ、信頼性、費用最適化、運用効率、パフォーマンスに関する特定の要件を満たすトポロジを開発する際は、この情報を考慮してください。

セキュリティ、プライバシー、コンプライアンス

Agent Platform ベクトル検索は、インデックス エンドポイントのデプロイにパブリック エンドポイント、Virtual Private Cloud(VPC)ネットワーク ピアリング、Private Service Connect をサポートしています。ワークロードには、次のネットワーク セキュリティ オプションを検討してください。

  • Private Service Connect を使用したプライベート接続: ほとんどのプライベート デプロイでは、ベクトル検索インデックス エンドポイントで Private Service Connect を構成します。Private Service Connect を使用すると、複数の VPC ネットワークとプロジェクトのクライアントが、専用の VPC ピアリング IP 範囲の予約を必要とせずに、定義した内部 IP アドレスを介してインデックスをクエリできます。
  • VPC ネットワーク ピアリング: VPC ネットワーク ピアリングを使用する場合、オンライン ベクトル マッチング クエリのみが同じ VPC ネットワークからのピアリング接続を必要とします。たとえば、Gemini Enterprise Agent Platform Workbench インスタンスからピアリングされたインデックス エンドポイントにオンライン クエリを送信する場合は、同じ VPC ネットワークにインスタンスを作成します。インデックスを作成、デプロイ、削除するコントロール プレーン API 呼び出しでは、VPC ネットワーク ピアリング接続は必要ありません。
  • データの引き出し防止: トレーニング、ストレージ、サービング リソース間でデータが不正に移動されないようにするには、Agent Platform と Cloud Storage を VPC Service Controls サービス境界内に配置します。

信頼性

オンライン候補生成の高可用性を確保するには、ベクトル検索インデックス エンドポイントとオンライン モデル エンドポイント間で冗長性を構成します。

  • インデックス レプリカの構成: ベクトル検索エンドポイントにインデックスをデプロイする場合は、minReplicaCount フィールドをシャードあたり 2 レプリカ以上に設定します。DeployedIndex リソースは、Agent Platform サービスレベル契約(SLA)の対象となるために、シャードあたり 2 つ以上のレプリカが必要です。
  • 自動スケーリングのしきい値: デプロイされたインデックス シャードの CPU とメモリ使用率をモニタリングし、CPU またはメモリ使用率が 60% を超えた場合にベクトル検索がレプリカを追加できるように maxReplicaCount フィールドを構成します。

費用の最適化

オフライン トレーニングとオンライン ベクトル サービングでインフラストラクチャの費用を管理するには、インデックス シャードとコンピューティング リソースのサイズを適正化します。

  • インデックス シャードとマシンのサイズ設定: ベクトル検索インデックスを作成してデプロイするときに、候補エンベディング コーパスに適合する最小のシャードサイズ(最大 2 GiB の SHARD_SIZE_SMALL 値、最大 20 GiB の SHARD_SIZE_MEDIUM 値など)と互換性のあるマシンタイプを選択します。シャードのサイズを適正化すると、常時稼働のインデックス エンドポイント VM のオーバープロビジョニングを回避できます。

運用効率

候補エンベディング、特徴パイプライン、インデックス更新の継続的なメンテナンスを簡素化するには、次の機能を検討してください。

  • ストリーミング インデックスの更新: このドキュメントのアーキテクチャでは、定期的な候補カタログの更新にバッチ インデックスの再構築を使用します。新しい候補アイテムや更新された候補アイテムを数秒以内にレコメンデーションに表示する必要がある場合は、インデックス全体をバッチで再構築するのではなく、ベクトル検索ストリーミング インデックスを構成します。
  • ハイブリッド検索: クエリに、セマンティック エンベディングとともに、正確な商品 SKU、識別子、ドメイン外のキーワードが含まれている場合は、ベクトル検索のハイブリッド検索を使用して、Reciprocal Rank Fusion(RRF)により、密な 2 タワー エンベディングとスパース トークン エンベディングを 1 つのインデックスに結合します。
  • 特徴のサービング: デプロイされたクエリタワーがオンライン推論中にリアルタイムのユーザー コンテキストまたは行動特徴を必要とする場合は、Bigtable オンライン サービングで Agent Platform Feature Store を使用して、BigQuery テーブルから低レイテンシの特徴を取得します。
  • 自動ワークフロー オーケストレーション: 繰り返されるデータ準備、2 タワー トレーニング、バッチ推論、インデックス デプロイのステップを自動化するには、Gemini Enterprise Agent Platform Pipelines を使用してワークフローをオーケストレートします。

パフォーマンスの最適化

このセクションでは、このリファレンス アーキテクチャを使用して、ワークロードのパフォーマンス要件を満たす Google Cloud のトポロジを設計する際に考慮すべき要素について説明します。

トレーニング ジョブをプロファイリングする

データ入力パイプラインとトレーニング グラフ全体を最適化するには、Agent Platform SDK の cloud_profiler プラグインと Vertex AI TensorBoard を使用してトレーニング パフォーマンスをプロファイリングします。Vertex AI TensorBoard は、オープンソースの TensorBoard Profiler のマネージド バージョンを提供します。

カスタム トレーニング スクリプトで cloud_profiler モジュールを初期化し、tf.keras.callbacks.TensorBoard コールバックを構成すると、トレーニング ジョブはエポックごとに設定された数のバッチをプロファイリングします。プロファイルは、ホスト CPU とデバイス GPU または Cloud TPU ハードウェアからトレースをキャプチャします。トレースには、トレーニング ジョブのリソース消費に関する情報が表示されます。メモリ不足エラーを回避するには、プロファイルの期間を 2 ~ 10 のトレーニング ステップから開始し、必要に応じて期間を長くします。

Agent Platform マネージド トレーニングと Vertex AI TensorBoard を使用してカスタム トレーニング ジョブをプロファイリングする方法については、モデルのトレーニング パフォーマンスをプロファイリングするをご覧ください。デバッグのベスト プラクティスについては、GPU パフォーマンスを最適化するをご覧ください。パフォーマンスを最適化する方法については、Profiler を使用して TensorFlow のパフォーマンスを最適化するをご覧ください。

アクセラレータを最大限に活用する

NVIDIA GPU や Cloud TPU などのトレーニング アクセラレータをアタッチする場合は、それらを最大限に活用することが重要です。アクセラレータはアーキテクチャで最も高価なコンポーネントであるため、トレーニング アクセラレータを最大限に活用することは、費用管理のベスト プラクティスです。トレーニング アクセラレータをフルに活用することも、ジョブの効率を高めるためのベスト プラクティスです。アイドル時間がないため、全体的なリソース消費量が少なくなります。

アクセラレータを最大限に活用するには、通常、ボトルネックを特定して最適化する作業を数回繰り返し、アクセラレータ デバイスの使用率が許容範囲になるまでこの手順を繰り返します。このユースケースのデータセットの多くはメモリに収まらないほど大きいため、通常、ストレージ、ホスト VM、アクセラレータの間でボトルネックが発生します。

次の図は、ML トレーニング入力パイプラインの概念的なステージを示しています。

ML トレーニング入力パイプラインの概念的なステージ。

この図では、データがストレージから読み取られ、前処理されます。データは前処理された後、デバイスに送信されます。パフォーマンスを最適化するには、まず、全体的なパフォーマンスがホスト CPU またはアクセラレータ デバイス(GPU または TPU)によって制限されているかどうかを判断します。デバイスはトレーニング ループの高速化を担当し、ホストはデバイスへのトレーニング データの供給とデバイスからの結果の受信を担当します。以降のセクションでは、入力パイプラインのパフォーマンスとデバイスのパフォーマンスを改善してボトルネックを解決する方法について説明します。

入力パイプラインのパフォーマンスを改善する

ホスト入力パイプラインのボトルネックを軽減するには、次の手法を使用します。

  • ストレージからデータを読み取る: データの読み取りを改善するには、キャッシュ、prefetching、シーケンシャル アクセス パターン、並列 I/O を使用します。
  • データの前処理: データの前処理を改善するには、並列処理を構成してデータ抽出と変換を行い、データ入力パイプラインで interleave 変換をチューニングします。
  • デバイスにデータを送信する: ジョブ全体の時間を短縮するには、ホストから複数のデバイスにデータを並列で転送します。
デバイスのパフォーマンスを改善する

各トレーニング ステップでアクセラレータの使用率を改善するには、次の手法を使用します。

  • ミニバッチ サイズを増やす: ミニバッチは、トレーニング ループの 1 回のイテレーションで各デバイスが使用するトレーニング サンプルの数です。ミニバッチ サイズを増やすと、オペレーション間の並列処理が増加し、データの再利用が改善されます。ただし、ミニバッチは、トレーニング プログラムの残りの部分とともにメモリに収まる必要があります。ミニバッチ サイズを大きくしすぎると、メモリ不足エラーやモデルの相違が発生する可能性があります。
  • ユーザー定義関数をベクトル化する: 通常、データ変換は、入力データセットの各要素を変換する方法を記述するユーザー定義関数として表現できます。この関数をベクトル化するには、一度に 1 つの要素を変換するのではなく、入力のバッチに対して変換オペレーションを一度に適用します。ユーザー定義関数には、スケジューリングと実行に関連するオーバーヘッドがあります。入力のバッチを変換すると、データセット要素ごとに 1 回ではなく、バッチごとに 1 回のオーバーヘッドが発生します。
スケールアウトの前にスケールアップする

トレーニング ジョブのコンピューティング リソースを構成する場合は、スケールアウトする前にスケールアップします。複数の低性能デバイスを使用する前に、より大きく、より高性能なデバイスを選択してください。トレーニング リソースを次の順序でスケーリングします。

  1. 1 人の従業員 + 1 台のデバイス
  2. 単一のワーカー + より強力なデバイス
  3. 単一ワーカー + 複数デバイス
  4. 分散トレーニング

ANN 検索のメリットを評価するには、特定のクエリのレイテンシと再現率を測定します。インデックスのチューニングを容易にするため、Agent Platform ベクトル検索にはブルート フォース インデックスを作成する機能が用意されています。ブルート フォース インデックスは、レイテンシが高くなる代わりに、網羅的な検索を実行して、特定のクエリベクトルの真の最近傍を見つけます。ブルート フォース インデックスの使用は本番環境での使用を目的としていませんが、インデックスのチューニング中に再現率を計算する際に適切なベースラインを提供します。

レイテンシに対する再現率を評価するには、事前に計算された候補エンベディングを、ANN 検索用に構成されたインデックスと、ブルート フォース検索用に構成されたインデックスにデプロイします。ブルート フォース インデックスは絶対最近傍を返しますが、通常は ANN 検索よりも時間がかかります。取得レイテンシを改善するために、取得の再現率を犠牲にすることもできますが、このトレードオフを評価する必要があります。再現率とレイテンシに影響するその他の特性は次のとおりです。

  • モデリング パラメータ: 多くのモデリングの決定がエンベディング空間に影響し、最終的にサービング インデックスになります。浅いリトリーブ モデルとディープ リトリーブ モデルの両方から構築されたインデックスに対して取得された候補を比較します。
  • ディメンション: ディメンションは、最終的にモデルによって決定されるもう 1 つの要素です。ANN インデックスのディメンションは、クエリタワーと候補タワーのベクトルのディメンションと一致している必要があります。
  • クラウディング タグとフィルタリング タグ: タグを使用すると、さまざまな本番環境のユースケースに合わせて結果を調整できます。タグが取得された候補にどのように影響し、パフォーマンスにどのように影響するかを理解することをおすすめします。
  • ANN 数: この値を大きくすると再現率が向上し、それに比例してレイテンシも増加する可能性があります。
  • 検索するリーフノードの割合: 検索するリーフノードの割合は、再現率とレイテンシのトレードオフを評価する際に最も重要なオプションです。この値を大きくすると再現率が向上し、それに比例してレイテンシも増加する可能性があります。

次のステップ

Cloud アーキテクチャ センターで、リファレンス アーキテクチャ、図、ベスト プラクティスを確認する。

寄稿者

著者:

その他の寄稿者: 佐藤一憲 | スタッフ デベロッパー アドボケイト