Implémenter la récupération à deux tours pour la génération de candidats à grande échelle

Last reviewed 2026-11-18 UTC

Ce document fournit une architecture de référence qui vous montre comment implémenter un workflow de génération de candidats à deux tours de bout en bout avec Gemini Enterprise Agent Platform. Le framework de modélisation à deux tours est une technique de récupération puissante pour les cas d'utilisation de personnalisation, car il apprend la similarité sémantique entre deux entités différentes, telles que les requêtes Web et les éléments candidats.

Ce document s'adresse aux professionnels techniques tels que les data scientists et les ingénieurs en machine learning qui développent des applications de recommandation à grande échelle avec des exigences de diffusion à faible latence.

Architecture

Le schéma suivant illustre une architecture permettant d'entraîner un modèle à deux tours et de déployer chaque tour séparément pour différentes tâches de déploiement et de diffusion :

Une architecture pour entraîner un modèle à deux tours et déployer chaque tour séparément.

L'architecture du diagramme comprend les composants suivants :

  • Données d'entraînement : les fichiers d'entraînement sont stockés dans Cloud Storage.
  • Entraînement à deux tours : le modèle à deux tours combiné est entraîné hors connexion à l'aide du service d'entraînement géré de Gemini Enterprise Agent Platform. Chaque tour est enregistrée séparément et utilisée pour différentes tâches.
  • Tours de requête et de candidat enregistrées : une fois les tours entraînées, chacune d'elles est importée séparément dans Model Registry sur Gemini Enterprise Agent Platform.
  • Tour de requête déployée : la tour de requête enregistrée est déployée sur un point de terminaison en ligne Agent Platform.
  • Prédiction par lot des embeddings : la tour de candidats enregistrée est utilisée dans un job d'inférence par lot pour précalculer les représentations d'embedding de tous les éléments candidats disponibles.
  • Embeddings JSON : les embeddings prédits sont enregistrés dans un fichier JSON dans Cloud Storage.
  • Index ANN : la recherche vectorielle Agent Platform permet de créer un index de diffusion configuré pour la recherche des plus proches voisins approximatifs (ANN).
  • Index déployé : l'index ANN est déployé sur un point de terminaison d'index Agent Platform Vector Search.

Produits utilisés

Cette architecture de référence utilise les produits Google Cloud suivants :

  • Entraînement géré Gemini Enterprise Agent Platform : service d'entraînement géré qui vous permet d'opérationnaliser l'entraînement de modèles à grande échelle.
  • Vector Search : service de mise en correspondance de similarités vectorielles qui vous permet de stocker, d'indexer et de rechercher des données sémantiquement similaires ou liées.
  • Model Registry sur Gemini Enterprise Agent Platform : répertoire central dans lequel vous pouvez gérer le cycle de vie de vos modèles de ML.
  • Cloud Storage : store d'objets économique et sans limite pour tout type de données. Les données sont accessibles depuis et en dehors de Google Cloud, et sont répliquées sur plusieurs emplacements à des fins de redondance.

Cas d'utilisation

Pour répondre aux exigences de diffusion à faible latence, les systèmes de recommandation à grande échelle sont souvent déployés en production en tant que systèmes à deux étapes ou parfois en tant que systèmes à plusieurs étapes. L'objectif de la première étape, la génération de candidats, est de passer au crible une vaste collection d'éléments candidats et de récupérer un sous-ensemble pertinent de centaines d'éléments pour les tâches de filtrage et de classement en aval. Pour optimiser cette tâche de récupération, tenez compte de ces deux objectifs principaux :

  1. Lors de l'entraînement du modèle, apprenez la meilleure représentation du problème ou de la tâche à résoudre, puis compilez cette représentation dans des embeddings <query, candidate>.
  2. Lors de la mise en service du modèle, récupérez les éléments pertinents suffisamment rapidement pour répondre aux exigences de latence.

Le schéma suivant montre les composants conceptuels d'un système de recommandation en deux étapes :

Composants conceptuels d'un système de recommandation en deux étapes.

Dans le schéma, la génération de candidats filtre des millions d'éléments candidats. Le classement filtre ensuite les centaines d'éléments candidats obtenus pour renvoyer des dizaines d'éléments recommandés.

L'architecture de référence de ce document entraîne un modèle de récupération basé sur deux tours. Dans l'architecture, chaque tour est un réseau de neurones qui traite les caractéristiques de la requête ou de l'élément candidat, puis produit une représentation vectorielle continue de ces caractéristiques. Chaque tour est déployée séparément, car chacune sera utilisée pour différentes tâches en production :

  • Tour de candidats : la tour de candidats permet de précalculer les embeddings de tous les éléments candidats. Les embeddings précalculés sont déployés sur un point de terminaison d'index Vector Search optimisé pour une récupération à faible latence.
  • Tour déployée : lors de la livraison en ligne, la tour de requête déployée convertit les requêtes utilisateur brutes en représentations d'embeddings. Les représentations vectorielles continues sont ensuite utilisées pour rechercher des représentations vectorielles continues d'éléments similaires dans l'index déployé.

Les architectures à deux tours sont idéales pour de nombreuses tâches de récupération, car elles capturent la relation sémantique des entités de requête et de candidat, et les mappent à un espace d'embedding partagé. Lorsque les entités sont mappées à un espace d'embedding partagé, les entités sémantiquement similaires sont regroupées plus près les unes des autres. Par conséquent, si vous calculez les embeddings vectoriels d'une requête donnée, vous pouvez rechercher les éléments candidats les plus proches (les plus semblables) dans l'espace d'embedding. Le principal avantage d'une telle architecture est la possibilité de dissocier l'inférence des représentations de requêtes et de candidats. Les avantages de ce découplage sont principalement de deux ordres :

  • Vous pouvez diffuser de nouveaux éléments sans réentraîner un vocabulaire de nouveaux éléments. En transmettant n'importe quel ensemble de caractéristiques d'élément à la tour d'éléments candidats, vous pouvez calculer les embeddings d'éléments pour n'importe quel ensemble de candidats, même ceux qui ne sont pas vus pendant l'entraînement. Ce calcul permet de résoudre le problème de démarrage à froid.
    • La tour de candidats peut accepter un ensemble arbitraire d'éléments candidats, y compris des éléments qui n'ont pas encore interagi avec le système de recommandation. Cette compatibilité est possible, car les architectures à deux tours traitent les fonctionnalités de contenu enrichi et de métadonnées pour chaque paire <query, candidate>. Ce type de traitement permet au système de décrire un élément inconnu en fonction d'éléments qu'il connaît.
  • Vous pouvez optimiser l'inférence de récupération en précalculant tous les embeddings d'éléments candidats. Ces embeddings précalculés peuvent être indexés et déployés sur une infrastructure de diffusion optimisée pour une récupération à faible latence.
    • Le co-apprentissage des tours vous permet de décrire des éléments en termes de requêtes et inversement. Si vous disposez d'une moitié de paire, comme une requête, et que vous devez rechercher l'autre élément correspondant, vous pouvez précalculer la moitié de l'équation à l'avance. Le précalcul vous permet de prendre le reste de la décision le plus rapidement possible.

Considérations de conception

Cette section décrit les facteurs de conception, les bonnes pratiques et les recommandations conformément au Google Cloud Well-Architected Framework. Tenez compte de ces informations lorsque vous utilisez cette architecture de référence pour développer une topologie répondant à vos exigences spécifiques en termes de sécurité, de fiabilité, d'optimisation des coûts, d'efficacité opérationnelle et de performances.

Sécurité, confidentialité et conformité

Agent Platform Vector Search est compatible avec les points de terminaison publics, l'appairage de réseaux de cloud privé virtuel (VPC) et Private Service Connect pour les déploiements de points de terminaison d'index. Envisagez les options de sécurité réseau suivantes pour votre charge de travail :

  • Connectivité privée avec Private Service Connect : pour la plupart des déploiements privés, configurez Private Service Connect sur votre point de terminaison d'index Vector Search. Private Service Connect permet aux clients de plusieurs réseaux VPC et projets d'interroger l'index via des adresses IP internes que vous définissez, sans nécessiter de réservations de plages d'adresses IP d'appairage de VPC dédiées.
  • Appairage de réseaux VPC : si vous utilisez l'appairage de réseaux VPC, seules les requêtes en ligne de correspondances vectorielles nécessitent une connexion d'appairage à partir du même réseau VPC. Par exemple, si vous envoyez des requêtes en ligne depuis une instance Gemini Enterprise Agent Platform Workbench vers un point de terminaison d'index appairé, créez l'instance dans le même réseau VPC. Les appels d'API du plan de contrôle qui créent, déploient ou suppriment un index ne nécessitent pas de connexion d'appairage de réseaux VPC.
  • Protection contre l'exfiltration de données : pour empêcher tout déplacement non autorisé de données entre vos ressources d'entraînement, de stockage et de diffusion, placez Agent Platform et Cloud Storage dans un périmètre de service VPC Service Controls.

Fiabilité

Pour garantir une haute disponibilité de la génération de candidats en ligne, configurez la redondance sur vos points de terminaison d'index Vector Search et vos points de terminaison de modèle en ligne :

  • Configuration de l'instance répliquée d'index : lorsque vous déployez un index sur un point de terminaison Vector Search, définissez le champ minReplicaCount sur au moins 2 instances répliquées par segment. Une ressource DeployedIndex nécessite au moins deux instances répliquées par segment pour être couverte par le contrat de niveau de service (SLA) d'Agent Platform.
  • Seuils d'autoscaling : surveillez l'utilisation du processeur et de la mémoire sur vos segments d'index déployés, puis configurez le champ maxReplicaCount afin que Vector Search puisse ajouter des instances répliquées lorsque l'utilisation du processeur ou de la mémoire dépasse systématiquement 60 %.

Optimisation des coûts

Pour gérer les coûts d'infrastructure de l'entraînement hors connexion et de la diffusion de vecteurs en ligne, dimensionnez correctement vos segments d'index et vos ressources de calcul :

  • Dimensionnement des segments d'index et des machines : lorsque vous créez et déployez un index Vector Search, sélectionnez la plus petite taille de segment (par exemple, la valeur SHARD_SIZE_SMALL pour un maximum de 2 Gio ou la valeur SHARD_SIZE_MEDIUM pour un maximum de 20 Gio) et le type de machine compatible qui correspondent à votre corpus d'embeddings candidats. Le dimensionnement approprié des segments permet d'éviter le surprovisionnement des VM de point de terminaison d'index toujours actives.

Efficacité opérationnelle

Pour simplifier la maintenance continue des embeddings candidats, des pipelines de caractéristiques et des mises à jour d'index, tenez compte des fonctionnalités suivantes :

  • Mises à jour d'index en streaming : l'architecture de ce document utilise des recompilations d'index par lot pour les mises à jour périodiques du catalogue de candidats. Si votre application nécessite que les éléments candidats nouveaux ou mis à jour apparaissent dans les recommandations en quelques secondes, configurez un index de flux Vector Search au lieu de recréer l'index complet par lots.
  • Recherche hybride : si vos requêtes incluent des codes SKU de produits, des identifiants ou des mots clés hors domaine exacts, ainsi que des embeddings sémantiques, utilisez la recherche hybride dans Vector Search pour combiner des embeddings denses à deux tours et des embeddings de jetons clairsemés dans un seul index avec Reciprocal Rank Fusion (RRF).
  • Livraison de caractéristiques en ligne : si votre tour de requête déployée nécessite des caractéristiques de contexte ou de comportement utilisateur en temps réel lors de l'inférence en ligne, utilisez Agent Platform Feature Store avec la livraison en ligne Bigtable pour récupérer des caractéristiques à faible latence à partir de tables BigQuery.
  • Orchestration automatisée des workflows : pour automatiser les étapes récurrentes de préparation des données, d'entraînement à deux tours, d'inférence par lot et de déploiement d'index, orchestrez votre workflow avec Gemini Enterprise Agent Platform Pipelines.

Optimisation des performances

Cette section décrit les facteurs à prendre en compte lorsque vous utilisez cette architecture de référence pour concevoir dans Google Cloud une topologie qui répond aux exigences de performances de vos charges de travail.

Profiler les jobs d'entraînement

Pour optimiser les pipelines d'entrée de données et le graphe d'entraînement global, profilez les performances d'entraînement avec le plug-in cloud_profiler du SDK Agent Platform et Vertex AI TensorBoard, qui fournit une version gérée de l'outil Open Source TensorBoard Profiler.

Lorsque vous initialisez le module cloud_profiler dans votre script d'entraînement personnalisé et que vous configurez le rappel tf.keras.callbacks.TensorBoard, le job d'entraînement profile un nombre défini de lots pour chaque epoch. Le profil capture les traces du processeur hôte et du GPU de l'appareil ou du matériel Cloud TPU. Les traces fournissent des informations sur la consommation de ressources du job d'entraînement. Pour éviter les erreurs de mémoire insuffisante, commencez par une durée de profil comprise entre 2 et 10 étapes d'entraînement, puis augmentez la durée si nécessaire.

Pour savoir comment profiler des jobs d'entraînement personnalisé avec l'entraînement géré Agent Platform et Vertex AI TensorBoard, consultez Profiler les performances d'entraînement des modèles. Pour connaître les bonnes pratiques de débogage, consultez Optimiser les performances des GPU. Pour en savoir plus sur l'optimisation des performances, consultez Optimiser les performances de TensorFlow à l'aide de Profiler.

Utiliser pleinement les accélérateurs

Lorsque vous associez des accélérateurs d'entraînement tels que des GPU NVIDIA ou des Cloud TPU, il est important de les utiliser pleinement. L'utilisation complète des accélérateurs d'entraînement est une bonne pratique pour la gestion des coûts, car les accélérateurs sont le composant le plus coûteux de l'architecture. L'utilisation complète des accélérateurs d'entraînement est également une bonne pratique pour l'efficacité des jobs, car l'absence de temps d'inactivité entraîne une consommation globale de ressources moindre.

Pour utiliser pleinement un accélérateur, vous devez généralement effectuer quelques itérations pour identifier le goulot d'étranglement, l'optimiser, puis répéter ces étapes jusqu'à ce que l'utilisation de l'accélérateur soit acceptable. Étant donné que de nombreux ensembles de données pour ce cas d'utilisation sont trop volumineux pour tenir en mémoire, des goulots d'étranglement se trouvent généralement entre le stockage, les VM hôtes et l'accélérateur.

Le schéma suivant illustre les étapes conceptuelles d'un pipeline d'entrée d'entraînement de ML :

Étapes conceptuelles d'un pipeline d'entrée d'entraînement de ML.

Dans le diagramme, les données sont lues à partir de l'espace de stockage et prétraitées. Une fois les données prétraitées, elles sont envoyées à l'appareil. Pour optimiser les performances, commencez par déterminer si les performances globales sont limitées par le processeur hôte ou par l'accélérateur (GPU ou TPU). L'appareil est chargé d'accélérer la boucle d'entraînement, tandis que l'hôte est chargé de fournir les données d'entraînement à l'appareil et de recevoir les résultats de l'appareil. Les sections suivantes expliquent comment résoudre les goulots d'étranglement en améliorant les performances du pipeline d'entrée et de l'appareil.

Améliorer les performances du pipeline d'entrée

Pour réduire les goulots d'étranglement du pipeline d'entrée de l'hôte, utilisez les techniques suivantes :

  • Lire des données à partir de l'espace de stockage : pour améliorer les lectures de données, utilisez la mise en cache, la prefetching, les modèles d'accès séquentiel et les E/S parallèles.
  • Prétraiter les données : pour améliorer le prétraitement des données, configurez le traitement parallèle pour l'extraction et la transformation des données, et ajustez la transformation interleave dans le pipeline d'entrée de données.
  • Envoyer des données à l'appareil : pour réduire la durée globale du job, transférez les données de l'hôte vers plusieurs appareils en parallèle.
Améliorer les performances de l'appareil

Pour améliorer l'utilisation des accélérateurs à chaque étape d'entraînement, utilisez les techniques suivantes :

  • Augmentez la taille des mini-lots : les mini-lots correspondent au nombre d'exemples d'entraînement utilisés par chaque appareil dans une itération d'une boucle d'entraînement. Lorsque vous augmentez la taille du mini-lot, vous augmentez le parallélisme entre les opérations et améliorez la réutilisation des données. Toutefois, le mini-lot doit pouvoir tenir en mémoire avec le reste du programme d'entraînement. Si vous augmentez trop la taille des mini-lots, vous risquez de rencontrer des erreurs de mémoire saturée et une divergence du modèle.
  • Vectoriser les fonctions définies par l'utilisateur : en règle générale, les transformations de données peuvent être exprimées sous la forme d'une fonction définie par l'utilisateur qui décrit comment transformer chaque élément d'un ensemble de données d'entrée. Pour vectoriser cette fonction, vous appliquez l'opération de transformation sur un lot d'entrées à la fois, au lieu de transformer un élément à la fois. Toute fonction définie par l'utilisateur entraîne des frais généraux liés à la planification et à l'exécution. Lorsque vous transformez un lot d'entrées, vous n'encourez qu'une seule fois les frais généraux par lot, au lieu d'une fois par élément de l'ensemble de données.
Effectuer un scaling à la hausse avant d'effectuer un scaling horizontal

Lorsque vous configurez les ressources de calcul pour vos jobs d'entraînement, effectuez un scaling vertical avant d'effectuer un scaling horizontal. Choisissez un appareil plus grand et plus puissant avant d'utiliser plusieurs appareils moins puissants. Procédez au scaling de vos ressources d'entraînement dans l'ordre suivant :

  1. Un seul nœud de calcul + un seul appareil
  2. Nœud de calcul unique + appareil plus puissant
  3. Un seul employé + plusieurs appareils
  4. Entraînement distribué

Pour évaluer les avantages de la recherche ANN, vous pouvez mesurer la latence et le rappel d'une requête donnée. Pour faciliter le réglage de l'index, Agent Platform Vector Search permet de créer un index par force brute. Les index par force brute effectuent une recherche exhaustive, au détriment d'une latence plus élevée, pour trouver les vrais voisins les plus proches d'un vecteur de requête donné. L'utilisation d'index de force brute n'est pas destinée à la production, mais elle fournit une bonne référence lorsque vous calculez le rappel lors du réglage de l'index.

Pour évaluer le rappel par rapport à la latence, vous déployez les embeddings de candidats précalculés sur un index configuré pour la recherche ANN et sur un autre index configuré pour la recherche par force brute. L'index par force brute renvoie les voisins les plus proches absolus, mais il prend généralement plus de temps qu'une recherche ANN. Vous pouvez être prêt à sacrifier un peu de rappel de récupération pour gagner en latence de récupération, mais ce compromis doit être évalué. Voici d'autres caractéristiques ayant un impact sur le rappel et la latence :

  • Paramètres de modélisation : de nombreuses décisions de modélisation ont un impact sur l'espace d'embedding, qui devient l'index de diffusion. Comparez les candidats récupérés pour les index créés à partir de modèles de récupération superficielle et profonde.
  • Dimensions : les dimensions sont un autre aspect qui est déterminé par le modèle. Les dimensions de l'index ANN doivent correspondre à celles des vecteurs de la tour de requête et de la tour de candidats.
  • Tags de regroupement et de filtrage : les tags peuvent fournir des fonctionnalités puissantes pour adapter les résultats à différents cas d'utilisation en production. Il est recommandé de comprendre comment les tags influencent les candidats récupérés et ont un impact sur les performances.
  • Nombre de RNA : lorsque vous augmentez cette valeur, vous augmentez le rappel, ce qui peut augmenter proportionnellement la latence.
  • Pourcentage de nœuds feuilles à rechercher : le pourcentage de nœuds feuilles à rechercher est l'option la plus importante lorsque vous évaluez le compromis entre le rappel et la latence. Lorsque vous augmentez cette valeur, vous augmentez le rappel, ce qui peut entraîner une augmentation proportionnelle de la latence.

Étapes suivantes

Pour découvrir d'autres architectures de référence, schémas et bonnes pratiques, consultez le Centre d'architecture cloud.

Contributeurs

Auteurs :

Autre contributeur : Kaz Sato | Staff Developer Advocate