In diesem Dokument wird eine Referenzarchitektur vorgestellt, mit der Sie einen End-to-End-Workflow für die Kandidatengenerierung mit zwei Türmen mit der Gemini Enterprise Agent Platform implementieren können. Das Two-Tower-Modellierungsframework ist eine leistungsstarke Abruftechnik für Personalisierungsanwendungsfälle, da es die semantische Ähnlichkeit zwischen zwei verschiedenen Entitäten wie Webabfragen und Kandidatenelementen lernt.
Dieses Dokument richtet sich an technische Fachkräfte wie Data Scientists und Machine-Learning-Entwickler, die umfangreiche Empfehlungsanwendungen mit Anforderungen an die Bereitstellung mit niedriger Latenz entwickeln.
Architektur
Das folgende Diagramm zeigt eine Architektur zum Trainieren eines Two-Tower-Modells und zum separaten Bereitstellen der einzelnen Tower für verschiedene Bereitstellungs- und Bereitstellungsaufgaben:
Die im Diagramm dargestellte Architektur umfasst folgende Komponenten:
- Trainingsdaten: Trainingsdateien werden in Cloud Storage gespeichert.
- Two-Tower-Training: Das kombinierte Two-Tower-Modell wird offline mit dem verwalteten Trainingsdienst der Gemini Enterprise Agent Platform trainiert. Jeder Tower wird separat gespeichert und für verschiedene Aufgaben verwendet.
- Registrierte Abfrage- und Kandidaten-Tower: Nach dem Training werden die Tower separat in die Model Registry auf der Gemini Enterprise Agent Platform hochgeladen.
- Bereitgestellter Abfrageturm: Der registrierte Abfrageturm wird auf einem Online-Endpunkt der Agent Platform bereitgestellt.
- Batch-Vorhersage von Einbettungen: Der registrierte Kandidaten-Tower wird in einem Batch-Inferenzjob verwendet, um die Einbettungsdarstellungen aller verfügbaren Kandidatenelemente vorab zu berechnen.
- Einbettungen-JSON: Die vorhergesagten Einbettungen werden in einer JSON-Datei in Cloud Storage gespeichert.
- ANN-Index: Mit der Vektorsuche der Agent Platform wird ein Bereitstellungsindex erstellt, der für die Suche nach ungefähren nächsten Nachbarn (ANN) konfiguriert ist.
- Bereitgestellter Index: Der ANN-Index wird auf einem Vektorsuchindex-Endpunkt der Agent Platform bereitgestellt.
Verwendete Produkte
In dieser Referenzarchitektur werden die folgenden Google Cloud -Produkte verwendet:
- Gemini Enterprise Agent Platform Managed Training: Ein verwalteter Trainingsdienst, mit dem Sie umfangreiches Modelltraining operationalisieren können.
- Vektorsuche: Ein Dienst für Vektorübereinstimmungen, mit dem Sie semantisch ähnliche oder verwandte Daten speichern, indexieren und suchen können.
- Model Registry auf der Gemini Enterprise Agent Platform: Ein zentrales Repository, in dem Sie den Lebenszyklus Ihrer ML-Modelle verwalten können.
- Cloud Storage: Ein kostengünstiger, unbegrenzter Objektspeicher für verschiedene Datentypen. Auf Daten kann von innerhalb und außerhalb von Google Cloudzugegriffen werden. Sie werden zu Redundanzzwecken über Standorte hinweg repliziert.
Anwendungsfall
Um die Anforderungen an die Bereitstellung mit niedriger Latenz zu erfüllen, werden umfangreiche Empfehlungssysteme häufig als zweistufige Systeme oder manchmal als mehrstufige Systeme in der Produktion bereitgestellt. Das Ziel der ersten Phase, der Kandidatengenerierung, besteht darin, eine große Sammlung von Kandidatenelementen zu durchsuchen und eine relevante Teilmenge von Hunderten von Elementen für nachgelagerte Filter- und Rankingaufgaben abzurufen. Um diese Abrufaufgabe zu optimieren, sollten Sie die folgenden beiden Hauptziele berücksichtigen:
- Während des Modelltrainings wird die beste Darstellung des zu lösenden Problems oder der zu lösenden Aufgabe ermittelt und in
<query, candidate>-Einbettungen kompiliert. - Rufen Sie während der Modellbereitstellung relevante Elemente schnell genug ab, um die Latenzanforderungen zu erfüllen.
Das folgende Diagramm zeigt die konzeptionellen Komponenten eines zweistufigen Empfehlungssystems:
Im Diagramm werden bei der Kandidatengenerierung Millionen von Kandidatenelementen gefiltert. Beim Ranking werden die resultierenden Hunderten von Kandidatenelementen gefiltert, um Dutzende von empfohlenen Elementen zurückzugeben.
In der Referenzarchitektur in diesem Dokument wird ein Two-Tower-basiertes Abrufmodell trainiert. In der Architektur ist jeder Turm ein neuronales Netzwerk, das entweder Abfrage- oder Kandidatenelement-Features verarbeitet und dann eine Einbettungsdarstellung dieser Features erzeugt. Jeder Tower wird separat bereitgestellt, da jeder Tower für unterschiedliche Aufgaben in der Produktion verwendet wird:
- Kandidatenturm: Der Kandidatenturm wird verwendet, um Einbettungen für alle Kandidatenelemente vorab zu berechnen. Die vorberechneten Einbettungen werden auf einem Vektorsuche-Indexendpunkt bereitgestellt, der für den Abruf mit niedriger Latenz optimiert ist.
- Bereitgestellter Turm: Während der Onlinebereitstellung wandelt der bereitgestellte Abfrageturm unformatierte Nutzerabfragen in Einbettungsdarstellungen um. Die Einbettungsdarstellungen werden dann verwendet, um im bereitgestellten Index nach ähnlichen Elementeinzubettungen zu suchen.
Two-Tower-Architekturen sind für viele Abrufaufgaben ideal, da sie die semantische Beziehung zwischen Abfrage- und Kandidatenentitäten erfassen und sie einem gemeinsamen Einbettungsbereich zuordnen. Wenn die Entitäten einem gemeinsamen Einbettungsbereich zugeordnet werden, werden semantisch ähnliche Entitäten näher beieinander gruppiert. Wenn Sie also die Vektoreinbettungen einer bestimmten Abfrage berechnen, können Sie den Einbettungsbereich nach den nächstgelegenen (ähnlichsten) Kandidatenelementen durchsuchen. Der Hauptvorteil einer solchen Architektur ist die Möglichkeit, die Inferenz von Abfrage- und Kandidatendarstellungen zu entkoppeln. Diese Entkopplung hat zwei wesentliche Vorteile:
- Sie können neue (frische) Elemente bereitstellen, ohne ein neues Elementvokabular neu trainieren zu müssen. Wenn Sie dem Kandidaten-Element-Tower einen beliebigen Satz von Element-Features übergeben, können Sie die Element-Einbettungen für jeden Satz von Kandidaten berechnen, auch für solche, die während des Trainings nicht gesehen werden. Diese Berechnung hilft, das Kaltstartproblem zu beheben.
- Der Kandidatenturm kann eine beliebige Anzahl von Kandidatenelementen unterstützen, einschließlich Elementen, die noch nicht mit dem Empfehlungssystem interagiert haben. Diese Unterstützung ist möglich, da Two-Tower-Architekturen Rich Content und Metadaten-Features zu jedem
<query, candidate>-Paar verarbeiten. Durch diese Art der Verarbeitung kann das System ein unbekanntes Element anhand von Elementen beschreiben, die es kennt.
- Der Kandidatenturm kann eine beliebige Anzahl von Kandidatenelementen unterstützen, einschließlich Elementen, die noch nicht mit dem Empfehlungssystem interagiert haben. Diese Unterstützung ist möglich, da Two-Tower-Architekturen Rich Content und Metadaten-Features zu jedem
- Sie können die Abrufinferenz optimieren, indem Sie alle Kandidatenelement-Einbettungen vorab berechnen. Diese vorberechneten Einbettungen können indexiert und in einer Bereitstellungsinfrastruktur bereitgestellt werden, die für den Abruf mit niedriger Latenz optimiert ist.
- Durch das gemeinsame Lernen der Türme können Sie Elemente anhand von Abfragen und umgekehrt beschreiben. Wenn Sie eine Hälfte eines Paares haben, z. B. eine Abfrage, und nach dem anderen entsprechenden Element suchen müssen, können Sie die Hälfte der Gleichung im Voraus berechnen. Durch die Vorberechnung können Sie den Rest der Entscheidung so schnell wie möglich treffen.
Designaspekte
In diesem Abschnitt werden Designfaktoren, Best Practices und Empfehlungen im Einklang mit dem Google Cloud Well-Architected Framework beschrieben. Berücksichtigen Sie diese Informationen, wenn Sie diese Referenzarchitektur verwenden, um eine Topologie zu entwickeln, die Ihren spezifischen Anforderungen an Sicherheit, Zuverlässigkeit, Kostenoptimierung, betriebliche Effizienz und Leistung entspricht.
Sicherheit, Datenschutz und Compliance
Die Vektorsuche der Agent Platform unterstützt öffentliche Endpunkte, VPC-Netzwerk-Peering (Virtual Private Cloud) und Private Service Connect für Indexendpunkt-Bereitstellungen. Berücksichtigen Sie die folgenden Netzwerksicherheitsoptionen für Ihre Arbeitslast:
- Private Konnektivität mit Private Service Connect: Konfigurieren Sie für die meisten privaten Bereitstellungen Private Service Connect auf Ihrem Vektorsuchindex-Endpunkt. Mit Private Service Connect können Clients in mehreren VPC-Netzwerken und Projekten den Index über von Ihnen definierte interne IP-Adressen abfragen, ohne dass dedizierte IP-Bereichsreservierungen für VPC-Peering erforderlich sind.
- VPC-Netzwerk-Peering: Wenn Sie VPC-Netzwerk-Peering verwenden, ist nur für Onlineabfragen für den Vektorabgleich eine Peering-Verbindung aus demselben VPC-Netzwerk erforderlich. Wenn Sie beispielsweise Onlineabfragen von einer Gemini Enterprise Agent Platform Workbench-Instanz an einen Peering-Indexendpunkt senden, erstellen Sie die Instanz im selben VPC-Netzwerk. Für API-Aufrufe der Steuerungsebene, mit denen ein Index erstellt, bereitgestellt oder gelöscht wird, ist keine VPC-Netzwerk-Peering-Verbindung erforderlich.
- Schutz vor Daten-Exfiltration: Um unbefugte Datenverschiebungen zwischen Ihren Trainings-, Speicher- und Bereitstellungsressourcen zu verhindern, platzieren Sie die Agent Platform und Cloud Storage in einem VPC Service Controls-Dienstperimeter.
Zuverlässigkeit
Um eine Hochverfügbarkeit für die Online-Kandidatengenerierung zu gewährleisten, konfigurieren Sie die Redundanz für Ihre Vektorsuchindex-Endpunkte und Online-Modellendpunkte:
- Konfiguration des Indexreplikats: Wenn Sie einen Index auf einem Vektorsuche-Endpunkt bereitstellen, legen Sie für das Feld
minReplicaCountmindestens2Replikate pro Shard fest. EineDeployedIndex-Ressource erfordert mindestens zwei Replikate pro Shard, um vom Service Level Agreement (SLA) für die Agent Platform abgedeckt zu werden. - Grenzwerte für Autoscaling: Überwachen Sie die CPU- und Arbeitsspeicherauslastung auf Ihren bereitgestellten Index-Shards und konfigurieren Sie das Feld
maxReplicaCountso, dass die Vektorsuche Replikate hinzufügen kann, wenn die CPU- oder Arbeitsspeicherauslastung dauerhaft 60 % überschreitet.
Kostenoptimierung
Um die Infrastrukturkosten für Offline-Training und Online-Vektorbereitstellung zu verwalten, passen Sie die Index-Shards und Computing-Ressourcen an:
- Index-Shard- und Maschinengröße: Wenn Sie einen Vektorsuchindex erstellen und bereitstellen, wählen Sie die kleinste Shard-Größe (z. B. den Wert
SHARD_SIZE_SMALLfür bis zu 2 GiB oder den WertSHARD_SIZE_MEDIUMfür bis zu 20 GiB) und einen kompatiblen Maschinentyp aus, der zu Ihrem Kandidaten-Einbettungskorpus passt. Durch die richtige Dimensionierung von Shards wird eine Überdimensionierung von Always-on-Index-Endpunkt-VMs vermieden.
Betriebliche Effizienz
Um die laufende Wartung von Kandidateneinbettungen, Feature-Pipelines und Indexaktualisierungen zu vereinfachen, sollten Sie die folgenden Funktionen in Betracht ziehen:
- Streaming-Indexaktualisierungen: Die Architektur in diesem Dokument verwendet Batch-Indexneuerstellungen für regelmäßige Aktualisierungen des Kandidatenkatalogs. Wenn Ihre Anwendung neue oder aktualisierte Kandidatenelemente innerhalb von Sekunden in Empfehlungen anzeigen muss, konfigurieren Sie einen Streaming-Index für die Vektorsuche, anstatt den gesamten Index in Batches neu zu erstellen.
- Hybridsuche: Wenn Ihre Abfragen neben semantischen Einbettungen auch genaue Produkt-SKUs, Kennungen oder domänenfremde Suchbegriffe enthalten, verwenden Sie die Hybridsuche in der Vektorsuche, um dichte Two-Tower-Einbettungen und dünnbesetzte Token-Einbettungen in einem einzigen Index mit Reciprocal Rank Fusion (RRF) zu kombinieren.
- Online-Featurebereitstellung: Wenn Ihr bereitgestellter Abfragetower während der Online-Inferenz Echtzeit-Nutzerkontext oder Verhaltensfeatures benötigt, verwenden Sie den Agent Platform Feature Store mit der Bigtable-Onlinebereitstellung, um Features mit niedriger Latenz aus BigQuery-Tabellen abzurufen.
- Automatisierte Workflow-Orchestrierung: Wenn Sie wiederkehrende Schritte zur Datenvorbereitung, zum Two-Tower-Training, zur Batch-Inferenz und zur Indexbereitstellung automatisieren möchten, können Sie Ihren Workflow mit Gemini Enterprise Agent Platform-Pipelines orchestrieren.
Leistungsoptimierung
In diesem Abschnitt werden die Faktoren beschrieben, die Sie berücksichtigen sollten, wenn Sie diese Referenzarchitektur zum Entwerfen einer Topologie in Google Cloud verwenden, die die Leistungsanforderungen Ihrer Arbeitslasten erfüllt.
Profiltrainingsjobs
Wenn Sie Dateneingabepipelines und das gesamte Trainingsdiagramm optimieren möchten, können Sie die Trainingsleistung mit dem Plug-in cloud_profiler aus dem
Agent Platform SDK
und Vertex AI TensorBoard profilieren
. Vertex AI TensorBoard bietet eine verwaltete Version des Open-Source-
TensorBoard Profiler.
Wenn Sie das Modul cloud_profiler in Ihrem benutzerdefinierten Trainingsskript initialisieren und den Callback tf.keras.callbacks.TensorBoard konfigurieren, erstellt der Trainingsjob ein Profil für eine bestimmte Anzahl von Batches für jede Epoche. Das Profil erfasst Traces von der Host-CPU und von der Geräte-GPU oder Cloud TPU-Hardware. Die Traces enthalten Informationen zum Ressourcenverbrauch des Trainingsjobs.
Um Fehler aufgrund von unzureichendem Arbeitsspeicher zu vermeiden, beginnen Sie mit einer Profildauer zwischen 2 und 10 Trainingsschritten und erhöhen Sie die Dauer nach Bedarf.
Informationen zum Profilieren benutzerdefinierter Trainingsjobs mit Agent Platform Managed Training und Vertex AI TensorBoard finden Sie unter Leistung des Modelltrainings profilieren. Best Practices für die Fehlerbehebung finden Sie unter GPU-Leistung optimieren. Informationen zur Optimierung der Leistung finden Sie unter TensorFlow-Leistung mit dem Profiler optimieren.
Beschleuniger vollständig nutzen
Wenn Sie Trainingsbeschleuniger wie NVIDIA-GPUs oder Cloud TPUs anhängen, ist es wichtig, dass sie vollständig ausgelastet sind. Die vollständige Auslastung von Trainingsbeschleunigern ist eine Best Practice für die Kostenverwaltung, da Beschleuniger die teuerste Komponente in der Architektur sind. Die vollständige Auslastung von Trainingsbeschleunigern ist auch eine Best Practice für die Jofeffizienz, da keine Leerlaufzeiten zu einem geringeren Gesamtressourcenverbrauch führen.
Damit ein Beschleuniger vollständig ausgelastet ist, führen Sie in der Regel einige Iterationen durch, um den Engpass zu finden, den Engpass zu optimieren und diese Schritte dann zu wiederholen, bis die Auslastung des Beschleunigergeräts akzeptabel ist. Da viele der Datasets für diesen Anwendungsfall zu groß sind, um in den Arbeitsspeicher zu passen, treten Engpässe in der Regel zwischen Speicher, Host-VMs und dem Beschleuniger auf.
Das folgende Diagramm zeigt die konzeptionellen Phasen einer ML-Trainingseingabepipeline:
Im Diagramm werden Daten aus dem Speicher gelesen und vorverarbeitet. Nach der Vorverarbeitung werden die Daten an das Gerät gesendet. Wenn Sie die Leistung optimieren möchten, müssen Sie zuerst feststellen, ob die Gesamtleistung durch die Host-CPU oder das Beschleunigergerät (GPU oder TPU) begrenzt wird. Das Gerät ist für die Beschleunigung der Trainingsschleife verantwortlich, während der Host für die Bereitstellung von Trainingsdaten für das Gerät und den Empfang von Ergebnissen vom Gerät verantwortlich ist. In den folgenden Abschnitten wird beschrieben, wie Sie Engpässe beheben, indem Sie die Leistung der Eingabepipeline und der Geräte verbessern.
Leistung der Eingabepipeline verbessern
Verwenden Sie die folgenden Techniken, um Engpässe in der Host-Eingabepipeline zu reduzieren:
- Daten aus dem Speicher lesen: Verwenden Sie Caching, prefetching, sequenzielle Zugriffsmuster und parallele E/A, um das Lesen von Daten zu verbessern.
- Daten vorverarbeiten: Um die Datenvorverarbeitung zu verbessern, konfigurieren Sie die parallele Verarbeitung für die Datenextraktion und -transformation und optimieren Sie die
interleave-Transformation in der Dateneingabepipeline. - Daten an das Gerät senden: Um die Gesamtdauer des Jobs zu reduzieren, übertragen Sie Daten vom Host parallel an mehrere Geräte.
Geräteleistung verbessern
Verwenden Sie die folgenden Techniken, um die Beschleunigerauslastung während der einzelnen Trainingsschritte zu verbessern:
- Mini-Batch-Größe erhöhen: Mini-Batches sind die Anzahl der Trainingsbeispiele, die von jedem Gerät in einer Iteration einer Trainingsschleife verwendet werden. Wenn Sie die Größe des Mini-Batch erhöhen, wird die Parallelität zwischen Vorgängen erhöht und die Datenwiederverwendung verbessert. Der Mini-Batch muss jedoch zusammen mit dem restlichen Trainingsprogramm in den Speicher passen. Wenn Sie die Größe des Mini-Batch zu stark erhöhen, kann es zu Fehlern aufgrund von unzureichendem Arbeitsspeicher und zu Modelldivergenz kommen.
- Benutzerdefinierte Funktionen vektorisieren: In der Regel können Datentransformationen als benutzerdefinierte Funktion ausgedrückt werden, die beschreibt, wie jedes Element eines Eingabe-Datasets transformiert wird. Wenn Sie diese Funktion vektorisieren möchten, wenden Sie den Transformationsvorgang auf einen Batch von Eingaben gleichzeitig an, anstatt ein Element nach dem anderen zu transformieren. Jede benutzerdefinierte Funktion ist mit einem Overhead verbunden, der sich auf die Planung und Ausführung bezieht. Wenn Sie einen Batch von Eingaben transformieren, fällt der Overhead einmal pro Batch an, nicht einmal pro Dataset-Element.
Hochskalierung vor der horizontalen Skalierung
Wenn Sie die Rechenressourcen für Ihre Trainingsjobs konfigurieren, sollten Sie vertikal skalieren, bevor Sie horizontal skalieren. Wählen Sie ein größeres, leistungsstärkeres Gerät aus, bevor Sie mehrere weniger leistungsstarke Geräte verwenden. Skalieren Sie Ihre Trainingsressourcen in der folgenden Reihenfolge:
- Ein Mitarbeiter + ein Gerät
- Einzelner Worker + leistungsstärkeres Gerät
- Ein Mitarbeiter + mehrere Geräte
- Verteiltes Training
Recall im Vergleich zur Latenz für die ANN-Vektorsuche auswerten
Um die Vorteile der ANN-Suche zu bewerten, können Sie die Latenz und den Recall einer bestimmten Abfrage messen. Zur Unterstützung der Indexoptimierung bietet die Vektorsuche der Agent Platform die Möglichkeit, einen Brute-Force-Index zu erstellen. Brute-Force-Indexe führen eine umfassende Suche durch, um die tatsächlichen nächsten Nachbarn für einen bestimmten Abfragevektor zu finden. Dies geht jedoch mit einer höheren Latenz einher. Brute-Force-Indexe sind nicht für die Verwendung in der Produktion vorgesehen, bieten aber eine gute Baseline, wenn Sie den Recall während der Indexoptimierung berechnen.
Um den Recall im Vergleich zur Latenz zu bewerten, stellen Sie die vorberechneten Kandidateneinbettungen in einem Index bereit, der für die ANN-Suche konfiguriert ist, und in einem anderen Index, der für die Brute-Force-Suche konfiguriert ist. Der Brute-Force-Index gibt die absolut nächsten Nachbarn zurück, dauert aber in der Regel länger als eine ANN-Suche. Möglicherweise sind Sie bereit, einen Teil des Abrufs für eine geringere Abruflatenz zu opfern. Dieser Kompromiss sollte jedoch bewertet werden. Weitere Merkmale, die sich auf Recall und Latenz auswirken, sind:
- Modellierungsparameter: Viele Modellierungsentscheidungen wirken sich auf den Einbettungsbereich aus, der letztendlich zum Bereitstellungsindex wird. Vergleichen Sie die Kandidaten, die für Indexe abgerufen werden, die sowohl aus flachen als auch aus Deep-Retrieval-Modellen erstellt wurden.
- Dimensionen: Dimensionen sind ein weiterer Aspekt, der letztendlich vom Modell bestimmt wird. Die Dimensionen des ANN-Index müssen mit den Dimensionen der Abfrage- und Kandidaten-Tower-Vektoren übereinstimmen.
- Crowding- und Filter-Tags: Tags bieten leistungsstarke Funktionen, mit denen Sie Ergebnisse für verschiedene Produktionsanwendungsfälle anpassen können. Es empfiehlt sich, zu verstehen, wie Tags die abgerufenen Kandidaten und die Leistung beeinflussen.
- ANN-Anzahl: Wenn Sie diesen Wert erhöhen, wird der Recall erhöht, was zu einer proportionalen Erhöhung der Latenz führen kann.
- Prozentsatz der Blattknoten, in denen gesucht werden soll: Der Prozentsatz der Blattknoten, in denen gesucht werden soll, ist die wichtigste Option, wenn Sie den Kompromiss zwischen Recall und Latenz bewerten. Wenn Sie diesen Wert erhöhen, wird der Recall erhöht, was die Latenz proportional erhöhen kann.
Nächste Schritte
Weitere Referenzarchitekturen, Diagramme und Best Practices finden Sie im Cloud-Architekturcenter.
Beitragende
Autor*innen:
- Jordan Totten | Customer Engineer
- Jeremy Wortz | Customer Engineer
- Lakshmanan Sethu | Technical Account Manager
Weiterer Mitwirkender: Kaz Sato | Staff Developer Advocate