In diesem Dokument wird eine Referenzarchitektur vorgestellt, mit der Sie einen End-to-End-Workflow für die Kandidatengenerierung mit zwei Türmen mit der Gemini Enterprise Agent Platform implementieren können. Das Two-Tower-Modellierungsframework ist eine leistungsstarke Abruftechnik für Personalisierungsanwendungsfälle, da es die semantische Ähnlichkeit zwischen zwei verschiedenen Entitäten wie Webabfragen und Kandidatenelementen lernt.
Dieses Dokument richtet sich an technische Fachkräfte wie Data Scientists und Machine-Learning-Entwickler, die umfangreiche Empfehlungsanwendungen mit Anforderungen an die Bereitstellung mit niedriger Latenz entwickeln. Weitere Informationen zu den Modellierungstechniken, der Problemformulierung und der Datenvorbereitung für die Erstellung eines Two-Tower-Modells finden Sie unter Deep Retrieval mit TensorFlow Recommenders und der Vektorsuche skalieren.
Architektur
Das folgende Diagramm zeigt eine Architektur zum Trainieren eines Two-Tower-Modells und zum separaten Bereitstellen der einzelnen Tower für verschiedene Bereitstellungs- und Bereitstellungsaufgaben:
Die im Diagramm dargestellte Architektur umfasst folgende Komponenten:
- Trainingsdaten: Trainingsdateien werden in Cloud Storage gespeichert.
- Two-Tower-Training: Das kombinierte Two-Tower-Modell wird offline mit dem verwalteten Trainingsdienst der Gemini Enterprise Agent Platform trainiert. Jeder Tower wird separat gespeichert und für verschiedene Aufgaben verwendet.
- Registrierte Abfrage- und Kandidaten-Tower: Nach dem Training werden die Tower separat in die Model Registry auf der Gemini Enterprise Agent Platform hochgeladen.
- Bereitgestellter Abfrageturm: Der registrierte Abfrageturm wird auf einem Online-Endpunkt der Agent Platform bereitgestellt.
- Batch-Vorhersage von Einbettungen: Der registrierte Kandidatenturm wird in einem Batch-Vorhersagejob verwendet, um die Einbettungsdarstellungen aller verfügbaren Kandidatenelemente vorab zu berechnen.
- Einbettungen-JSON: Die vorhergesagten Einbettungen werden in einer JSON-Datei in Cloud Storage gespeichert.
- ANN-Index: Mit der Vektorsuche der Agent Platform wird ein Bereitstellungsindex erstellt, der für die Suche nach ungefähren nächsten Nachbarn (ANN) konfiguriert ist.
- Bereitgestellter Index: Der ANN-Index wird auf einem Vektorsuchindex-Endpunkt der Agent Platform bereitgestellt.
Verwendete Produkte
In dieser Referenzarchitektur werden die folgenden Google Cloud -Produkte verwendet:
- Gemini Enterprise Agent Platform Managed Training: Ein verwalteter Trainingsdienst, mit dem Sie umfangreiches Modelltraining operationalisieren können.
- Vektorsuche: Ein Dienst für Vektorübereinstimmungen, mit dem Sie semantisch ähnliche oder verwandte Daten speichern, indexieren und suchen können.
- Model Registry auf der Gemini Enterprise Agent Platform: Ein zentrales Repository, in dem Sie den Lebenszyklus Ihrer ML-Modelle verwalten können.
- Cloud Storage: Ein kostengünstiger, unbegrenzter Objektspeicher für verschiedene Datentypen. Auf Daten kann von innerhalb und außerhalb von Google Cloudzugegriffen werden. Sie werden zu Redundanzzwecken über Standorte hinweg repliziert.
Anwendungsfall
Um die Anforderungen an die Bereitstellung mit niedriger Latenz zu erfüllen, werden umfangreiche Recommender-Systeme häufig als zweistufige Systeme oder manchmal als mehrstufige Systeme in der Produktion bereitgestellt. Das Ziel der ersten Phase, der Kandidatengenerierung, besteht darin, eine große Sammlung von Kandidatenelementen zu durchsuchen und eine relevante Teilmenge von Hunderten von Elementen für nachgelagerte Filter- und Rankingaufgaben abzurufen. Um diese Abrufaufgabe zu optimieren, sollten Sie die folgenden beiden Hauptziele berücksichtigen:
- Während des Modelltrainings wird die beste Darstellung des zu lösenden Problems oder der zu lösenden Aufgabe ermittelt und in
<query, candidate>-Einbettungen kompiliert. - Rufen Sie während der Modellbereitstellung relevante Elemente schnell genug ab, um die Latenzanforderungen zu erfüllen.
Das folgende Diagramm zeigt die konzeptionellen Komponenten eines zweistufigen Empfehlungssystems:
Im Diagramm werden bei der Kandidatengenerierung Millionen von Kandidatenelementen gefiltert. Beim Ranking werden die resultierenden Hunderte von Kandidatenelementen gefiltert, um Dutzende von empfohlenen Elementen zurückzugeben.
In der Referenzarchitektur in diesem Dokument wird ein Two-Tower-basiertes Abrufmodell trainiert. In der Architektur ist jeder Turm ein neuronales Netzwerk, das entweder Abfrage- oder Kandidatenelement-Features verarbeitet und dann eine Einbettungsdarstellung dieser Features erzeugt. Jeder Tower wird separat bereitgestellt, da jeder Tower für unterschiedliche Aufgaben in der Produktion verwendet wird:
- Kandidatenturm: Der Kandidatenturm wird verwendet, um Einbettungen für alle Kandidatenelemente vorab zu berechnen. Die vorberechneten Einbettungen werden auf einem Vektorsuche-Indexendpunkt bereitgestellt, der für den Abruf mit niedriger Latenz optimiert ist.
- Bereitgestellter Turm: Während der Onlinebereitstellung wandelt der bereitgestellte Abfrageturm unformatierte Nutzerabfragen in Einbettungsdarstellungen um. Die Einbettungsdarstellungen werden dann verwendet, um im bereitgestellten Index nach ähnlichen Elementeinzubettungen zu suchen.
Two-Tower-Architekturen sind für viele Abrufaufgaben ideal, da sie die semantische Beziehung zwischen Abfrage- und Kandidatenentitäten erfassen und sie einem gemeinsamen Einbettungsbereich zuordnen. Wenn die Entitäten einem gemeinsamen Einbettungsbereich zugeordnet werden, werden semantisch ähnliche Entitäten näher beieinander gruppiert. Wenn Sie also die Vektoreinbettungen einer bestimmten Abfrage berechnen, können Sie den Einbettungsbereich nach den nächstgelegenen (ähnlichsten) Kandidatenelementen durchsuchen. Der Hauptvorteil einer solchen Architektur ist die Möglichkeit, die Inferenz von Abfrage- und Kandidatendarstellungen zu entkoppeln. Diese Entkopplung hat zwei wesentliche Vorteile:
- Sie können neue (frische) Elemente bereitstellen, ohne ein neues Elementvokabular neu zu trainieren. Wenn Sie dem Kandidaten-Element-Tower einen beliebigen Satz von Element-Features übergeben, können Sie die Element-Einbettungen für jeden Satz von Kandidaten berechnen, auch für solche, die während des Trainings nicht gesehen werden. Diese Berechnung hilft, das Kaltstartproblem zu beheben.
- Der Kandidatenturm kann eine beliebige Anzahl von Kandidatenelementen unterstützen, einschließlich Elementen, die noch nicht mit dem Empfehlungssystem interagiert haben. Diese Unterstützung ist möglich, da Two-Tower-Architekturen Rich Content und Metadaten-Features zu jedem
<query, candidate>-Paar verarbeiten. Durch diese Art der Verarbeitung kann das System ein unbekanntes Element anhand von Elementen beschreiben, die es kennt.
- Der Kandidatenturm kann eine beliebige Anzahl von Kandidatenelementen unterstützen, einschließlich Elementen, die noch nicht mit dem Empfehlungssystem interagiert haben. Diese Unterstützung ist möglich, da Two-Tower-Architekturen Rich Content und Metadaten-Features zu jedem
- Sie können die Abrufinferenz optimieren, indem Sie alle Kandidatenelementeinbettungen vorab berechnen. Diese vorberechneten Einbettungen können indexiert und in einer Bereitstellungsinfrastruktur bereitgestellt werden, die für den Abruf mit niedriger Latenz optimiert ist.
- Durch das gemeinsame Lernen der Türme können Sie Elemente anhand von Abfragen und umgekehrt beschreiben. Wenn Sie eine Hälfte eines Paares haben, z. B. eine Abfrage, und nach dem anderen entsprechenden Element suchen müssen, können Sie die Hälfte der Gleichung im Voraus berechnen. Durch die Vorberechnung können Sie den Rest der Entscheidung so schnell wie möglich treffen.
Designaspekte
Dieser Abschnitt enthält eine Anleitung zum Entwickeln einer Architektur für die Kandidatengenerierung in Google Cloud , die Ihren Sicherheits- und Leistungsanforderungen entspricht. Die Anleitung in diesem Abschnitt ist nicht vollständig. Je nach Ihren spezifischen Anforderungen können Sie zusätzliche Designfaktoren und Vor- und Nachteile berücksichtigen.
Sicherheit
Die Vektorsuche der Agent Platform unterstützt sowohl öffentliche als auch Virtual Private Cloud-Endpunktbereitstellungen (VPC). Wenn Sie ein VPC-Netzwerk verwenden möchten, folgen Sie der Anleitung unter VPC-Netzwerk-Peering-Verbindung einrichten. Wenn der Vektorsuchindex innerhalb eines VPC-Perimeters bereitgestellt wird, müssen Nutzer über dasselbe VPC-Netzwerk auf die zugehörigen Ressourcen zugreifen. Wenn Sie beispielsweise in der Gemini Enterprise Agent Platform Workbench entwickeln, müssen Sie die Workbench-Instanz im selben VPC-Netzwerk wie den bereitgestellten Indexendpunkt erstellen. Ebenso sollte jede Pipeline, die einen Endpunkt erstellen oder einen Index auf einem Endpunkt bereitstellen soll, im selben VPC-Netzwerk ausgeführt werden.
Leistungsoptimierung
In diesem Abschnitt werden die Faktoren beschrieben, die Sie berücksichtigen sollten, wenn Sie diese Referenzarchitektur zum Entwerfen einer Topologie in Google Cloud verwenden, die die Leistungsanforderungen Ihrer Arbeitslasten erfüllt.
Profiltrainingsjobs
Zur Optimierung von Dateneingabepipelines und des gesamten Trainingsgraphen empfehlen wir, die Trainingsleistung mit Cloud Profiler zu profilieren. Profiler ist eine verwaltete Implementierung des Open-Source-TensorBoard Profiler.
Wenn Sie das Argument –profiler im Trainingsjob übergeben, aktivieren Sie den TensorFlow-Callback, um eine bestimmte Anzahl von Batches für jede Epoche zu profilieren. Das Profil erfasst Traces von der Host-CPU und von der GPU- oder TPU-Hardware des Geräts. Die Traces enthalten Informationen zum Ressourcenverbrauch des Trainingsjobs. Um Fehler aufgrund von Speicherplatzmangel zu vermeiden, empfehlen wir, mit einer Profildauer zwischen 2 und 10 Trainingsschritten zu beginnen und diese bei Bedarf zu erhöhen.
Informationen zur Verwendung des Profilers mit dem verwalteten Training der Agent-Plattform und Vertex AI TensorBoard finden Sie unter Leistung des Modelltrainings profilieren. Best Practices für die Fehlerbehebung finden Sie unter GPU-Leistung optimieren. Informationen zur Optimierung der Leistung finden Sie unter TensorFlow-Leistung mit dem Profiler optimieren.
Beschleuniger vollständig nutzen
Wenn Sie Trainingsbeschleuniger wie NVIDIA-GPUs oder Cloud TPUs anhängen, ist es wichtig, dass sie vollständig ausgelastet sind. Die vollständige Auslastung von Trainingsbeschleunigern ist eine Best Practice für die Kostenverwaltung, da Beschleuniger die teuerste Komponente in der Architektur sind. Die vollständige Auslastung von Trainingsbeschleunigern ist auch eine Best Practice für die Jofeffizienz, da keine Leerlaufzeiten zu einem geringeren Gesamtressourcenverbrauch führen.
Damit ein Beschleuniger vollständig ausgelastet ist, führen Sie in der Regel einige Iterationen durch, um den Engpass zu finden, den Engpass zu optimieren und diese Schritte dann zu wiederholen, bis die Auslastung des Beschleunigergeräts akzeptabel ist. Da viele der Datasets für diesen Anwendungsfall zu groß sind, um in den Arbeitsspeicher zu passen, treten Engpässe in der Regel zwischen Speicher, Host-VMs und dem Beschleuniger auf.
Das folgende Diagramm zeigt die konzeptionellen Phasen einer ML-Trainingseingabepipeline:
Im Diagramm werden Daten aus dem Speicher gelesen und vorverarbeitet. Nach der Vorverarbeitung werden die Daten an das Gerät gesendet. Wenn Sie die Leistung optimieren möchten, müssen Sie zuerst feststellen, ob die Gesamtleistung durch die Host-CPU oder das Beschleunigergerät (GPU oder TPU) begrenzt wird. Das Gerät ist für die Beschleunigung der Trainingsschleife verantwortlich, während der Host für die Bereitstellung von Trainingsdaten für das Gerät und den Empfang von Ergebnissen vom Gerät verantwortlich ist. In den folgenden Abschnitten wird beschrieben, wie Sie Engpässe beheben, indem Sie die Leistung der Eingabepipeline und der Geräte verbessern.
Leistung der Eingabepipeline verbessern
- Daten aus dem Speicher lesen: Um das Lesen von Daten zu verbessern, können Sie Caching, prefetching, sequenzielle Zugriffsmuster und parallele E/A verwenden.
- Daten vorverarbeiten: Um die Datenvorverarbeitung zu verbessern, konfigurieren Sie die parallele Verarbeitung für die Datenextraktion und -transformation und optimieren Sie die
interleave-Transformation in der Dateneingabepipeline. - Daten an Gerät senden: Um die Gesamtdauer des Jobs zu reduzieren, übertragen Sie Daten vom Host parallel an mehrere Geräte.
Geräteleistung verbessern
- Größe des Mini-Batch erhöhen. Minibatches sind die Anzahl der Trainingsbeispiele, die von jedem Gerät in einer Iteration einer Trainingsschleife verwendet werden. Durch Erhöhen der Mini-Batch-Größe erhöhen Sie die Parallelität zwischen Vorgängen und verbessern die Datenwiederverwendung. Der Mini-Batch muss jedoch zusammen mit dem Rest des Trainingsprogramms in den Arbeitsspeicher passen. Wenn Sie die Größe des Mini-Batch zu stark erhöhen, kann es zu Out-of-Memory-Fehlern und Modelldivergenz kommen.
- Benutzerdefinierte Funktionen vektorisieren. In der Regel können Datentransformationen als benutzerdefinierte Funktion ausgedrückt werden, die beschreibt, wie jedes Element eines Eingabe-Datasets transformiert wird. Wenn Sie diese Funktion vektorisieren möchten, wenden Sie den Transformationsvorgang auf einen Batch von Eingaben gleichzeitig an, anstatt ein Element nach dem anderen zu transformieren. Jede benutzerdefinierte Funktion ist mit einem Overhead verbunden, der sich auf die Planung und Ausführung bezieht. Wenn Sie einen Batch von Eingaben transformieren, fällt der Overhead einmal pro Batch an, nicht einmal pro Dataset-Element.
Hochskalierung vor der horizontalen Skalierung
Wenn Sie die Rechenressourcen für Ihre Trainingsjobs konfigurieren, empfehlen wir, vertikal zu skalieren, bevor Sie horizontal skalieren. Das bedeutet, dass Sie ein größeres, leistungsstärkeres Gerät auswählen sollten, bevor Sie mehrere weniger leistungsstarke Geräte verwenden. Wir empfehlen, die Skalierung so vorzunehmen:
- Ein Mitarbeiter + ein Gerät
- Einzelner Worker + leistungsstärkeres Gerät
- Ein Mitarbeiter + mehrere Geräte
- Verteiltes Training
Recall im Vergleich zur Latenz für die ANN-Vektorsuche auswerten
Um die Vorteile der ANN-Suche zu bewerten, können Sie die Latenz und den Recall einer bestimmten Abfrage messen. Zur Unterstützung der Indexabstimmung bietet die Vektorsuche der Agent Platform die Möglichkeit, einen Brute-Force-Index zu erstellen. Brute-Force-Indexe führen eine umfassende Suche durch, um die tatsächlichen nächsten Nachbarn für einen bestimmten Abfragevektor zu finden. Dies geht jedoch mit einer höheren Latenz einher. Die Verwendung von Brute-Force-Indexen ist nicht für die Produktion vorgesehen, bietet aber eine gute Grundlage, wenn Sie den Recall während der Indexoptimierung berechnen.
Um den Recall im Vergleich zur Latenz zu bewerten, stellen Sie die vorberechneten Kandidateneinbettungen in einem Index bereit, der für die ANN-Suche konfiguriert ist, und in einem anderen Index, der für die Brute-Force-Suche konfiguriert ist. Der Brute-Force-Index gibt die absolut nächsten Nachbarn zurück, dauert aber in der Regel länger als eine ANN-Suche. Möglicherweise sind Sie bereit, einen Teil des Abrufs für eine geringere Abruflatenz zu opfern. Dieser Kompromiss sollte jedoch bewertet werden. Weitere Merkmale, die sich auf Recall und Latenz auswirken, sind:
- Modellierungsparameter: Viele Modellierungsentscheidungen wirken sich auf den Einbettungsbereich aus, der letztendlich zum Bereitstellungsindex wird. Vergleichen Sie die Kandidaten, die für Indexe abgerufen werden, die sowohl aus flachen als auch aus Deep-Retrieval-Modellen erstellt wurden.
- Dimensionen: Dimensionen sind ein weiterer Aspekt, der letztendlich vom Modell bestimmt wird. Die Dimensionen des ANN-Index müssen mit den Dimensionen der Abfrage- und Kandidaten-Tower-Vektoren übereinstimmen.
- Crowding- und Filter-Tags: Tags bieten leistungsstarke Funktionen, mit denen Sie Ergebnisse für verschiedene Produktionsanwendungsfälle anpassen können. Es empfiehlt sich, zu verstehen, wie Tags die abgerufenen Kandidaten und die Leistung beeinflussen.
- ANN-Anzahl: Durch Erhöhen dieses Werts wird der Recall erhöht, was zu einer proportionalen Erhöhung der Latenz führen kann.
- Prozentsatz der zu durchsuchenden Blattknoten: Der Prozentsatz der zu durchsuchenden Blattknoten ist die wichtigste Option, um den Kompromiss zwischen Recall und Latenz zu bewerten. Durch Erhöhen dieses Werts wird der Recall erhöht, was zu einer proportionalen Erhöhung der Latenz führen kann.
Nächste Schritte
Weitere Referenzarchitekturen, Diagramme und Best Practices finden Sie im Cloud-Architekturcenter.
Beitragende
Autor*innen:
- Jordan Totten | Customer Engineer
- Jeremy Wortz | Customer Engineer
- Lakshmanan Sethu | Technical Account Manager
Weiterer Mitwirkender: Kaz Sato | Staff Developer Advocate