Die Inferenzbereitstellung ist entscheidend für die Bereitstellung Ihrer generativen KI-Modelle in realen Anwendungen. Die GKE bietet eine robuste und skalierbare Plattform für die Verwaltung Ihrer containerisierten Arbeitslasten und ist daher eine überzeugende Wahl für die Bereitstellung Ihrer Modelle in der Entwicklung oder Produktion. Mit GKE können Sie die Funktionen von Kubernetes für Orchestrierung, Skalierung und Hochverfügbarkeit nutzen, um Ihre Inferenzdienste effizient bereitzustellen und zu verwalten.
Google Cloud hat die spezifischen Anforderungen der KI-/ML-Inferenz erkannt und die GKE-Funktionen für generative KI eingeführt. Diese Suite von Funktionen wurde speziell entwickelt, um die Inferenzbereitstellung in der GKE zu verbessern und zu optimieren. Weitere Informationen zu bestimmten Funktionen finden Sie unter GKE-Funktionen für generative KI.
Erste Schritte mit der Inferenz von KI-/ML-Modellen in der GKE
Sie können in wenigen Minuten anfangen, die Inferenz von KI-/ML-Modellen in der GKE kennenzulernen. Sie können die kostenlose Stufe von GKE verwenden, um mit Kubernetes zu beginnen, ohne dass Kosten für die Clusterverwaltung anfallen.
-
Rufen Sie in der Google Cloud Console die Seite „GKE AI/ML“ auf.
- Führen Sie die Schritte unter Modelle bereitstellen aus, um ein containerisiertes Modell und einen Modellserver bereitzustellen.
- Lesen Sie die Übersicht über Best Practices für die Inferenz in GKE. Dort finden Sie Anleitungen und Ressourcen zum Planen und Ausführen Ihrer Inferenzarbeitslasten in GKE.
Terminologie
Auf dieser Seite wird die folgende Terminologie im Zusammenhang mit der Inferenz in GKE verwendet:
- Inferenz: Der Prozess, bei dem ein generatives KI-Modell wie ein Large Language Model oder ein Diffusionsmodell in einem GKE-Cluster ausgeführt wird, um Text, Einbettungen oder andere Ausgaben aus Eingabedaten zu generieren. Die Modellinferenz in GKE nutzt Beschleuniger, um komplexe Berechnungen für die Echtzeit- oder Batchverarbeitung effizient zu verarbeiten.
- Modell: Ein generatives KI-Modell, das Muster aus Daten gelernt hat und für die Inferenz verwendet wird. Modelle variieren in Größe und Architektur, von kleineren domänenspezifischen Modellen bis hin zu riesigen neuronalen Netzwerken mit mehreren Milliarden Parametern, die für verschiedene Sprachaufgaben optimiert sind.
- Modell-Server: Ein containerisierter Dienst, der für den Empfang von Inferenzanfragen und die Rückgabe von Inferenzen verantwortlich ist. Dieser Dienst kann eine Python-Anwendung oder eine robustere Lösung wie vLLM, TensorFlow Serving oder Triton Inference Server sein. Der Modellserver lädt Modelle in den Arbeitsspeicher und führt Berechnungen auf Beschleunigern aus, um Inferenzen effizient zurückzugeben.
- Beschleuniger: Spezielle Hardware wie Grafikprozessoren (GPUs) von NVIDIA und Tensor Processing Units (TPUs) von Google, die an GKE-Knoten angehängt werden können, um Berechnungen zu beschleunigen, insbesondere für Trainings- und Inferenzaufgaben.
- Quantisierung: Eine Technik, mit der die Größe von KI/ML-Modellen reduziert und die Inferenzgeschwindigkeit verbessert wird, indem Modellgewichtungen und -aktivierungen von Datentypen mit höherer Genauigkeit in Datentypen mit niedrigerer Genauigkeit umgewandelt werden.
Vorteile von GKE für die Inferenz
Die Inferenzbereitstellung in der GKE bietet mehrere Vorteile:
- Effizientes Preis-Leistungs-Verhältnis: Sie erhalten Wert und Geschwindigkeit für Ihre Anforderungen an die Inferenzbereitstellung. Mit der GKE können Sie aus einer Vielzahl leistungsstarker Beschleuniger (GPUs und TPUs) wählen und stellen damit sicher, nur für die Leistung zu bezahlen, die Sie tatsächlich benötigen.
- Schnellere Bereitstellung: Beschleunigen Sie die Produkteinführungszeit mit maßgeschneiderten Best Practices, Qualifikationen und Best Practices, die von GKE-Funktionen für generative KI bereitgestellt werden.
- Skalierbare Leistung: Skalieren Sie die Leistung mit vordefiniertem Monitoring mithilfe von GKE Inference Gateway, horizontalem Pod-Autoscaling (HPA) und benutzerdefinierten Messwerten. Sie können eine Reihe von vortrainierten oder benutzerdefinierten Modellen mit 8 Milliarden bis 671 Milliarden Parametern ausführen.
- Volle Portabilität: Profitieren Sie von der vollen Portabilität mit offenen Standards. Google trägt zu wichtigen Kubernetes APIs bei, darunter Gateway und LeaderWorkerSet. Alle APIs sind mit Kubernetes-Distributionen portierbar.
- Unterstützung für das Ökosystem: Bauen Sie auf dem robusten Ökosystem der GKE auf, das Tools wie Kueue für die erweiterte Ressourcenwarteschlange und -verwaltung sowie Ray für verteiltes Computing unterstützt, um skalierbares und effizientes Modelltraining und Inferenz zu ermöglichen.
Funktionsweise von Inferenz in GKE
In diesem Abschnitt werden die Schritte zur Verwendung von GKE für die Inferenzbereitstellung allgemein beschrieben:
Modell containerisieren: Wenn Sie eine Anwendung containerisieren, erstellen Sie ein Container-Image. Das ist ein ausführbares Paket, das alles enthält, was zum Ausführen der Anwendung erforderlich ist: Code, Laufzeit, Systemtools, Systembibliotheken und Einstellungen. Eine einfache Anwendung kann als einzelne Einheit containerisiert werden, während eine komplexere Anwendung in mehrere containerisierte Komponenten aufgeteilt werden kann. Modell bereitstellen, indem Sie den Modellserver (z. B. vLLM) containerisieren und Modellgewichtungen aus Cloud Storage oder einem Repository wie Hugging Face laden. Wenn Sie die GKE-Inferenz-Kurzanleitung verwenden, wird das Container-Image automatisch im Manifest für Sie verwaltet.
GKE-Cluster erstellen: Erstellen Sie einen GKE-Cluster, um Ihr Deployment zu hosten. Wählen Sie Autopilot für eine verwaltete Umgebung oder Standard für die Anpassung aus. Konfigurieren Sie die Clustergröße, die Knotentypen und die Beschleuniger. Verwenden Sie für eine optimierte Konfiguration die Inferenz-Kurzanleitung.
Modell als Kubernetes-Deployment bereitstellen: Erstellen Sie ein Kubernetes-Deployment, um Ihren Inferenzdienst zu verwalten. Ein Deployment ist ein Kubernetes API-Objekt, mit dem Sie mehrere Replikate von Pods ausführen können, die auf die Knoten in einem Cluster verteilt sind. Geben Sie das Docker-Image, die Replikate und die Einstellungen an. Kubernetes ruft das Image ab und führt Ihre Container auf den GKE-Clusterknoten aus. Konfigurieren Sie die Pods mit Ihrem Modellserver und Modell, einschließlich LoRA-Adaptern, falls erforderlich.
Inferenzdienst freigeben: Machen Sie Ihren Inferenzdienst zugänglich, indem Sie einen Kubernetes-Dienst erstellen, um einen Netzwerkendpunkt für Ihr Deployment bereitzustellen. Verwenden Sie das Inference Gateway für intelligentes Load Balancing und Routing, das speziell auf Inferenzarbeitslasten für generative KI zugeschnitten ist, oder sehen Sie sich den Vergleich der Load-Balancing-Strategien an, um die beste Option für Ihre Anforderungen auszuwählen.
Inferenzanfragen verarbeiten: Senden Sie Daten von Ihren Anwendungsclients im erwarteten Format (JSON, gRPC) an den Endpunkt Ihres Dienstes. Wenn Sie einen Load Balancer verwenden, werden Anfragen an Modellreplikate verteilt. Der Modellserver verarbeitet die Anfrage, führt das Modell aus und gibt die Inferenz zurück.
Inferenz-Deployment skalieren und überwachen: Skalieren Sie die Inferenz mit HPA, um Replikate automatisch basierend auf CPU oder Latenz anzupassen. Der Horizontal Pod Autoscaler (HPA) ist ein Kubernetes-Controller, der die Anzahl der Pods in einer Arbeitslast (z. B. einem Deployment) automatisch anhand von beobachteten Messwerten wie der CPU-Auslastung oder benutzerdefinierten Messwerten erhöht oder verringert. Verwenden Sie die Kurzanleitung für Inferenz, um automatisch generierte Skalierungsempfehlungen zu erhalten. Verwenden Sie Cloud Monitoring und Cloud Logging mit vordefinierter Beobachtbarkeit, einschließlich Dashboards für gängige Modellserver wie vLLM, um die Leistung zu verfolgen.
Detaillierte Beispiele mit bestimmten Modellen, Modell-Servern und Beschleunigern finden Sie unter Inferenzbeispiele.
GKE-Funktionen für generative KI
Sie können diese Funktionen zusammen oder einzeln verwenden, um wichtige Herausforderungen bei der Bereitstellung generativer KI-Modelle zu bewältigen und die Ressourcennutzung in Ihrer GKE-Umgebung ohne zusätzliche Kosten zu verbessern.
| Name | Beschreibung | Vorteile |
|---|---|---|
| Kurzanleitung für GKE-Inferenz |
Leistung und Kosteneffizienz Ihrer Inferenzarbeitslasten analysieren. Geben Sie Ihre geschäftlichen Anforderungen an und erhalten Sie maßgeschneiderte Best Practices für die Kombination aus Beschleunigern, Skalierungs- und Speicherkonfigurationen sowie Modell-Servern, die Ihren Anforderungen am besten entspricht. Sie können über die gcloud CLI und die Google Cloud Console auf diesen Dienst zugreifen. Weitere Informationen finden Sie unter Leistung und Kosten der Modellbereitstellung mit der GKE-Kurzanleitung zur Inferenz analysieren. |
|
| GKE Inference Gateway | Sie erhalten ein Routing basierend auf Messwerten wie der KV-Cache-Auslastung, um die Latenz zu verbessern. Weitere Informationen finden Sie unter GKE Inference Gateway. |
|
| Beschleuniger zum Laden von Modellgewichtungen | Mit Cloud Storage FUSE mit Caching und parallelen Downloads können Sie schnell auf Daten in Cloud Storage zugreifen. Weitere Informationen zur Verwendung von Cloud Storage FUSE für KI/ML-Arbeitslasten finden Sie in der Referenzarchitektur. Google Cloud Managed Lustre ist ein leistungsstarkes, vollständig verwaltetes paralleles Dateisystem,das für KI optimiert ist und an 10.000 oder mehr Pods angehängt werden kann. Weitere Informationen zur Verwendung von Managed Lustre für KI/ML-Arbeitslasten finden Sie in der Referenzarchitektur. Google Cloud Hyperdisk ML ist ein netzwerkgebundenes Laufwerk,das an bis zu 2.500 Pods angehängt werden kann. |
|
Inferenzleistungsmesswerte
Wenn Sie Ihre Inferenzarbeitslasten optimieren möchten, müssen Sie wissen, wie Sie deren Leistung messen. In der folgenden Tabelle werden die wichtigsten Messwerte für das Benchmarking der Inferenzleistung in GKE beschrieben.
| Benchmark-Indikatoren | Metrisch (Einheit) | Beschreibung |
|---|---|---|
| Latenz | Zeit bis zum ersten Token (Time to First Token, TTFT) (ms) | Zeit, die benötigt wird, um das erste Token für eine Anfrage zu generieren. |
| Normalisierte Zeit pro Ausgabetoken (NTPOT) (ms) | Anfragelatenz, normalisiert nach der Anzahl der Ausgabetokens, gemessen als request_latency / total_output_tokens. |
|
| Zeit pro Ausgabetoken (TPOT) (ms) | Zeit, die zum Generieren eines Ausgabetokens benötigt wird, gemessen als (request_latency - time_to_first_token) / (total_output_tokens - 1). |
|
| Inter-Token-Latenz (ITL) (ms) | Misst die Latenz zwischen zwei Ausgabetoken-Generierungen. Im Gegensatz zur TPOT, die die Latenz für die gesamte Anfrage misst, wird bei der ITL die Zeit gemessen, die für die Generierung jedes einzelnen Ausgabetokens benötigt wird. Diese einzelnen Messwerte werden dann aggregiert, um Mittelwert, Median und Perzentilwerte wie p90 zu erhalten. | |
| Anfragelatenz (ms) | End-to-End-Zeit bis zum Abschluss einer Anfrage. | |
| Durchsatz | Anfragen pro Sekunde | Gesamtzahl der Anfragen, die Sie pro Sekunde verarbeiten. Dieser Messwert ist möglicherweise keine zuverlässige Methode zur Messung des LLM-Durchsatzes, da er bei verschiedenen Kontextlängen stark variieren kann. |
| Ausgabetokens pro Sekunde | Ein gängiger Messwert, der als total_output_tokens_generated_by_server / elapsed_time_in_seconds gemessen wird. |
|
| Eingabetokens pro Sekunde | Gemessen als total_input_tokens_generated_by_server / elapsed_time_in_seconds. |
|
| Tokens pro Sekunde | Gemessen als total_tokens_generated_by_server / elapsed_time_in_seconds. Dieser Messwert zählt sowohl Eingabe- als auch Ausgabetokens und hilft Ihnen, Arbeitslasten mit hohen Vorfüllzeiten mit solchen mit hohen Decodierungszeiten zu vergleichen. |
Inferenz planen
Eine erfolgreiche Inferenzbereitstellung erfordert eine sorgfältige Planung in mehreren wichtigen Bereichen, darunter Kosteneffizienz, Leistung und Flexibilität, Effizienz und Verfügbarkeit von Beschleunigerkapazität. Detaillierte Empfehlungen zum Erstellen einer skalierbaren, leistungsstarken und kostengünstigen Inferenzplattform finden Sie unter Übersicht über Best Practices für die Inferenz in der GKE.
Inferenzbeispiele ausprobieren
Hier finden Sie GKE-Bereitstellungsbeispiele für generative KI-Modelle, Beschleuniger und Modellserver. Wenn Sie gerade erst anfangen, empfehlen wir Ihnen, sich die Anleitung Offene Gemma-Modelle mit GPUs in GKE mit vLLM bereitstellen anzusehen.
Sie können auch mit einem Suchbegriff nach einer Anleitung suchen:
| Beschleuniger | Modellserver | Tutorial |
|---|---|---|
| GPUs | vLLM | LLMs wie DeepSeek-R1 671B oder Llama 3.1 405B in der GKE bereitstellen |
| GPUs | vLLM | Offene Gemma-Modelle mit GPUs in GKE mit vLLM bereitstellen |
| GPUs | vLLM | LLM mit GKE Inference Gateway bereitstellen |
| GPUs | vLLM | Offene LLMs in GKE mit einer vorkonfigurierten Architektur bereitstellen |
| GPUs | Ray Serve | LLM auf L4-GPUs mit Ray bereitstellen |
| GPUs | TGI | LLM mit mehreren GPUs in GKE bereitstellen |
| GPUs | TorchServe | T5 in GKE mit TorchServe bereitstellen |
| TPUs | vLLM | LLM mithilfe von TPU Trillium in GKE mit vLLM bereitstellen |
| TPUs | vLLM | LLM mithilfe von TPUs in GKE mit KubeRay bereitstellen |
| TPUs | MaxDiffusion | Stable Diffusion XL (SDXL) mit TPUs in GKE mit MaxDiffusion bereitstellen |
| TPUs | vLLM | Offene LLMs auf TPUs mit einer vorkonfigurierten Architektur bereitstellen |
Nächste Schritte
- Im Portal für KI-/ML-Orchestrierung in der GKE finden Sie offizielle Leitfäden, Tutorials und Anwendungsfälle für die Ausführung von KI-/ML-Arbeitslasten in der GKE.
- In den GKE AI Labs finden Sie experimentelle Beispiele dafür, wie Sie GKE nutzen können, um Ihre KI-/ML-Initiativen zu beschleunigen.