Der Managed Service for Apache Spark Connect-Client (google-cloud-spark-connect) ist eine Python-Clientbibliothek, die auf dem Open-Source-Client Apache Spark Connect basiert. Damit können Ihre lokalen Anwendungen, Skripts und Notebooks PySpark-Arbeitslasten in einer Remote-Sitzung von Managed Service for Apache Spark über das Spark Connect-Protokoll ausführen.
Im Vergleich zur direkten Verwendung des Standard-Apache Spark Connect-Clients bietet google-cloud-spark-connect die folgenden Vorteile:
- Automatisierter Sitzungslebenszyklus und Authentifizierung:
ManagedSparkSession.builder.getOrCreate()stellt automatisch eine interaktive Remote-Sitzung von Managed Service for Apache Spark bereit, konfiguriert sie oder verwendet sie wieder und hängt aktualisierte Google Cloud -Anmeldedaten an. MitManagedSparkSessiongeschriebener Code wird auch unverändert ausgeführt, wenn er als Batcharbeitslast für Managed Service for Apache Spark gesendet wird, sofern das Paketgoogle-cloud-spark-connectin der Python-Umgebung der Batcharbeitslast installiert ist. - Live-Fortschrittsanzeigen und Monitoring-Links: Zeigt während der Sitzungserstellung und der Ausführung von Spark-Jobs in Notebooks und interaktiven Terminals Fortschrittsanzeigen in Echtzeit an (Verfolgung des Aufgabenabschlusses über Phasen hinweg) sowie direkte Links zur Seite mit den Sitzungsdetails in der Google Cloud -Konsole, zur Spark-UI und zu einzelnen Ausführungsseiten für Spark-Abfragen.
- Extras für interaktive Notebooks: Wenn Sie das Extra
interactiveinstallieren, werden beim Importieren vongoogle.cloud.managed_spark_connectin ein IPython- oder Jupyter-Notebook automatisch folgende Elemente geladen:explore_dataframe()(unterstützt vongoogle-colabsqlviz), um PySpark-DataFrames interaktiv zu untersuchen, zu filtern, zu sortieren, zu aggregieren und in Diagrammen darzustellen, ohne Plotting-Code schreiben zu müssen.- Magische Befehle
%%sparksqlund%sparksql, um Spark SQL-Abfragen in Notebookzellen mit interaktiver Ergebnisvisualisierung und Python-Variablen- oder DataFrame-Bindung auszuführen. - Magischer Befehl
%dpip, um PyPI-Pakete direkt auf dem Treiber und den Executors der Remote-Sitzung zu installieren, ohne ein benutzerdefiniertes Container-Image zu erstellen.
Wie der Open-Source-Spark Connect-Client erfordert google-cloud-spark-connect keine lokale Spark-Installation. Mit dem Extra [client] wird nur das einfache pyspark-client-Paket anstelle der vollständigen pyspark-Distribution installiert. Sie müssen also weder Spark herunterladen noch Java auf Ihrem Computer installieren, um PySpark in Managed Service for Apache Spark auszuführen.
In diesem Dokument erfahren Sie, wie Sie den Client installieren, konfigurieren und verwenden.
Hinweis
Prüfen Sie, ob Sie die IAM-Rollen (Identity and Access Management) haben, die die Berechtigungen zum Verwalten interaktiver Sitzungen und Laufzeitprofile (Sitzungsvorlagen) enthalten.
Wenn Sie den Client außerhalb von Google Cloudausführen, geben Sie Authentifizierungsdaten an. Legen Sie die Umgebungsvariable
GOOGLE_APPLICATION_CREDENTIALSauf den Pfad der Schlüsseldatei des Dienstkontos fest.
Client installieren oder deinstallieren
Sie können das Paket google-cloud-spark-connect mit pip installieren oder deinstallieren.
Installieren
Installieren Sie für lokale Notebooks und Entwicklungsumgebungen (z. B. VS Code mit dem Google Cloud Data Agent Kit oder JupyterLab) den Client über die Befehlszeile in einer virtuellen Umgebung:
pip install 'google-cloud-spark-connect[interactive,client]'
Dadurch wird google-cloud-spark-connect mit zwei optionalen Extras installiert:
interactive: Installiert interaktive Notebook-Erweiterungen (explore_dataframe(),%%sparksqlund%dpip). Kann für eigenständige Python-Skripts außerhalb eines Notebooks weggelassen werden.client: Installiert das einfachepyspark-client-Paket, für das keine lokale JVM erforderlich ist.
In verwalteten Notebook-Umgebungen wie Colab Enterprise (wo das vollständige pyspark vorinstalliert ist) führen Sie %pip install mit dem Extra spark anstelle von client in einer dedizierten Einrichtungszelle oben in Ihrem Notebook aus:
%pip install 'google-cloud-spark-connect[interactive,spark]'
Deinstallieren
Führen Sie den folgenden Befehl aus, um den Client zu deinstallieren:
pip uninstall google-cloud-spark-connect pyspark-client
Client konfigurieren
Geben Sie das Projekt und die Region für Ihre Sitzung an. Sie können diese Werte mithilfe von Umgebungsvariablen oder der Builder API in Ihrem Code festlegen.
Umgebungsvariablen
Legen Sie die Umgebungsvariablen GOOGLE_CLOUD_PROJECT und GOOGLE_CLOUD_REGION fest.
Builder API
Verwenden Sie die Methoden .projectId(), .location() und .sessionId().
spark = (
ManagedSparkSession.builder
.projectId("my-project")
.location("us-central1")
.sessionId("my-spark-session")
.getOrCreate()
)
Spark-Sitzung starten
Importieren Sie ManagedSparkSession in Ihre PySpark-Anwendung oder Ihr Notebook und rufen Sie dann die ManagedSparkSession.builder.getOrCreate() API auf, um eine Spark-Sitzung zu starten. Wir empfehlen, mit .sessionId() eine benutzerdefinierte Sitzungs-ID festzulegen, damit beim erneuten Ausführen des Notebooks oder beim Ausführen mehrerer Notebooks innerhalb der Gültigkeitsdauer (TTL) der Sitzung die aktive Sitzung wiederverwendet wird und die Startzeit der Sitzung entfällt.
Importieren Sie die Klasse
ManagedSparkSession. In einem IPython- oder Jupyter-Notebook werden beim Importieren vongoogle.cloud.managed_spark_connectauch die interaktiven Notebook-Extras (explore_dataframe(),%%sparksqlund%dpip) automatisch geladen, wenn das Extrainteractiveinstalliert ist.Rufen Sie
.sessionId()und.getOrCreate()auf, um die Sitzung zu starten oder wiederzuverwenden.from google.cloud.managed_spark_connect import ManagedSparkSession spark = ManagedSparkSession.builder.sessionId("my-spark-session").getOrCreate()
Während eine neue Sitzung gestartet wird, zeigt der Client eine Live-Fortschrittsanzeige und einen Link zur Seite mit den Sitzungsdetails in der Google Cloud Console an. In VS Code öffnet der Link die Sitzung stattdessen im Data Agent Kit. Wenn bereits eine aktive Sitzung mit der angegebenen ID vorhanden ist, stellt der Client eine Verbindung zu dieser her, anstatt eine neue zu erstellen. In diesem Fall ignoriert der Client die Sitzungskonfiguration in Ihrem Code. Wenn Sie Konfigurationsänderungen übernehmen möchten, beenden Sie die vorhandene Sitzung (spark.stop(terminate=True)) oder verwenden Sie eine andere Sitzungs-ID. Wenn eine Sitzung mit der angegebenen ID bereits beendet wurde, löscht der Client die alte Sitzung automatisch und erstellt eine neue mit derselben ID. Sobald die Sitzung aktiv ist:
- Wenn Sie
sparkin einer Notebook-Zelle auswerten, werden direkte Links zur Detailseite der Sitzung und zur Spark-Benutzeroberfläche angezeigt. - Wenn Sie Spark-Aktionen wie
df.show(),df.collect()oderdf.toPandas()ausführen, wird eine Echtzeit-Fortschrittsanzeige für die Aufgabe und ein Link Spark-Abfrage zur Ausführungsseite des Vorgangs in der Spark-Benutzeroberfläche angezeigt.
Spark-Attribute konfigurieren
Wenn Sie Spark-Attribute konfigurieren möchten, verketten Sie eine oder mehrere .config()-Methoden mit dem Builder.
from google.cloud.managed_spark_connect import ManagedSparkSession
spark = (
ManagedSparkSession.builder
.sessionId('my-spark-session')
.config('spark.executor.memory', '48g')
.config('spark.executor.cores', '8')
.getOrCreate()
)
Erweiterte Konfiguration verwenden
Sie können allgemeine Sitzungseinstellungen wie die Sitzungs-ID, die Laufzeitversion, das Subnetzwerk, das Dienstkonto, die Sitzungsvorlage, die TTL (.ttl() / .ttlSeconds() und .idleTtl() / .idleTtlSeconds()) oder Labels direkt mit Builder-Methoden konfigurieren:
import datetime
from google.cloud.managed_spark_connect import ManagedSparkSession
spark = (
ManagedSparkSession.builder
.projectId('my-project')
.location('us-central1')
.sessionId('my-spark-session')
.runtimeVersion('3.0')
.subnetwork('SUBNET')
.idleTtl(datetime.timedelta(minutes=30))
.getOrCreate()
)
Wenn Sie die zugrunde liegende Sitzungsressource vollständig anpassen möchten, übergeben Sie ein google.cloud.dataproc_v1.Session-Objekt an .sessionConfig():
from google.cloud.managed_spark_connect import ManagedSparkSession
from google.cloud.dataproc_v1 import Session
session_config = Session()
session_config.environment_config.execution_config.subnetwork_uri = 'SUBNET'
session_config.runtime_config.version = '3.0'
spark = (
ManagedSparkSession.builder
.projectId('my-project')
.location('us-central1')
.sessionId('my-spark-session')
.sessionConfig(session_config)
.getOrCreate()
)
Benannte Sitzung wiederverwenden
Wenn Sie mit .sessionId() eine benutzerdefinierte Sitzungs-ID festlegen, können Sie eine einzelne Spark-Sitzung in mehreren Notebooks oder bei Kernel-Neustarts innerhalb der TTL der Sitzung wiederverwenden. Dadurch wird die Latenz beim Starten der Sitzung vermieden und die Kosten werden gesenkt.
Erstellen Sie in Ihrem ersten Notebook eine Sitzung mit einer benutzerdefinierten ID.
from google.cloud.managed_spark_connect import ManagedSparkSession session_id = 'my-ml-pipeline-session' spark = ManagedSparkSession.builder.sessionId(session_id).getOrCreate() df = spark.createDataFrame([(1, 'data')], ['id', 'value']) df.show()In einem anderen Notebook (oder nach dem Neustart des Kernels) können Sie die Sitzung wiederverwenden, indem Sie dieselbe Sitzungs-ID angeben.
from google.cloud.managed_spark_connect import ManagedSparkSession session_id = 'my-ml-pipeline-session' spark = ManagedSparkSession.builder.sessionId(session_id).getOrCreate() df = spark.createDataFrame([(2, 'more-data')], ['id', 'value']) df.show()
Sitzungs-IDs müssen 4–63 Zeichen lang sein, mit einem Kleinbuchstaben beginnen und dürfen nur Kleinbuchstaben, Ziffern und Bindestriche enthalten. Die ID darf nicht mit einem Bindestrich enden. Benannte Sitzungen bleiben bestehen, bis sie explizit beendet werden oder ihre konfigurierte TTL erreichen. Wenn sich eine Sitzung mit der angegebenen ID bereits im Status TERMINATED, TERMINATING oder FAILED befindet, gibt der Client eine Warnung aus, löscht die alte Sitzung und erstellt eine neue Sitzung mit derselben ID. Durch das Löschen der alten Sitzung werden die vorherigen Metadaten und der Spark-UI-Verlauf aus Managed Service for Apache Spark entfernt. Die Logs bleiben jedoch in Cloud Logging verfügbar.
Wenn bereits eine aktive Sitzung mit der angegebenen ID vorhanden ist, stellt der Client eine Verbindung zu ihr her und ignoriert die Sitzungskonfiguration in Ihrem Code. Wenn Sie Konfigurationsänderungen übernehmen möchten, beenden Sie die vorhandene Sitzung oder verwenden Sie eine andere Sitzungs-ID.
Rufen Sie spark.stop(terminate=True) auf, um eine benannte Sitzung zu beenden. Wenn Sie spark.stop() ohne Argumente aufrufen, wird die Verbindung zum Client getrennt, aber eine benannte Sitzung bleibt aktiv. Sitzungen, die ohne .sessionId() erstellt wurden, werden von spark.stop() beendet.
Spark SQL-Magic-Befehle verwenden
Das Extra interactive enthält die Zell-Magic %%sparksql und die Zeilen-Magic %sparksql, um Spark SQL-Abfragen in Jupyter-Notebooks auszuführen und interaktive Tabellen und Diagramme mit google-colabsqlviz zu rendern (dasselbe Visualisierungs-Widget, das von explore_dataframe() verwendet wird).
Wenn Sie google-cloud-spark-connect mit dem Extra interactive installieren und google.cloud.managed_spark_connect in ein Notebook importieren, wird die Magic-Erweiterung automatisch geladen.
Optional: Laden Sie die Magic-Erweiterung explizit, wenn Sie
google.cloud.managed_spark_connectnicht importiert haben.%load_ext google.cloud.managed_spark_magicsOptional: Konfigurieren Sie die Standardeinstellungen.
%config SparkSql.limit=20Führen Sie SQL-Abfragen mit dem Cell Magic-Befehl
%%sparksqlaus, der eine interaktive Tabelle rendert und den vollständigen DataFrame standardmäßig in_dfspeichert, oder mit dem Line Magic-Befehl%sparksql, der die Tabellenanzeige unterdrückt und den DataFrame direkt zurückgibt:%%sparksql SELECT * FROM your_tabledf = %sparksql SELECT * FROM your_tableOptional: Übergeben Sie Python-Variablen und DataFrames an eine Abfrage. Typisierte SQL-Literalwerte können mit
:name, Tabellen- oder Spaltenkennungen mitIDENTIFIER(:name)und DataFrames im Notebook-Namespace mit{df}gebunden werden:min_id = 10 df = spark.createDataFrame([(5, 'a'), (15, 'b')], ['id', 'val'])%%sparksql SELECT * FROM {df} WHERE id >= :min_id
Wenn Sie erweiterte Optionen verwenden möchten, fügen Sie dem Befehl %%sparksql Flags hinzu. Führen Sie beispielsweise den folgenden Befehl aus, um Ergebnisse im Cache zu speichern und eine Ansicht zu erstellen:
%%sparksql --cache --view result_view df
SELECT * FROM your_table WHERE condition = true
Folgende Optionen sind verfügbar:
--cacheoder-c: speichert den DataFrame im Cache.--eageroder-e: Berechnet das Ergebnis sofort mitlocalCheckpoint(eager=True).--view VIEWoder-v VIEW: Erstellt eine temporäre Ansicht.--limit Noder-l N: Überschreibt das Standardlimit für die Zeilenanzeige (nur Cell Magic).--display MODEoder-d MODE: Legt den Anzeigemodus fest (colabsqlvizoderhtml; nur Cell Magic).--quietoder-q: Unterdrückt die Tabellenanzeige.--explain [MODE]: Gibt den Abfrageplan aus, anstatt Ergebnisse anzuzeigen.--session NAMEoder-s NAME: Wird für dieSparkSessionin der VariableNAMEausgeführt.variable_name: Speichert das Ergebnis in einer Variablen (nur Cell Magic; Standardwert ist_df).
PyPI-Pakete in der Remotesitzung installieren
Wenn Sie Python-Pakete von Drittanbietern in benutzerdefinierten PySpark-Funktionen (UDFs) verwenden möchten, ohne ein benutzerdefiniertes Container-Image zu erstellen oder die Sitzung neu zu starten, können Sie PyPI-Pakete direkt auf dem Treiber und den Executors der Remote-Sitzung installieren:
Notebook-Magie
Verwenden Sie in einem interaktiven Notebook mit einer aktiven ManagedSparkSession den magischen Befehl %dpip (wird automatisch mit google.cloud.managed_spark_connect geladen, wenn das Extra interactive installiert ist):
%dpip install scipy
%dpip installiert nur Pakete in der Remote-Sitzung. Wenn Sie ein Paket in lokalen Code außerhalb von Spark importieren möchten, installieren Sie es auch in Ihrer lokalen Python-Umgebung.
Python API
Übergeben Sie in Skripts oder Notebooks pypi=True an spark.addArtifacts():
spark.addArtifacts("scipy", pypi=True)
Nächste Schritte
Weitere Informationen zu Managed Service for Apache Spark-Sitzungen und Laufzeitprofilen (Sitzungsvorlagen).
Informationen zum Entwickeln von Spark-Code in VS Code mit dem Data Agent Kit.