Sie können den spark-bigquery-connector mit Managed Service for Apache Spark verwenden, um Daten aus und in BigQuery zu lesen und zu schreiben. In dieser Anleitung wird eine PySpark-Anwendung gezeigt, die spark-bigquery-connector verwendet.
Connector-Version bestätigen
Unter Managed Service for Apache Spark-Laufzeitreleases finden Sie die BigQuery-Connector-Version, die in Ihrer Batcharbeitslast oder interaktiven Sitzungslaufzeitversion installiert ist. Wenn der Connector nicht aufgeführt ist, lesen Sie den Abschnitt Connector für Anwendungen verfügbar machen.
Connector für Anwendungen verfügbar machen (falls erforderlich)
Der BigQuery-Connector ist in allen unterstützten Managed Service for Apache Spark-Laufzeitversionen installiert.
Wenn Sie eine nicht unterstützte Laufzeitversion verwenden, die den Connector (Spark runtime 1.0) nicht installiert, können Sie den Connector auf eine der folgenden beiden Arten für eine Anwendung verfügbar machen:
- Verwenden Sie den Parameter
jars, um auf eine Connector-JAR-Datei zu verweisen, wenn Sie eine Managed Service for Apache Spark-Batcharbeitslast senden oder eine interaktive Sitzung ausführen. Im folgenden Beispiel für eine Batcharbeitslast wird eine Connector-JAR-Datei angegeben. Eine Liste der verfügbaren Connector-JAR-Dateien finden Sie im GitHub-Repository GoogleCloudDataproc/spark-bigquery-connector.- Beispiel für die Google Cloud CLI:
gcloud dataproc batches submit pyspark \ --region=REGION \ --jars=spark-3.5-bigquery-version.jar \ ... other args
- Beispiel für die Google Cloud CLI:
Kosten berechnen
In dieser Anleitung werden kostenpflichtige Komponenten von Google Cloudverwendet, darunter:
- Managed Service for Apache Spark
- BigQuery
- Cloud Storage
Der Preisrechner kann eine Kostenschätzung anhand Ihrer voraussichtlichen Nutzung generieren.
Abrechnung konfigurieren
Standardmäßig wird die API-Nutzung dem Projekt in Rechnung gestellt, das mit den Anmeldedaten oder dem Dienstkonto verknüpft ist. Wenn Sie ein anderes Projekt abrechnen möchten, legen Sie das folgende Konfigurationsattribut fest: spark.conf.set("parentProject", "<BILLED-GCP-PROJECT>").
Sie können dieses Attribut auch einem Lese- oder Schreibvorgang hinzufügen: .option("parentProject", "<BILLED-GCP-PROJECT>").
PySpark-Wordcount-Batcharbeitslast senden
In diesem Beispiel werden Daten aus BigQuery in einen Spark-DataFrame eingelesen und dann mit der Standard-Datenquellen-API einer Wortzählung unterzogen.
Der Connector schreibt die Wordcount-Ausgabe in der folgenden Reihenfolge in BigQuery:
Puffert die Daten in temporären Dateien in Ihrem Cloud Storage-Bucket.
Kopiert die Daten in einem Vorgang aus Ihrem Cloud Storage-Bucket nach BigQuery.
Löscht die temporären Dateien in Cloud Storage, nachdem der BigQuery-Ladevorgang abgeschlossen ist. Temporäre Dateien werden auch gelöscht, nachdem die Spark-Anwendung beendet wurde. Wenn das Löschen fehlschlägt, müssen Sie alle unerwünschten temporären Cloud Storage-Dateien löschen, die sich normalerweise in
gs://BUCKET_NAME/.spark-bigquery-JOB_ID-UUIDbefinden.
Schritte zum Ausführen der Wordcount-Arbeitslast
- Öffnen Sie ein lokales Terminal oder die Cloud Shell.
- Erstellen Sie die
wordcount_datasetmit dem bq-Befehlszeilentool in einem lokalen Terminal oder in Cloud Shell.bq mk wordcount_dataset
- Erstellen Sie einen Cloud Storage-Bucket mit der Google Cloud CLI.
Ersetzen Siegcloud storage buckets create gs://BUCKET_NAME
BUCKET_NAMEdurch den Namen des von Ihnen erstellten Cloud Storage-Bucket. - Erstellen Sie die Datei
wordcount.pylokal in einem Texteditor, indem Sie den folgenden PySpark-Code kopieren.#!/usr/bin/python """BigQuery I/O PySpark example.""" from pyspark.sql import SparkSession spark = SparkSession \ .builder \ .appName('spark-bigquery-demo') \ .getOrCreate() # Cloud Storage bucket used by the connector for temporary BigQuery # export data. bucket = "BUCKET_NAME" spark.conf.set('temporaryGcsBucket', bucket) # Enable reading from BigQuery views and materializing query results. spark.conf.set('viewsEnabled', 'true') spark.conf.set('materializationDataset', 'wordcount_dataset') # Load data from BigQuery. words = spark.read.format('bigquery') \ .load('bigquery-public-data.samples.shakespeare') words.createOrReplaceTempView('words') # Perform word count. word_count = spark.sql( 'SELECT word, SUM(word_count) AS word_count FROM words GROUP BY word') word_count.show() word_count.printSchema() # Save the data to BigQuery word_count.write.format('bigquery') \ .save('wordcount_dataset.wordcount_output')
- Senden Sie die PySpark-Batcharbeitslast:
Beispiel für eine Terminalausgabe:gcloud dataproc batches submit pyspark wordcount.py \ --region=REGION \ --deps-bucket=BUCKET_NAME
... +---------+----------+ | word|word_count| +---------+----------+ | XVII| 2| | spoil| 28| | Drink| 7| |forgetful| 5| | Cannot| 46| | cures| 10| | harder| 13| | tresses| 3| | few| 62| | steel'd| 5| | tripping| 7| | travel| 35| | ransom| 55| | hope| 366| | By| 816| | some| 1169| | those| 508| | still| 567| | art| 893| | feign| 10| +---------+----------+ only showing top 20 rows root |-- word: string (nullable = false) |-- word_count: long (nullable = true)
Wenn Sie sich eine Vorschau der Ausgabetabelle in der Google Cloud Console ansehen möchten, öffnen Sie die Seite BigQuery, wählen Sie die Tabellewordcount_outputaus und klicken Sie dann auf Vorschau.
Abbildung 1: Vorschau der Ausgabetabelle in BigQuery