Sie können einen BigQuery-Connector verwenden, um programmatischen Lese- und Schreibzugriff auf BigQuery zu ermöglichen. Dies ist ideal für die Verarbeitung von Daten, die in BigQuery gespeichert sind. Der Befehlszeilenzugriff wird nicht verfügbar gemacht. Der BigQuery-Connector ist eine Bibliothek, mit der Spark- und Hadoop-Anwendungen Daten aus BigQuery verarbeiten und in dessen nativer Terminologie in BigQuery schreiben können.
Preise
Bei Verwendung des Connectors umfassen die Kosten die BigQuery-Nutzungsgebühren. Außerdem können folgende dienstspezifische Gebühren anfallen:
- Cloud Storage: Der Connector lädt Daten vor oder während der Jobausführung in einen Cloud Storage-Bucket herunter. Diese Daten werden nach dem erfolgreichen Abschluss des Hadoop-Jobs wieder aus Cloud Storage gelöscht. Die Kosten für die Datenspeicherung entsprechen den in Cloud Storage – Preise angegebenen Preisen. Prüfen Sie Ihr Cloud Storage-Konto und entfernen Sie nicht benötigte temporäre Dateien, um übermäßige Gebühren zu vermeiden.
- Storage Read API: Der Connector liest Daten aus Tabellen mithilfe der Storage Read API, um einen hohen Durchsatz zu erzielen.
- Wenn Anfragen entweder vom Managed Service for Apache Spark Serverless oder von gespeicherten BigQuery-Prozeduren für Apache Spark stammen, werden die Kosten für das Streaming-Lesen der Storage Read API ohne zusätzliche Gebühren an den Connector delegiert. Wenn Daten regionsübergreifend gelesen werden, fallen weiterhin die Standardgebühren für ausgehenden Netzwerktraffic an.
- Wenn Anfragen von clusterbasierten Apache Spark-Arbeitslasten stammen (z. B. vom Managed Service for Apache Spark auf Clustern oder von Apache Spark, das in der Google Kubernetes Engine (GKE) ausgeführt wird), gelten die Standardpreise für die Storage Read API.
Verfügbare Connectors
Die folgenden BigQuery-Connectors sind für die Verwendung in der Hadoop-Umgebung verfügbar:
- Der Spark BigQuery-Connector fügt eine Spark-Datenquelle hinzu, mit der DataFrames über die Spark-Vorgänge
readundwritedirekt mit BigQuery-Tabellen interagieren können. - Der Hive BigQuery-Connector fügt einen Storage Handler hinzu, mit dem Apache Hive mithilfe der HiveQL-Syntax direkt mit BigQuery-Tabellen interagieren kann.
Mit dem Hadoop BigQuery-Connector können Hadoop-Mapper und -Reducer mithilfe abstrahierter Versionen der Klassen InputFormat und OutputFormat mit BigQuery-Tabellen interagieren.
Connectors verwenden
Folgende Beispiele ermöglichen den schnellen Einstieg in BigQuery-Connectors:
- Beispiel für Spark
- Beispiel für Java MapReduce
- Managed Service for Apache Spark-Cluster mit BigQuery verbinden
Nächste Schritte
- Weitere Informationen zu BigQuery
- Folgen Sie dem BigQuery-Beispiel für Spark.
- Weitere Informationen zum Hive BigQuery-Connector.
- Folgen Sie dem BigQuery-Beispiel für Java MapReduce.