BigQuery 连接器

您可以使用 BigQuery 连接器来启用针对 BigQuery 的程序化读取和写入权限。此方法适合处理存储在 BigQuery 中的数据。未公开命令行访问。 BigQuery 连接器是一个库，它使 Spark 和 Hadoop 应用能够处理来自 BigQuery 的数据，并使用其本地术语将数据写入 BigQuery。

GoogleCloudDataproc/spark-bigquery-connector 也可用于读取 BigQuery 中的数据。它利用了 BigQueryStorage API。

价格

使用连接器时，您需要支付 BigQuery 使用费。 您可能还需要支付以下服务专属费用：

• Cloud Storage - 连接器在作业执行之前或期间将数据下载到 Cloud Storage 存储分区。成功完成作业后，系统会从 Cloud Storage 中删除数据。您需要根据 Cloud Storage 价格支付此存储空间的费用。为避免超额费用，请检查您的 Cloud Storage 账号并移除不需要的临时文件。
• Storage Read API - 连接器使用 Storage Read API 从表中读取数据，以实现高吞吐量。
  • 当请求源自 Managed Service for Apache Spark 无服务器或 BigQuery Apache Spark 存储过程时，Storage Read API 流式读取费用会委托给连接器，而不会产生额外费用。如果跨区域读取数据，仍需支付标准网络出站流量费用。
  • 当请求源自基于集群的 Apache Spark 工作负载（例如集群上的 Managed Service for Apache Spark 或在 Google Kubernetes Engine (GKE) 上运行的 Apache Spark）时，系统会采用标准Storage Read API 定价。

可用的连接器

以下 BigQuery 连接器可用于 Hadoop 生态系统：

1. Spark BigQuery 连接器添加了一个 Spark 数据源，使 DataFrame 能够使用 Spark 的 read 和 write 操作直接与 BigQuery 表进行交互。
2. Hive BigQuery 连接器添加了存储处理程序，使 Apache Hive 能够使用 HiveQL 语法直接与 BigQuery 表进行交互。

3. Hadoop BigQuery 连接器使 Hadoop 映射器和缩减器能够使用精简版本 InputFormat 和 OutputFormat 类与 BigQuery 表进行交互。

   注意： 不支持适用于 Hadoop MapReduce 的 Hadoop BigQuery 连接器。建议：使用 Spark BigQuery 连接器可提升性能。如需了解详情，请参阅将 BigQuery 连接器与 Spark 搭配使用。

使用连接器

如需使用 BigQuery 连接器的快速入门，请参阅以下示例：

• Spark 示例
• Java MapReduce 示例
• 将 Managed Service for Apache Spark 集群连接到 BigQuery

后续步骤

• 详细了解 BigQuery。
• 请参阅 Spark 的 BigQuery 示例。
• 详细了解 Hive BigQuery 连接器。
• 请参阅 Java MapReduce 的 BigQuery 示例。