Puedes usar un conector de BigQuery para habilitar el acceso de lectura y escritura programático a BigQuery. Esta es una forma ideal de procesar datos que se almacenan en BigQuery. El acceso a la línea de comandos no está expuesto. El conector de BigQuery es una biblioteca que permite que las aplicaciones de Spark y Hadoop procesen datos de BigQuery y escriban datos en BigQuery con su terminología nativa.
Precios
Cuando usas el conector, los cargos incluyen tarifas de uso de BigQuery. También se pueden aplicar los siguientes cargos específicos del servicio:
- Cloud Storage: el conector descarga datos en un bucket de Cloud Storage antes o durante la ejecución del trabajo. Una vez que el trabajo se completa con éxito, los datos se borran de Cloud Storage. Se te cobra por el almacenamiento según los precios de Cloud Storage. Para evitar cargos excesivos, verifica tu cuenta de Cloud Storage y quita los archivos temporales innecesarios.
- API de Storage Read: El
conector lee datos de las tablas con la API de Storage Read para
lograr una alta capacidad de procesamiento.
- Cuando las solicitudes se originan en el Managed Service para Apache Spark sin servidores o en los procedimientos almacenados de BigQuery para Apache Spark, los costos de lectura de transmisión de la API de Storage Read se delegan al conector sin cargo adicional. Se siguen aplicando los cargos estándar de salida de red si se leen datos entre regiones.
- Cuando las solicitudes se originan en cargas de trabajo de Apache Spark basadas en clústeres (como el Managed Service para Apache Spark en clústeres o Apache Spark que se ejecuta en Google Kubernetes Engine (GKE)), se aplican los precios estándar de la API de Storage Read.
Conectores disponibles
Los siguientes conectores de BigQuery están disponibles para usarse en el ecosistema de Hadoop:
- El conector de Spark para BigQuery
agrega una fuente de datos de Spark, lo que permite que los DataFrames interactúen directamente con
las tablas de BigQuery usando las operaciones
readywritede Spark. - El conector de Hive-BigQuery agrega un controlador de almacenamiento, que permite que Apache Hive interactúe directamente con las tablas de BigQuery usando la sintaxis de HiveQL.
El conector de BigQuery para Hadoop permite que los asignadores y reductores de Hadoop interactúen con las tablas de BigQuery mediante versiones abstractas de las clases InputFormat y OutputFormat.
Usa los conectores
Para un inicio rápido mediante el conector de BigQuery, consulta los siguientes ejemplos:
- Ejemplo de Spark
- Ejemplo de Java MapReduce
- Conecta el clúster de Managed Service para Apache Spark a BigQuery
¿Qué sigue?
- Obtén más información sobre BigQuery.
- Sigue el ejemplo de BigQuery para Spark.
- Obtén más información sobre el conector de Hive BigQuery.
- Sigue el ejemplo de BigQuery para MapReduce de Java.