La biblioteca de Java de código abierto del conector de Cloud Storage te permite ejecutar trabajos de Apache Hadoop o Apache Spark directamente en los datos de Cloud Storage.
Lightning Engine mejora la conectividad con Cloud Storage para optimizar el rendimiento de su motor nativo. El conector de Cloud Storage mejorado minimiza las operaciones de metadatos para reducir los costos, mientras que un confirmador de salida de archivos optimizado desbloquea el rendimiento y la confiabilidad para las cargas de trabajo de Spark. Completa el formulario de acceso anticipado para solicitar acceso anticipado a esta función de versión preliminar privada.
Beneficios del conector de Cloud Storage
- Acceso directo a los datos: Almacena tus datos en Cloud Storage y accede a ellos directamente. No es necesario que primero los transfieras a HDFS.
- Compatibilidad con HDFS: Puedes acceder a tus datos en
Cloud Storage con el prefijo
gs://en lugar dehdfs://. - Interoperabilidad: El almacenamiento de datos en Cloud Storage permite una interoperabilidad fluida entre Spark, Hadoop y los servicios de Google.
- Accesibilidad de los datos: Cuando cierras un clúster de Hadoop, a diferencia de HDFS, sigues teniendo acceso a tus datos en Cloud Storage.
- Alta disponibilidad de los datos: Los datos almacenados en Cloud Storage tienen alta disponibilidad y se replican de forma global sin pérdida de rendimiento.
- Sin sobrecarga de administración de almacenamiento: A diferencia de HDFS, Cloud Storage no requiere mantenimiento de rutina, como verificar el sistema de archivos, o actualizar o revertir a una versión anterior del sistema de archivos.
- Inicio rápido: En HDFS, un trabajo de MapReduce no puede iniciarse hasta que el
NameNodesalga del modo seguro, un proceso que puede tardar desde unos segundos hasta muchos minutos, según el tamaño y el estado de tus datos. Con Cloud Storage, puedes comenzar tu trabajo en cuanto se inicien los nodos de tareas, lo que genera importantes ahorros de costos a lo largo del tiempo.
Configuración del conector en clústeres de Managed Service para Apache Spark
El conector de Cloud Storage se instala de forma predeterminada en todos
los nodos del clúster de Managed Service para Apache Spark en el
directorio /usr/local/share/google/managed-spark/lib/. En los siguientes
apartados, se describen los pasos que puedes seguir para completar
la configuración del conector en los clústeres de Managed Service para Apache Spark.
Cuenta de servicio de la VM
Cuando ejecutas el conector en los nodos del clúster de Managed Service para Apache Spark
y otras VMs de Compute Engine, la propiedad
google.cloud.auth.service.account.enable se establece
en false de forma predeterminada, lo que significa que no necesitas configurar las credenciales de la
cuenta de servicio de la VM
para el conector. El servidor de metadatos de la VM proporciona las credenciales de la cuenta de servicio de la VM.
La cuenta de servicio de VM del servicio Managed Service para Apache Spark debe tener permiso para acceder a tu bucket de Cloud Storage.
Si usas una cuenta de servicio personalizada con un clúster de trabajos de Spark 2.2+: Si seleccionas una
cuenta de servicio personalizada
cuando creas un clúster de versión de imagen 2.2+ de Managed Service para Apache Spark al que
envías trabajos de Spark, y si tus trabajos de Spark leen o escriben en Cloud Storage,
para evitar problemas de permisos que puedan causar fallas en los trabajos, agrega la siguiente
configuración (que se muestra en negrita) al código de creación de la sesión de Spark:
spark = SparkSession.builder \
.appName(appName) \
.config("fs.gs.auth.type", "SERVICE_ACCOUNT_JSON_KEYFILE") \
.config("fs.gs.auth.service.account.json.keyfile", "path/to/your/keyfile.json") \
.getOrCreate()
Para verificar que los permisos estén configurados de forma correcta, asegúrate de que la cuenta de servicio personalizada tenga los permisos storage.objects.get y storage.objects.create:
- Consulta el acceso actual para obtener una lista de los roles otorgados a la cuenta de servicio personalizada.
- Busca un rol o permiso para buscar los permisos asociados a un rol.
Versiones del conector seleccionadas por el usuario
Las versiones predeterminadas del conector de Cloud Storage que se usan en las imágenes más recientes instaladas en los clústeres de Managed Service para Apache Spark se indican en las páginas de versiones de imágenes. Si tu aplicación depende de una versión del conector no predeterminada implementada en tu clúster, puedes realizar una de las siguientes acciones para usar la versión del conector seleccionada:
- Crea un clúster con la marca
--metadata=GCS_CONNECTOR_VERSION=x.y.z, que actualiza el conector que usan las aplicaciones que se ejecutan en el clúster a la versión especificada del conector. - Incluye y reubica las clases y dependencias del conector para la versión que usas en el archivo JAR de tu aplicación. La reubicación es necesaria para evitar un conflicto entre la versión del conector implementada y la versión predeterminada del conector instalada en el clúster de Managed Service para Apache Spark. Consulta también el ejemplo de reubicación de dependencias de Maven.
Configuración del conector en clústeres que no son de Managed Service para Apache Spark
Puedes seguir estos pasos para configurar el conector de Cloud Storage en un clúster de Managed Service para Apache Spark, como un clúster de Apache Hadoop o Spark que usas para mover datos de HDFS locales a Cloud Storage.
Descarga el conector.
- Para descargar el conector de Cloud Storage, sigue estos pasos:
- Para usar una versión de
latestubicada en el bucket de Cloud Storage (no se recomienda usar una versión delatestpara las aplicaciones de producción): - Para usar una versión específica
de tu bucket de Cloud Storage, sustituye las versiones de Hadoop y
del conector de Cloud Storage en el patrón de nombre
gcs-connector-HADOOP_VERSION-CONNECTOR_VERSION.jar, por ejemplo,gs://hadoop-lib/gcs/gcs-connector-hadoop2-2.1.1.jar. - Para usar una versión específica
del
repositorio de Apache Maven,
descarga un JAR sombreado que tenga el sufijo
-shadeden el nombre.
- Para usar una versión de
- Para descargar el conector de Cloud Storage, sigue estos pasos:
Instala el conector.
Sigue las instrucciones de GitHub para instalar, configurar y probar el conector de Cloud Storage.
Uso del conector
Puedes usar el conector para acceder a los datos de Cloud Storage de las siguientes maneras:
- En una aplicación de Spark, PySpark o Hadoop con el prefijo
gs:// - En una shell de Hadoop con
hadoop fs -ls gs://bucket/dir/file - En el navegador de Cloud Storage En la consola de Google Cloud
- Usa los comandos del SDK de Google Cloud, como los siguientes:
Uso de Java
El conector de Cloud Storage requiere Java 8.
A continuación, se muestra una sección de administración de dependencias de POM de Maven de ejemplo para el conector de Cloud Storage. Para obtener más información, consulta Administración de dependencias.
<dependency>
<groupId>com.google.cloud.bigdataoss</groupId>
<artifactId>gcs-connector</artifactId>
<version>hadoopX-X.X.XCONNECTOR VERSION</version>
<scope>provided</scope>
</dependency>
Para una versión sombreada, haz lo siguiente:
<dependency>
<groupId>com.google.cloud.bigdataoss</groupId>
<artifactId>gcs-connector</artifactId>
<version>hadoopX-X.X.XCONNECTOR VERSION</version>
<scope>provided</scope>
<classifier>shaded</classifier>
</dependency>
Compatibilidad con conectores
Google Cloud admite el conector de Cloud Storage para usarlo con los productos y casos de uso deGoogle Cloud . Cuando se usa con Managed Service para Apache Spark, se admite en el mismo nivel que Managed Service para Apache Spark. Para obtener más información, consulta Obtén asistencia.
Conéctate a Cloud Storage con gRPC
De forma predeterminada, el conector de Cloud Storage en Managed Service para Apache Spark usa la API de JSON de Cloud Storage. En esta sección, se muestra cómo habilitar el conector de Cloud Storage para usar gRPC.
Consideraciones de uso
El uso del conector de Cloud Storage con gRPC incluye las siguientes consideraciones:
- Ubicación del bucket regional: gRPC puede mejorar las latencias de lectura solo cuando las VMs de Compute Engine y los buckets de Cloud Storage se encuentran en la misma región de Compute Engine.
- Trabajos de lectura intensiva: gRPC puede ofrecer mejores latencias de lectura para las lecturas de larga duración y puede ayudar con las cargas de trabajo de lectura intensiva. No se recomienda para aplicaciones que crean un canal de gRPC, ejecutan un cálculo breve y, luego, cierran el canal.
- Solicitudes sin autenticar: gRPC no admite solicitudes sin autenticar.
Requisitos
Se aplican los siguientes requisitos cuando se usa gRPC con el conector de Cloud Storage:
La red de VPC de tu clúster de Managed Service para Apache Spark debe admitir la conectividad directa. Esto significa que las rutas y las reglas de firewall de la red deben permitir que el tráfico de salida llegue a
34.126.0.0/18y2001:4860:8040::/42.- Si tu clúster de Managed Service para Apache Spark usa redes IPv6, debes configurar una subred IPv6 para las instancias de VM. Para obtener más información, consulta Configura IPv6 para instancias y plantillas de instancias.
Cuando creas un clúster de Managed Service para Apache Spark, debes usar la versión
2.2.23o posterior del conector de Cloud Storage con la versión de imagen2.1.56+o la versión v3.0.0 o posterior del conector de Cloud Storage con la versión de imagen 2.2.0 o posterior. La versión del conector de Cloud Storage instalada en cada versión de imagen de Managed Service para Apache Spark se indica en las páginas de versiones de imágenes de Managed Service para Apache Spark.- Si creas y usas un
clúster virtual de Managed Service para Apache Spark en GKE
para tus solicitudes de gRPC a Cloud Storage, se recomienda la versión
1.28.5-gke.1199000de GKE congke-metadata-server 0.4.285. Esta combinación admite la conectividad directa.
- Si creas y usas un
clúster virtual de Managed Service para Apache Spark en GKE
para tus solicitudes de gRPC a Cloud Storage, se recomienda la versión
Tú o el administrador de la organización deben otorgar roles de Identity and Access Management que incluyan los permisos necesarios para configurar y realizar solicitudes de gRPC al conector de Cloud Storage. Estos roles pueden incluir los siguientes:
- Rol de usuario: Rol de editor de Dataproc otorgado a los usuarios para permitirles crear clústeres y enviar trabajos
- Rol de la cuenta de servicio: Rol de usuario de objetos de almacenamiento otorgado a la cuenta de servicio de VM de Managed Service para Apache Spark para permitir que las aplicaciones que se ejecutan en las VMs del clúster vean, lean, creen y escriban objetos de Cloud Storage.
Habilita gRPC en el conector de Cloud Storage
Puedes habilitar gRPC en el conector de Cloud Storage a nivel de clúster o de trabajo. Una vez habilitado en el clúster, las solicitudes de lectura del conector de Cloud Storage usan gRPC. Si se habilita en un trabajo en lugar de a nivel del clúster, las solicitudes de lectura del conector de Cloud Storage usan gRPC solo para el trabajo.
Habilita un clúster
Para habilitar gRPC en el conector de Cloud Storage a nivel del clúster,
establece la propiedad core:fs.gs.client.type=STORAGE_CLIENT cuando
crees un clúster de Managed Service para Apache Spark.
Una vez que se habilita gRPC a nivel del clúster, las solicitudes de lectura del conector de Cloud Storage
que realizan los trabajos que se ejecutan en el clúster usan gRPC.
Ejemplo de gcloud CLI:
gcloud dataproc clusters create CLUSTER_NAME \
--project=PROJECT_ID \
--region=REGION \
--properties=core:fs.gs.client.type=STORAGE_CLIENT
Reemplaza lo siguiente:
- CLUSTER_NAME: Especifica un nombre para tu clúster.
- PROJECT_NAME: Es el ID del proyecto en el que se encuentra el clúster. Los IDs de proyecto se enumeran en la sección Información del proyecto en el panel de la consola de Google Cloud .
- REGION: Especifica una región de Compute Engine en la que se ubicará el clúster.
Habilita un trabajo
Para habilitar gRPC en el conector de Cloud Storage para un trabajo específico, incluye --properties=spark.hadoop.fs.gs.client.type=STORAGE_CLIENT
cuando envíes un trabajo.
Ejemplo: Ejecuta un trabajo en un clúster existente que use gRPC para leer desde Cloud Storage.
Crea una secuencia de comandos de PySpark
/tmp/line-count.pylocal que use gRPC para leer un archivo de texto de Cloud Storage y generar la cantidad de líneas del archivo.cat <<EOF >"/tmp/line-count.py" #!/usr/bin/python import sys from pyspark.sql import SparkSession path = sys.argv[1] spark = SparkSession.builder.getOrCreate() rdd = spark.read.text(path) lines_counter = rdd.count() print("There are {} lines in file: {}".format(lines_counter,path)) EOFCrea un archivo de texto
/tmp/line-count-sample.txtlocal.cat <<EOF >"/tmp/line-count-sample.txt" Line 1 Line 2 line 3 EOF
Sube los archivos
/tmp/line-count.pyy/tmp/line-count-sample.txtlocales a tu bucket en Cloud Storage.gcloud storage cp /tmp/line-count* gs://BUCKET
Ejecuta el trabajo de
line-count.pyen tu clúster. Establece--properties=spark.hadoop.fs.gs.client.type=STORAGE_CLIENTpara habilitar gRPC para las solicitudes de lectura del conector de Cloud Storage.gcloud dataproc jobs submit pyspark gs://BUCKET/line-count.py \ --cluster=CLUSTER_NAME \ --project=PROJECT_ID \ --region=REGION \ --properties=spark.hadoop.fs.gs.client.type=STORAGE_CLIENT \ -- gs://BUCKET/line-count-sample.txt
Reemplaza lo siguiente:
- CLUSTER_NAME: Es el nombre de un clúster existente.
- PROJECT_NAME: ID del proyecto Los IDs de los proyectos se enumeran en la sección Información del proyecto del panel de la consola de Google Cloud .
- REGION: Es la región de Compute Engine en la que se encuentra el clúster.
- BUCKET: Es tu bucket de Cloud Storage.
Genera métricas del cliente de gRPC
Puedes configurar el conector de Cloud Storage para generar métricas relacionadas con gRPC en Cloud Monitoring. Las métricas relacionadas con gRPC pueden ayudarte a hacer lo siguiente:
- Supervisa y optimiza el rendimiento de las solicitudes de gRPC a Cloud Storage
- Depura y soluciona problemas
- Obtén estadísticas sobre el uso y el comportamiento de las aplicaciones
Para obtener información sobre cómo configurar el conector de Cloud Storage para generar métricas relacionadas con gRPC, consulta Usa métricas del cliente de gRPC.
Recursos
- Consulta las propiedades de configuración del conector de Cloud Storage de GitHub.
- Consulta Conéctate a Cloud Storage con gRPC para usar el conector de Cloud Storage con bibliotecas cliente, Controles del servicio de VPC y otras situaciones.
- Obtén más información sobre Cloud Storage.
- Consulta Usa el conector de Cloud Storage con Apache Spark.
- Comprender el sistema de archivos de Apache Hadoop
- Consulta la referencia de Javadoc.