En este documento, se explica cómo completar las siguientes tareas:
- Configura instancias de máquina virtual (VM) de Dataflow para el acceso a Internet
- Usa etiquetas para proteger las redes de las VM de trabajador.
- Definir reglas de firewall para la red asociada a tus trabajos de Dataflow
En este documento, se requiere que tengas conocimientos básicos de las redes de Google Cloud . Para definir una red para tu trabajo de Dataflow, consulta Especifica tu red y subred. Para obtener más información sobre cómo solucionar problemas de herramientas de redes, consulta Soluciona problemas de herramientas de redes de Dataflow.
Acceso a las APIs de Google Cloud para Dataflow
Las máquinas virtuales (VMs) de trabajador de Dataflow deben llegar a las APIs y los servicios deGoogle Cloud . El conjunto de extremos de Google Cloud dependientes puede cambiar con el tiempo, pero todos admiten los Controles del servicio de VPC. Usa uno de los siguientes métodos para configurar el acceso a las APIs de Google Cloud :
Configura el Acceso privado a Google. Con el Acceso privado a Google, las VMs que solo tienen direcciones IP internas pueden acceder a las direcciones IP de Google Cloud y los servicios.
Configura una dirección IP de extremo de Private Service Connect para acceder a las APIs y los servicios de Google Cloud .
Configura las VMs de trabajador con direcciones IP externas.
De forma predeterminada, las reglas de firewall y las configuraciones de DNS permiten el acceso a las APIs de
Google Cloud . Sin embargo, es posible que estés restringiendo de forma activa el acceso a
un subconjunto de APIs de Google Cloud , como si usaras
los Controles del servicio de VPC.
En este caso, como mínimo, proporciona acceso a
restricted.googleapis.com. Si usas Private Service Connect,
proporciona acceso al paquete vpc-sc.
Proporcionar acceso a dominios más permisivos, como private.googleapis.com, también proporciona la funcionalidad requerida.
Para permitir el acceso a las APIs de Google Cloud necesarias a través de un dominio determinado, tu entorno debe cumplir con los siguientes requisitos:
Las reglas de firewall deben permitir la salida a todos los rangos de direcciones del dominio elegido.
El DNS debe resolver
*.googleapis.comen el dominio que elegiste.
Por ejemplo, si tus reglas de firewall limitan la salida al
rango de direcciones restricted.googleapis.com,
*.googleapis.com debe resolverse en direcciones dentro de ese rango.
Para obtener más información, consulta
Configura el DNS para googleapis.com.
Del mismo modo, si usas Private Service Connect,
debes crear registros DNS
para el dominio predeterminado googleapis.com para garantizar el acceso, al menos,
a todos los servicios del paquete
vpc-sc.
Acceso a Internet para Dataflow
Según tu caso de uso, es posible que tus VMs también necesiten acceso a recursos fuera de Google Cloud. Usa uno de los siguientes métodos para configurar el acceso a Internet de Dataflow:
Configura las VM de trabajador con una dirección IP externa para que cumplan con los requisitos de acceso a Internet.
Configura una solución NAT, como Cloud NAT. Esta opción es para ejecutar trabajos que acceden a las APIs y los servicios fuera de Google Cloud que requieren acceso a Internet. Por ejemplo, los trabajos del SDK de Python pueden requerir acceso al Índice de paquetes de Python (PyPI) para descargar dependencias de canalizaciones. En este caso, debes configurar VMs de trabajador con direcciones IP externas o usar Cloud NAT. También puedes proporcionar dependencias de canalización de Python durante el envío de trabajos. Por ejemplo, puedes usar contenedores personalizados para proporcionar dependencias de canalización de Python, lo que quita la necesidad de acceder a PyPI en el entorno de ejecución.
Para obtener más información, consulta Administra las dependencias de canalización de Python en la documentación de Apache Beam.
Desactiva la dirección IP externa
De forma predeterminada, Dataflow asigna direcciones IP externas e internas a los trabajadores. Cuando desactivas las direcciones IP externas, el trabajo de Dataflow solo puede acceder a los recursos en los siguientes lugares:
- Otra instancia en la misma red de VPC
- Una red de VPC compartida
- Una red con intercambio de tráfico de red de VPC habilitado
Sin direcciones IP externas, aún puedes realizar tareas administrativas y de supervisión. Puedes acceder a los trabajadores mediante SSH a través de las opciones enumeradas en la lista anterior. Sin embargo, la canalización no puede acceder a Internet y los hosts de Internet no pueden acceder a tus trabajadores de Dataflow.
Si no usas direcciones IP externas, puedes proteger mejor tu infraestructura de procesamiento de datos. También puedes reducir la cantidad de direcciones IP externas que consumes de tu cuota de proyecto deGoogle Cloud.
Si desactivas las direcciones IP externas, tus trabajos de Dataflow no podrán acceder a las APIs ni a los servicios fuera de Google Cloud que requieran acceso a Internet.
Para desactivar las direcciones IP externas, realiza una de las siguientes acciones:
Java
- Habilita el Acceso privado a Google para la red o subred.
- En los parámetros de tu trabajo de Dataflow, especifica
--usePublicIps=falsey--network=NETWORK-NAMEo--subnetwork=SUBNETWORK-NAME.Según tu elección, reemplaza una de las siguientes acciones:
- NETWORK-NAME: el nombre de tu red de Compute Engine.
- SUBNETWORK-NAME: el nombre de tu subred de Compute Engine.
Python
- Para almacenar en etapa intermedia todas las dependencias de paquetes de Python, sigue las instrucciones de las dependencias de canalizaciones de Apache Beam.
- Habilita el Acceso privado a Google para la red o subred.
-
En los parámetros de tu trabajo de Dataflow, especifica
--no_use_public_ipsy--network=NETWORKo--subnetwork=SUBNETWORK.Según tu elección, reemplaza una de las siguientes acciones:
- NETWORK-NAME: el nombre de tu red de Compute Engine.
- SUBNETWORK-NAME: el nombre de tu subred de Compute Engine.
Go
- Habilita el Acceso privado a Google para la red o subred.
-
En los parámetros de tu trabajo de Dataflow, especifica
--no_use_public_ipsy--network=NETWORKo--subnetwork=SUBNETWORK.Según tu elección, reemplaza una de las siguientes acciones:
- NETWORK-NAME: el nombre de tu red de Compute Engine.
- SUBNETWORK-NAME: el nombre de tu subred de Compute Engine.
gcloud
Habilita el Acceso privado a Google para la red o subred.
Cuando inicies tu trabajo de Dataflow, incluye la marca
--disable-public-ipsy especifica la marca--networko--subnetwork. Puedes usar uno de los siguientes comandos:En el siguiente ejemplo, se usa el comando
gcloud dataflow jobs run:gcloud dataflow jobs run JOB_NAME \ --gcs-location=gs://TEMPLATE_BUCKET/templates/TEMPLATE_NAME \ --region=REGION \ --staging-location=gs://TEMP_BUCKET/staging \ --network=NETWORK_NAME \ --subnetwork=SUBNETWORK_NAME \ --disable-public-ipsReemplaza los siguientes valores:
JOB_NAME: Es un nombre único para tu trabajo de Dataflow.TEMPLATE_BUCKETyTEMPLATE_NAME: el bucket de Cloud Storage y la ruta de acceso al archivo de plantilla.REGION: Es la región de Dataflow en la que deseas implementar el trabajo, comous-central1.TEMP_BUCKET: Es el bucket de Cloud Storage para archivos temporales y objetos binarios.NETWORK_NAME: Es el nombre de tu red de VPC.SUBNETWORK_NAME: Es el nombre o la URL de tu subred de VPC.
API
Habilita el Acceso privado a Google para la red o subred.
Cuando inicies tu trabajo o plantilla de Dataflow con el método
projects.locations.templates.launchde la API de REST de Dataflow, en el objetoenvironment, establece el campoipConfigurationenWORKER_IP_PRIVATEy especificanetworkosubnetwork:POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/templates:launch?gcsPath=gs://TEMPLATE_BUCKET/templates/TEMPLATE_NAME { "jobName": "JOB_NAME", "parameters": { "PARAM_KEY": "PARAM_VALUE" }, "environment": { "tempLocation": "gs://TEMP_BUCKET/temp", "network": "NETWORK_NAME", "subnetwork": "SUBNETWORK_NAME", "ipConfiguration": "WORKER_IP_PRIVATE" } }Reemplaza los siguientes valores:
PROJECT_ID: Es el ID del proyecto de Google Cloud .REGION: Es la región de Dataflow en la que deseas implementar el trabajo, comous-central1.TEMPLATE_BUCKETyTEMPLATE_NAME: el bucket de Cloud Storage y la ruta de acceso al archivo de plantilla.JOB_NAME: Es un nombre único para tu trabajo de Dataflow.PARAM_KEYyPARAM_VALUE: cualquier parámetro de plantilla que requiera tu canalización.TEMP_BUCKET: Es el nombre de tu bucket de Cloud Storage para archivos temporales.NETWORK_NAME: Es el nombre de tu red de VPC.SUBNETWORK_NAME: Es la URL o la ruta de acceso completa de tu subred de VPC.
El campo
ipConfigurationes de tipoWorkerIPAddressConfigurationy admite los siguientes valores enum:WORKER_IP_PRIVATE: A los trabajadores solo se les asignan direcciones IP internas. Las direcciones IP públicas están inhabilitadas. Requiere Acceso privado a Google.WORKER_IP_PUBLIC: A los trabajadores se les asignan direcciones IP públicas e internas.WORKER_IP_UNSPECIFIED: Usa la configuración predeterminada (los trabajadores reciben direcciones IP públicas e internas).
Usa etiquetas para proteger las redes de las VM de trabajador
Las etiquetas te permiten aplicar reglas de firewall de red a instancias de VM específicas. Cuando ejecutas un trabajo de Dataflow, puedes especificar etiquetas para las VMs de trabajador de Dataflow que ejecutan el trabajo. Luego, las reglas de firewall para esas etiquetas se aplican a las VMs de trabajador de Dataflow.
Dataflow admite dos tipos de etiquetas para las redes de VM:
Usa etiquetas seguras con Dataflow
Las etiquetas seguras, también llamadas etiquetas regidas por Identity and Access Management (IAM), son pares clave-valor que creas y administras en Resource Manager. A diferencia de las etiquetas de red, las etiquetas seguras admiten el control de acceso con IAM.
Los beneficios de usar etiquetas seguras, en lugar de etiquetas de red, incluyen los siguientes:
Las etiquetas seguras evitan la modificación no autorizada de las etiquetas y los cambios no deseados resultantes en las reglas de firewall.
Las políticas de firewall de red globales y regionales admiten etiquetas seguras. Con las etiquetas seguras, puedes agrupar varias reglas de firewall y actualizarlas de forma simultánea, con las actualizaciones regidas por los controles de acceso de IAM.
Las etiquetas seguras se heredan de los recursos superiores en la jerarquía de Google Cloud , lo que te permite definir etiquetas en niveles más altos, como el nivel de la organización. Para obtener más información, consulta Herencia de etiquetas.
Con las etiquetas seguras, las reglas de firewall de entrada pueden incluir fuentes en redes de VPC conectadas con el intercambio de tráfico entre redes de VPC. En el caso de los trabajos de Dataflow, eso significa que una regla de firewall puede incluir fuentes tanto en la red de VM de trabajador como en las redes de VPC con intercambio de tráfico.
Para obtener más información sobre las diferencias entre las etiquetas seguras y las etiquetas de red, consulta Comparación de etiquetas y etiquetas de red.
Para aplicar etiquetas seguras a un trabajo de Dataflow, sigue estos pasos:
Configura etiquetas seguras para tus políticas de firewall. Para obtener más información, consulta Configura etiquetas seguras.
Otorga el rol de usuario de etiquetas (
roles/resourcemanager.tagUser) a la cuenta de servicio de Dataflow en el recurso (valores de etiqueta). Para obtener más información sobre los permisos necesarios, consulta Administra etiquetas en los recursos.Cuando crees el trabajo de Dataflow, usa la opción de servicio
use_vm_tagscon el siguiente formato:
Java
--dataflowServiceOptions=use_vm_tags=tagKeys/KEY1:tagValues/VALUE1;tagKeys/KEY2:tagValues/VALUE2
Python
--dataflow_service_options=use_vm_tags=tagKeys/KEY1:tagValues/VALUE1;tagKeys/KEY2:tagValues/VALUE2
Go
--dataflow_service_options=use_vm_tags=tagKeys/KEY1:tagValues/VALUE1;tagKeys/KEY2:tagValues/VALUE2
gcloud
Usa el
comando gcloud dataflow jobs run
con la opción additional-experiments. Si usas plantillas de Flex, usa
el comando
gcloud dataflow flex-template run.
--additional-experiments=use_vm_tags=tagKeys/KEY1:tagValues/VALUE1;tagKeys/KEY2:tagValues/VALUE2
Usa etiquetas de red con Dataflow
Las etiquetas de red son atributos de texto que puedes establecer en las reglas de firewall y adjuntar a las VMs de Compute Engine. A diferencia de las etiquetas seguras, las etiquetas de red son cadenas de texto; no son un recurso que administra Resource Manager.
Para aplicar etiquetas de red a un trabajo de Dataflow, usa el
use_network_tags
experimento, como
se indica a continuación:
Java
--dataflowServiceOptions=use_network_tags=TAG_NAME
Python
--dataflow_service_options=use_network_tags=TAG_NAME
Go
--dataflow_service_options=use_network_tags=TAG_NAME
gcloud
Usa el
comando gcloud dataflow jobs run
con la opción additional-experiments. Si usas plantillas de Flex, usa
el comando
gcloud dataflow flex-template run.
--additional-experiments=use_network_tags=TAG_NAME
Si especificas la etiqueta de red, también se agrega la etiqueta de red predeterminada
Dataflow a las VMs del selector de plantilla de Flex.
Reemplaza TAG_NAME por los nombres de las etiquetas. Si agregas
más de una etiqueta, separa cada una con un punto y coma (;) de la siguiente manera:
TAG_NAME_1;TAG_NAME_2;TAG_NAME_3;....
Después de que se inicia un trabajo, no puedes agregarle más etiquetas de red.
Dataflow siempre agrega la etiqueta de red predeterminada dataflow a cada
VM de trabajador que crea.
Consulta los límites que se aplican a las etiquetas de red.
Reglas de firewall para Dataflow
Las reglas de firewall permiten o rechazan el tráfico desde y hacia tus VMs. Si tus
trabajos de Dataflow usan
Dataflow Shuffle o
Streaming Engine, solo debes
asegurarte de que las reglas de firewall permitan el acceso a las APIs de Google Cloud .
De lo contrario, debes configurar reglas de firewall adicionales para que
las VMs de Dataflow puedan enviar y recibir tráfico de red en el puerto TCP
12345 para los trabajos de transmisión y en el puerto TCP 12346 para los trabajos por lotes.
Un propietario del proyecto, editor o administrador de seguridad debe crear las reglas de firewall necesarias en la red de VPC que usan las VMs de Dataflow.
Antes de configurar las reglas de firewall para Dataflow, lee los siguientes documentos:
Descripción general de las reglas de firewall de VPC y Usa reglas de firewall de VPC
Descripción general de las políticas de firewall jerárquicas y Usa reglas y políticas jerárquicas de firewall
Cuando crees reglas de firewall para Dataflow, especifica las etiquetas de red de Dataflow. De lo contrario, las reglas de firewall se aplican a todas las VM de la red de VPC.
Cuando corresponde, las políticas de firewall jerárquicas se evalúan primero y estas reglas reemplazan las reglas de firewall
de VPC. Si el trabajo de Dataflow se encuentra en un proyecto que forma parte de una carpeta o
una organización en la que se usan políticas de firewall jerárquicas, se requiere el
rol compute.orgFirewallPolicyAdmin para realizar modificaciones en las políticas.
Si no creas etiquetas de red personalizadas cuando ejecutas el código de la canalización,
las VMs de Dataflow usan la etiqueta predeterminada dataflow. Si no hay etiquetas de red personalizadas, crea las reglas de firewall con la etiqueta dataflow predeterminada.
Si creas etiquetas de red personalizadas cuando ejecutas el código de la canalización, las VMs de Dataflow usan esas etiquetas. Crea las reglas de firewall con las etiquetas personalizadas.
Algunas redes de VPC, como la red default creada de forma automática, incluyen una regla default-allow-internal que cumple con los requisitos de firewall de Dataflow.
Ejemplo de regla de entrada de firewall
La regla de firewall de entrada permite que las VM de Dataflow reciban paquetes entre sí. Siempre debes crear reglas de firewall de permiso de entrada o el tráfico siempre está bloqueado, incluso si las reglas de salida permiten dicho tráfico.
En el siguiente ejemplo, se crea una regla de entrada de firewall para Dataflow, en la que todas las VM de trabajador tienen la etiqueta de red predeterminada dataflow. Un propietario del proyecto, editor o administrador de seguridad puede usar el siguiente comando de gcloud para crear una regla de permiso de entrada que permita el tráfico en los puertos TCP 12345 y 12346 desde las VMs con la etiqueta de red dataflow a otras VMs con la misma etiqueta:
gcloud compute firewall-rules create FIREWALL_RULE_NAME_INGRESS \
--action=allow \
--direction=ingress \
--network=NETWORK \
--target-tags=CUSTOM_TAG \
--source-tags=CUSTOM_TAG \
--priority=PRIORITY_NUM \
--rules tcp:12345-12346
Reemplaza lo siguiente:
FIREWALL_RULE_NAME_INGRESSes un nombre para la regla de firewall.NETWORKes el nombre de la red que usan las VM de trabajadores.CUSTOM_TAG: es una lista delimitada por comas de etiquetas de red.A continuación, se muestra una lista de lineamientos para usar etiquetas de red:
Si omites
--target-tags, la regla se aplica a todas las VM de la red de VPC.Si omites
--source-tagsy todas las demás especificaciones de origen, se permite el tráfico de cualquier fuente.Si no especificaste etiquetas de red personalizadas y quieres que la regla sea específica de las VM de Dataflow, usa
dataflowcomo etiqueta de red.Si especificaste etiquetas de red personalizadas y quieres que la regla sea específica para las VM de Dataflow, usa las etiquetas de red personalizadas.
PRIORITY_NUM: la prioridad de la regla de firewall.Los números más bajos tienen prioridades más altas, y
0es la prioridad más alta.
Ejemplo de regla de salida de firewall
La regla de firewall de salida permite que las VM de Dataflow se envíen paquetes entre sí. Si creaste reglas de firewall de denegación de salida, es posible que debas crear reglas de firewall de permiso de salida personalizadas en tu red de VPC.
En este ejemplo, se crea una regla de salida de firewall para Dataflow, en la que todas las VM de trabajador tienen la etiqueta de red predeterminada de dataflow. Un propietario,
editor o administrador de seguridad del proyecto puede usar el siguiente comando de gcloud para
crear una regla de permiso de salida que permita el tráfico de los puertos TCP 12345 y 12346
en las VMs con la etiqueta de red dataflow a otras VMs con la misma etiqueta:
gcloud compute firewall-rules create FIREWALL_RULE_NAME_EGRESS \
--network=NETWORK \
--action=allow \
--direction=egress \
--target-tags=CUSTOM_TAG \
--source-tags=CUSTOM_TAG \
--destination-ranges=DESTINATION-RANGES\
--priority=PRIORITY_NUM \
--rules tcp:12345-12346
Reemplaza lo siguiente:
FIREWALL_RULE_NAME_EGRESSes un nombre para la regla de firewall.NETWORKes el nombre de la red que usan las VM de trabajadores.CUSTOM_TAG: es una lista delimitada por comas de etiquetas de red.A continuación, se muestra una lista de lineamientos para usar etiquetas de red:
Si omites
--target-tags, la regla se aplica a todas las VM de la red de VPC.Si omites
--source-tagsy todas las demás especificaciones de origen, se permite el tráfico de cualquier fuente.Si no especificaste etiquetas de red personalizadas y quieres que la regla sea específica de las VM de Dataflow, usa
dataflowcomo etiqueta de red.Si especificaste etiquetas de red personalizadas y quieres que la regla sea específica para las VM de Dataflow, usa las etiquetas de red personalizadas.
DESTINATION-RANGES: una lista delimitada por comas de CIDRIncluye el rango de direcciones IP principal de la subred seleccionada.
PRIORITY_NUM: la prioridad de la regla de firewall.Los números más bajos tienen prioridades más altas, y
0es la prioridad más alta.
Para conocer los puertos TCP específicos que usa Dataflow, puedes ver el manifiesto del contenedor del proyecto. El manifiesto del contenedor especifica de manera explícita los puertos para asignar puertos de host al contenedor.
Acceso SSH a las VM de trabajador
Dataflow no requiere SSH; sin embargo, SSH es útil para la solución de problemas.
Si tu VM de trabajador tiene una dirección IP externa, puedes
conectarte a la VM a través de
la consola de Google Cloud o con Google Cloud CLI. Para conectarte
con SSH, debes tener una regla de firewall que permita conexiones entrantes en el puerto TCP
22 desde, al menos, la dirección IP del sistema en el que ejecutas
gcloud o el sistema que ejecuta el navegador web que usas para acceder a la
consola deGoogle Cloud .
Para ver la configuración y la actividad de red, abre una
sesión SSH en uno de tus trabajadores
y ejecuta iproute2. Para obtener más información, consulta la
página de iproute2 en la
wiki de Linux Foundation.
Si necesitas conectarte a una VM de trabajador que solo tiene una dirección IP interna, consulta Elige una opción de conexión para VMs solo internas.
¿Qué sigue?
- Obtén información sobre las pruebas de conectividad. Las pruebas de conectividad son una herramienta de diagnóstico que te permite verificar la conectividad entre los extremos de red.
- Crea y ejecuta pruebas de conectividad.