Una transmisión en Datastream te permite replicar datos y cambios de esquema de una fuente de datos en BigQuery, tablas de Apache Iceberg o un bucket de Cloud Storage. En el asistente de la consola de Google Cloud , selecciona perfiles de conexión y elige qué esquemas, tablas u objetos replicar. También configuras el reabastecimiento histórico junto con la replicación en curso.
Antes de iniciar la replicación, puedes validar la transmisión para verificar la configuración de origen, confirmar la conectividad de red con el destino y comprobar la configuración de extremo a extremo.
Antes de comenzar
- Asegúrate de haber configurado la base de datos de origen para la replicación. Para obtener información sobre los pasos necesarios para cada tipo de fuente compatible, consulta Configura fuentes.
- Descubre qué pasos podrían ser necesarios para configurar el destino seleccionado. Para obtener más información, consulta Configura destinos.
Define la configuración de la transmisión
Ve a la página Transmisiones en la consola de Google Cloud .
Haz clic en CREAR TRANSMISIÓN.
Usa la siguiente tabla para completar los campos de la sección Define los detalles de la transmisión de la página Crear transmisión:
Campo Descripción Nombre de la transmisión Ingresa el nombre visible de la transmisión. ID de flujo Datastream completa este campo automáticamente según el nombre de la transmisión que ingreses. Puedes conservar el ID que se genera automáticamente o cambiarlo. Región Selecciona la región en la que se almacena la transmisión. Las transmisiones, como todos los recursos, se guardan en una región. La selección de la región no afecta si tu transmisión puede conectarse a la base de datos de origen o al destino, pero puede afectar la disponibilidad si la región experimenta un tiempo de inactividad. Te recomendamos que mantengas todos los recursos de la transmisión en la misma región que tus datos de origen para optimizar el costo y el rendimiento. Tipo de fuente Selecciona el tipo de perfil que especificaste cuando creaste un perfil de conexión para tu fuente. Si aún no creaste un perfil de conexión para la base de datos de origen, puedes hacerlo ahora.
Tipo de destino Selecciona el tipo de perfil que especificaste cuando creaste un perfil de conexión para un destino de BigQuery o Cloud Storage. O bien, si no creaste un perfil de conexión para el destino, puedes crear uno ahora. Encriptación De forma predeterminada, tus datos se encriptan con una clave administrada por Google Cloud. Si quieres administrar la encriptación, puedes usar una clave de encriptación administrada por el cliente (CMEK):
- Selecciona la casilla de verificación Clave de Cloud KMS.
- En el menú desplegable Tipo de clave, selecciona Cloud KMS y, luego, tu CMEK.
Si no ves la clave, haz clic en INGRESAR EL NOMBRE DEL RECURSO DE LA CLAVE para proporcionar el nombre del recurso de la clave que quieres usar. Por ejemplo, puedes ingresar
projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-keyen el campo Nombre del recurso de la clave y, luego, hacer clic en GUARDAR.De manera opcional, usa etiquetas para organizar tus recursos de Datastream.
- Para crear una etiqueta, haz clic en AGREGAR ETIQUETA y, luego, ingresa el par clave-valor de la etiqueta.
- Para quitar la etiqueta, haz clic en el ícono de papelera a la derecha de la fila que contiene la etiqueta.
De manera opcional, agrega políticas de alertas para tu transmisión. Las políticas de alertas definen cuándo y cómo quieres recibir notificaciones sobre las fallas de transmisión.
- Para crear una política de alertas, haz clic en Agregar política de alertas.
- Aparecerá la página Crear política de alertas en Cloud Monitoring. En esta página, definirás la política de alertas en caso de que falle tu transmisión.
Para obtener más información sobre las políticas de alertas, consulta Administra las políticas de alertas basadas en métricas.
Revisa los requisitos previos necesarios que se generan de forma automática para reflejar cómo se debe preparar el entorno para una transmisión. Estos requisitos previos pueden incluir cómo configurar la base de datos de origen y cómo conectarla al destino. Se recomienda completar estos requisitos previos en este paso, pero puedes completarlos en cualquier momento antes de probar o iniciar la transmisión. Para obtener más información sobre estos requisitos previos, consulta Fuentes.
Haz clic en CONTINUAR. Aparecerá el panel Define el perfil de conexión de la página Crear transmisión para el tipo de base de datos de origen.
Especifica la información sobre el perfil de conexión de origen
Si creaste un perfil de conexión de origen, selecciónalo de la lista de perfiles de conexión.
Si no creaste un perfil de conexión fuente, haz crea uno haciendo clic en CREAR PERFIL DE CONEXIÓN en la parte inferior de la lista desplegable y, luego, realiza los mismos pasos que se indican en Crear perfiles de conexión.
Haz clic en EJECUTAR PRUEBA para verificar que la base de datos de origen y Datastream puedan comunicarse entre sí.
Si la prueba falla, aparecerá el problema asociado con el perfil de conexión. Consulta la página Diagnostica problemas para conocer los pasos para solucionar problemas. Realiza los cambios necesarios para corregir el problema y, luego, vuelve a probar.
Haga clic en CONTINUE. Aparecerá el panel Configurar origen de transmisión de la página Crear transmisión.
Configura la información sobre la base de datos de origen de la transmisión
Configura una base de datos de origen de PostgreSQL
- Define las propiedades de replicación para tu base de datos de origen de PostgreSQL. En la sección Propiedades de replicación, especifica las siguientes propiedades:
- En el campo Nombre de la ranura de replicación, ingresa el nombre de la ranura que creaste específicamente para esta transmisión. El servidor de la base de datos usa esta ranura para enviar eventos a Datastream.
- En el campo Nombre de la publicación, ingresa el nombre de la publicación que creaste en la base de datos. Una publicación es un grupo de todas las tablas de las que deseas replicar los cambios con este flujo.
- En la sección Selecciona los objetos que se incluirán, usa el menú desplegable Objetos que se incluyen para especificar las tablas y los esquemas de la base de datos de origen que Datastream puede transferir al destino.
- Si quieres que Datastream transfiera todas las tablas y los esquemas, selecciona Todas las tablas de todos los esquemas.
- Si quieres que Datastream transfiera solo tablas y esquemas específicos, selecciona Esquemas y tablas específicos y, luego, selecciona las casillas de verificación de los esquemas y las tablas que quieres que Datastream extraiga.
- Para proporcionar una definición textual de las tablas y los esquemas que quieres que Datastream transfiera, selecciona Personalizado y, luego, en el campo Criterios de coincidencia de objetos, ingresa los esquemas y las tablas que quieres que Datastream extraiga. Si tu base de datos tiene una gran cantidad de tablas y esquemas, te recomendamos que uses la opción Personalizada, ya que es posible que algunas tablas y esquemas no se incluyan en la lista de objetos que se extraerán.
- Si tu destino es BigQuery, puedes configurar la partición y el agrupamiento en clústeres para tus tablas:
- Para cada tabla en la que desees configurar la partición o el agrupamiento en clústeres, haz clic en Seleccionar columnas.
- Para configurar la partición, en la sección Partición, selecciona una
de las siguientes opciones:
- Sin particionar: Cuando seleccionas esta opción, no se aplica ninguna partición a tus tablas.
- Partición por tiempo de transferencia: Cuando seleccionas esta opción, los datos se organizan en particiones basadas en el tiempo. Selecciona un valor de la lista Tipo de partición para configurar el nivel de detalle de la partición con las opciones disponibles: por hora, por día, por mes o por año. El nivel de detalle predeterminado es Diario.
- Partición por campo: Cuando seleccionas esta opción, debes seleccionar la columna de origen por la que deseas particionar la tabla y el tipo de partición. Solo se pueden seleccionar columnas de origen con tipos de datos compatibles. Para obtener información sobre los tipos de datos de origen admitidos y los tipos de partición disponibles, consulta Configura la partición y el agrupamiento en clústeres para un destino de BigQuery.
De manera opcional, selecciona la opción Filtro de partición. Si seleccionas esta opción, se requiere un filtro de partición en todas las consultas de esta tabla. Un filtro de partición puede reducir los costos y mejorar el rendimiento. Si deseas obtener más información, consulta Configura requisitos para filtros de partición.
- Para configurar el agrupamiento en clústeres, en la sección Agrupamiento en clústeres, selecciona los campos por los que deseas agrupar la tabla. Puedes seleccionar hasta cuatro campos. El orden en el que agregas los campos de agrupamiento en clústeres determina la clasificación de los datos. Si no especificas la configuración de agrupamiento en clústeres para una tabla, Datastream usa de forma predeterminada hasta cuatro claves primarias de la tabla de origen como claves de agrupamiento en clústeres en BigQuery.
- Haz clic en Guardar para guardar la configuración.
Para obtener más información sobre la partición y el agrupamiento en clústeres, consulta Configura la partición y el agrupamiento en clústeres.
- De manera opcional, expande el nodo Selecciona los objetos que quieres excluir. En el campo Objetos que se excluirán, ingresa las tablas y los esquemas de la base de datos de origen de los que quieres restringir la extracción de Datastream. La lista Objetos para excluir tiene prioridad sobre la lista Objetos para incluir. Si un objeto cumple con los criterios de las listas de inclusión y exclusión, se excluye de la transmisión.
- De manera opcional, expande el nodo Elige el modo de reabastecimiento para los datos históricos y, luego, selecciona una de las siguientes opciones:
- Selecciona la opción Automático para transmitir todos los datos existentes, además de los cambios en los datos, de la fuente al destino. En el campo Objetos excluidos del reabastecimiento automático, ingresa las tablas y los esquemas de la base de datos de origen que deseas que Datastream no reabastezca en el destino.
- Selecciona la opción Manual para transmitir solo los cambios en los datos al destino.
- Haz clic en CONTINUAR. Aparecerá el panel Define el perfil de conexión de la página Crear transmisión para tu tipo de destino.
Configura una base de datos de origen de MySQL
- En la sección Selecciona los objetos que se incluirán, usa el menú desplegable Objetos que se incluyen para especificar las tablas y los esquemas de la base de datos de origen que Datastream puede transferir al destino.
- Si quieres que Datastream transfiera todas las tablas y los esquemas, selecciona Todas las tablas de todos los esquemas.
- Si quieres que Datastream transfiera solo tablas y esquemas específicos, selecciona Esquemas y tablas específicos y, luego, selecciona las casillas de verificación de los esquemas y las tablas que quieres que Datastream extraiga.
- Para proporcionar una definición textual de las tablas y los esquemas que quieres que Datastream transfiera, selecciona Personalizado y, luego, en el campo Criterios de coincidencia de objetos, ingresa los esquemas y las tablas que quieres que Datastream extraiga. Si tu base de datos tiene una gran cantidad de tablas y esquemas, te recomendamos que uses la opción Personalizada, ya que es posible que algunas tablas y esquemas no se incluyan en la lista de objetos que se extraerán.
- Si tu destino es BigQuery, puedes configurar la partición y el agrupamiento en clústeres para tus tablas:
- Para cada tabla en la que desees configurar la partición o el agrupamiento en clústeres, haz clic en Seleccionar columnas.
- Para configurar la partición, en la sección Partición, selecciona una
de las siguientes opciones:
- Sin particionar: Cuando seleccionas esta opción, no se aplica ninguna partición a tus tablas.
- Partición por tiempo de transferencia: Cuando seleccionas esta opción, los datos se organizan en particiones basadas en el tiempo. Selecciona un valor de la lista Tipo de partición para configurar el nivel de detalle de la partición con las opciones disponibles: por hora, por día, por mes o por año. El nivel de detalle predeterminado es Diario.
- Partición por campo: Cuando seleccionas esta opción, debes seleccionar la columna de origen por la que deseas particionar la tabla y el tipo de partición. Solo se pueden seleccionar columnas de origen con tipos de datos compatibles. Para obtener información sobre los tipos de datos de origen admitidos y los tipos de partición disponibles, consulta Configura la partición y el agrupamiento en clústeres para un destino de BigQuery.
De manera opcional, selecciona la opción Filtro de partición. Si seleccionas esta opción, se requiere un filtro de partición en todas las consultas de esta tabla. Un filtro de partición puede reducir los costos y mejorar el rendimiento. Si deseas obtener más información, consulta Configura requisitos para filtros de partición.
- Para configurar el agrupamiento en clústeres, en la sección Agrupamiento en clústeres, selecciona los campos por los que deseas agrupar la tabla. Puedes seleccionar hasta cuatro campos. El orden en el que agregas los campos de agrupamiento en clústeres determina la clasificación de los datos. Si no especificas la configuración de agrupamiento en clústeres para una tabla, Datastream usa de forma predeterminada hasta cuatro claves primarias de la tabla de origen como claves de agrupamiento en clústeres en BigQuery.
- Haz clic en Guardar para guardar la configuración.
Para obtener más información sobre la partición y el agrupamiento en clústeres, consulta Configura la partición y el agrupamiento en clústeres.
- De manera opcional, expande el nodo Selecciona los objetos que quieres excluir. En el campo Objetos que se excluirán, ingresa las tablas y los esquemas de la base de datos de origen de los que quieres restringir la extracción de Datastream. La lista Objetos para excluir tiene prioridad sobre la lista Objetos para incluir. Si un objeto cumple con los criterios de las listas de inclusión y exclusión, se excluye de la transmisión.
- Especifica el método de CDC para tu transmisión:
- Replicación basada en GTID (ID de transacciones globales): Selecciona este método si quieres que Datastream admita conmutaciones por error y proporcione una replicación sin interrupciones, independientemente de los cambios en tu clúster de base de datos.
- Replicación basada en binlog: Selecciona este método para leer y replicar los cambios directamente desde los archivos de registro binario de una instancia de base de datos seleccionada. No puedes cambiar una transmisión en ejecución a una instancia de origen o una réplica diferente con este método de CDC.
- De manera opcional, expande el nodo Elige el modo de reabastecimiento para los datos históricos y, luego, selecciona una de las siguientes opciones:
- Selecciona la opción Automático para transmitir todos los datos existentes, además de los cambios en los datos, de la fuente al destino. En el campo Objetos excluidos del reabastecimiento automático, ingresa las tablas y los esquemas de la base de datos de origen que deseas que Datastream no reabastezca en el destino.
- Selecciona la opción Manual para transmitir solo los cambios en los datos al destino.
- Haz clic en CONTINUAR. Aparecerá el panel Define el perfil de conexión de la página Crear transmisión para tu tipo de destino.
Configura una base de datos de origen de Oracle
- En la sección Selecciona los objetos que se incluirán, usa el menú desplegable Objetos que se incluyen para especificar las tablas y los esquemas de la base de datos de origen que Datastream puede transferir al destino.
- Si quieres que Datastream transfiera todas las tablas y los esquemas, selecciona Todas las tablas de todos los esquemas.
- Si quieres que Datastream transfiera solo tablas y esquemas específicos, selecciona Esquemas y tablas específicos y, luego, selecciona las casillas de verificación de los esquemas y las tablas que quieres que Datastream extraiga.
- Para proporcionar una definición textual de las tablas y los esquemas que quieres que Datastream transfiera, selecciona Personalizado y, luego, en el campo Criterios de coincidencia de objetos, ingresa los esquemas y las tablas que quieres que Datastream extraiga. Si tu base de datos tiene una gran cantidad de tablas y esquemas, te recomendamos que uses la opción Personalizada, ya que es posible que algunas tablas y esquemas no se incluyan en la lista de objetos que se extraerán.
- Si tu destino es BigQuery, puedes configurar la partición y el agrupamiento en clústeres para tus tablas:
- Para cada tabla en la que desees configurar la partición o el agrupamiento en clústeres, haz clic en Seleccionar columnas.
- Para configurar la partición, en la sección Partición, selecciona una
de las siguientes opciones:
- Sin particionar: Cuando seleccionas esta opción, no se aplica ninguna partición a tus tablas.
- Partición por tiempo de transferencia: Cuando seleccionas esta opción, los datos se organizan en particiones basadas en el tiempo. Selecciona un valor de la lista Tipo de partición para configurar el nivel de detalle de la partición con las opciones disponibles: por hora, por día, por mes o por año. El nivel de detalle predeterminado es Diario.
- Partición por campo: Cuando seleccionas esta opción, debes seleccionar la columna de origen por la que deseas particionar la tabla y el tipo de partición. Solo se pueden seleccionar columnas de origen con tipos de datos compatibles. Para obtener información sobre los tipos de datos de origen admitidos y los tipos de partición disponibles, consulta Configura la partición y el agrupamiento en clústeres para un destino de BigQuery.
De manera opcional, selecciona la opción Filtro de partición. Si seleccionas esta opción, se requiere un filtro de partición en todas las consultas de esta tabla. Un filtro de partición puede reducir los costos y mejorar el rendimiento. Si deseas obtener más información, consulta Configura requisitos para filtros de partición.
- Para configurar el agrupamiento en clústeres, en la sección Agrupamiento en clústeres, selecciona los campos por los que deseas agrupar la tabla. Puedes seleccionar hasta cuatro campos. El orden en el que agregas los campos de agrupamiento en clústeres determina la clasificación de los datos. Si no especificas la configuración de agrupamiento en clústeres para una tabla, Datastream usa de forma predeterminada hasta cuatro claves primarias de la tabla de origen como claves de agrupamiento en clústeres en BigQuery.
- Haz clic en Guardar para guardar la configuración.
Para obtener más información sobre la partición y el agrupamiento en clústeres, consulta Configura la partición y el agrupamiento en clústeres.
- De manera opcional, expande el nodo Selecciona los objetos que quieres excluir. En el campo Objetos que se excluirán, ingresa las tablas y los esquemas de la base de datos de origen de los que quieres restringir la extracción de Datastream. La lista Objetos para excluir tiene prioridad sobre la lista Objetos para incluir. Si un objeto cumple con los criterios de las listas de inclusión y exclusión, se excluye de la transmisión.
- Especifica el método de CDC para tu transmisión:
- LogMiner: Selecciona este método para consultar los registros de rehacer archivados con la API de LogMiner. LogMiner es compatible con la mayoría de las opciones disponibles para Oracle, como las opciones de encriptación y compresión.
- Lector binario (versión preliminar): Selecciona este método para extraer los cambios directamente de los registros de Oracle. Esto permite una replicación más rápida de las bases de datos de Oracle grandes y una reducción de la latencia y la sobrecarga. Cuando seleccionas esta opción, se muestra un menú desplegable adicional. Selecciona la forma en que deseas acceder a tus archivos de registro de Oracle:
- Administración automática de almacenamiento (ASM): Selecciona esta opción si tu base de datos usa ASM. Asegúrate de haber seleccionado la casilla de verificación Habilitar el acceso de ASM para el lector binario y de haber completado los detalles de tu instancia de ASM en tu perfil de conexión de origen.
- Directorios de la base de datos: Elige esta opción si no usas ASM para almacenar tus archivos de registro. Si seleccionas directorios de bases de datos, debes proporcionar los nombres de los directorios de registros de rehacer y de registros archivados.
- De manera opcional, expande el nodo Elige el modo de reabastecimiento para los datos históricos y, luego, selecciona una de las siguientes opciones:
- Selecciona la opción Automático para transmitir todos los datos existentes, además de los cambios en los datos, de la fuente al destino. En el campo Objetos excluidos del reabastecimiento automático, ingresa las tablas y los esquemas de la base de datos de origen que deseas que Datastream no reabastezca en el destino.
- Selecciona la opción Manual para transmitir solo los cambios en los datos al destino.
- Haz clic en CONTINUAR. Aparecerá el panel Define el perfil de conexión de la página Crear transmisión para tu tipo de destino.
Configura una base de datos de origen de SQL Server
- En la sección Selecciona los objetos que se incluirán, usa el menú desplegable Objetos que se incluyen para especificar las tablas y los esquemas de la base de datos de origen que Datastream puede transferir al destino.
- Si quieres que Datastream transfiera todas las tablas y los esquemas, selecciona Todas las tablas de todos los esquemas.
- Si quieres que Datastream transfiera solo tablas y esquemas específicos, selecciona Esquemas y tablas específicos y, luego, selecciona las casillas de verificación de los esquemas y las tablas que quieres que Datastream extraiga.
- Para proporcionar una definición textual de las tablas y los esquemas que quieres que Datastream transfiera, selecciona Personalizado y, luego, en el campo Criterios de coincidencia de objetos, ingresa los esquemas y las tablas que quieres que Datastream extraiga. Si tu base de datos tiene una gran cantidad de tablas y esquemas, te recomendamos que uses la opción Personalizada, ya que es posible que algunas tablas y esquemas no se incluyan en la lista de objetos que se extraerán.
- Si tu destino es BigQuery, puedes configurar la partición y el agrupamiento en clústeres para tus tablas:
- Para cada tabla en la que desees configurar la partición o el agrupamiento en clústeres, haz clic en Seleccionar columnas.
- Para configurar la partición, en la sección Partición, selecciona una
de las siguientes opciones:
- Sin particionar: Cuando seleccionas esta opción, no se aplica ninguna partición a tus tablas.
- Partición por tiempo de transferencia: Cuando seleccionas esta opción, los datos se organizan en particiones basadas en el tiempo. Selecciona un valor de la lista Tipo de partición para configurar el nivel de detalle de la partición con las opciones disponibles: por hora, por día, por mes o por año. El nivel de detalle predeterminado es Diario.
- Partición por campo: Cuando seleccionas esta opción, debes elegir la columna de origen por la que deseas particionar la tabla y el tipo de partición. Solo se pueden seleccionar columnas de origen con tipos de datos compatibles. Para obtener información sobre los tipos de datos de origen admitidos y los tipos de partición disponibles, consulta Configura la partición y el agrupamiento en clústeres para un destino de BigQuery.
De manera opcional, selecciona la opción Filtro de partición. Si seleccionas esta opción, se requiere un filtro de partición en todas las consultas de esta tabla. Un filtro de partición puede reducir los costos y mejorar el rendimiento. Si deseas obtener más información, consulta Configura requisitos para filtros de partición.
- Para configurar el agrupamiento en clústeres, en la sección Agrupamiento en clústeres, selecciona los campos por los que deseas agrupar la tabla. Puedes seleccionar hasta cuatro campos. El orden en el que agregas los campos de agrupamiento en clústeres determina la clasificación de los datos. Si no especificas la configuración de agrupamiento en clústeres para una tabla, Datastream usa de forma predeterminada hasta cuatro claves primarias de la tabla de origen como claves de agrupamiento en clústeres en BigQuery.
- Haz clic en Guardar para guardar la configuración.
Para obtener más información sobre la partición y el agrupamiento en clústeres, consulta Configura la partición y el agrupamiento en clústeres.
- De manera opcional, expande el nodo Selecciona los objetos que quieres excluir. En el campo Objetos que se excluirán, ingresa las tablas y los esquemas de la base de datos de origen de los que quieres restringir la extracción de Datastream. La lista Objetos para excluir tiene prioridad sobre la lista Objetos para incluir. Si un objeto cumple con los criterios de las listas de inclusión y exclusión, se excluye de la transmisión.
- Especifica el método de CDC para tu transmisión:
- Registros de transacciones: Selecciona este método para procesar los cambios directamente desde los registros de la base de datos. Este método brinda el mejor rendimiento y es más eficiente, pero requiere pasos de configuración adicionales.
- Tablas de cambios: Selecciona este método para procesar los cambios de las tablas de cambios dedicadas. Este método es más fácil de configurar y tiene menos limitaciones, pero admite una capacidad de procesamiento más baja y produce una carga más alta en tu base de datos que el método de registros de transacciones.
- De manera opcional, expande el nodo Elige el modo de reabastecimiento para los datos históricos y, luego, selecciona una de las siguientes opciones:
- Selecciona la opción Automático para transmitir todos los datos existentes, además de los cambios en los datos, de la fuente al destino. En el campo Objetos excluidos del reabastecimiento automático, ingresa las tablas y los esquemas de la base de datos de origen que deseas que Datastream no reabastezca en el destino.
- Selecciona la opción Manual para transmitir solo los cambios en los datos al destino.
- Haz clic en CONTINUAR. Aparecerá el panel Define el perfil de conexión de la página Crear transmisión para tu tipo de destino.
Configura una organización de Salesforce de origen
- En la sección Selecciona los objetos que se incluirán, usa el menú desplegable Objetos que se incluirán para especificar los objetos y campos de tu organización que quieres que Datastream transfiera al destino.
- Si quieres que Datastream transfiera todos los objetos, selecciona Todos los objetos.
- Si quieres que Datastream transfiera solo objetos específicos, selecciona Objetos específicos y, luego, selecciona las casillas de verificación de los objetos que quieres que Datastream extraiga.
- Para proporcionar una definición textual de los objetos que quieres que Datastream transfiera, selecciona Personalizado y, luego, en el campo Criterios de coincidencia de objetos, ingresa los objetos que quieres que Datastream extraiga. Ingresa los objetos como una lista separada por comas con el formato
[object].[field]. Si tu base de datos tiene una gran cantidad de objetos, te recomendamos que uses la opción Personalizada, ya que es posible que algunas tablas y esquemas no se incluyan en la lista de objetos que se extraerán. - Define el valor del intervalo de sondeo en minutos. Datastream usa este valor para verificar si hay cambios en los datos de tu organización de Salesforce. Cuanto mayor sea el valor, menor será el costo y la carga en tu organización. Cuanto menor sea el valor, más actualizados estarán los datos en el destino.
- Si tu destino es BigQuery, puedes configurar la partición y el agrupamiento en clústeres para tus objetos:
- Para cada objeto en el que desees configurar la partición o el agrupamiento en clústeres, haz clic en Seleccionar campos.
- Para configurar la partición, en la sección Partición, selecciona una
de las siguientes opciones:
- Sin particionar: cuando seleccionas esta opción, no se aplica ninguna partición a tus objetos.
- Partición por tiempo de transferencia: Cuando seleccionas esta opción, los datos se organizan en particiones basadas en el tiempo. Selecciona un valor de la lista Tipo de partición para configurar el nivel de detalle de la partición con las opciones disponibles: por hora, por día, por mes o por año. El nivel de detalle predeterminado es Diario.
- Partición por campo: Cuando seleccionas esta opción, debes seleccionar el campo de origen por el que deseas particionar tu objeto y el tipo de partición. Solo se pueden seleccionar campos con tipos de datos admitidos. Para obtener información sobre los tipos de datos de origen compatibles y los tipos de partición disponibles, consulta Particiona y agrupa en clústeres tablas de BigQuery.
De manera opcional, selecciona la opción Filtro de partición. Si seleccionas esta opción, se requiere un filtro de partición en todas las consultas de este objeto. Un filtro de partición puede reducir los costos y mejorar el rendimiento. Si deseas obtener más información, consulta Configura requisitos para filtros de partición.
- Para configurar el agrupamiento en clústeres, en la sección Agrupamiento en clústeres, selecciona los campos por los que deseas agrupar tu objeto. Puedes seleccionar hasta cuatro campos. El orden en el que agregas los campos de agrupamiento en clústeres determina la clasificación de los datos. Si no especificas la configuración de agrupamiento en clústeres para un objeto, Datastream usa de forma predeterminada hasta cuatro claves primarias del objeto de origen como claves de agrupamiento en clústeres en BigQuery.
- Haz clic en Guardar para guardar la configuración.
Para obtener más información sobre la partición y el agrupamiento en clústeres, consulta Particiona y agrupa en clústeres tablas de BigQuery.
- De manera opcional, expande el nodo Selecciona los objetos que quieres excluir. En el campo Objetos que se excluirán, ingresa los objetos y campos de la organización de origen que deseas restringir para que Datastream no los extraiga. La lista Objetos para excluir tiene prioridad sobre la lista Objetos para incluir. Si un objeto cumple con los criterios de las listas de inclusión y exclusión, se excluye de la transmisión.
- De manera opcional, expande el nodo Elige el modo de reabastecimiento para los datos históricos y, luego, selecciona una de las siguientes opciones:
- Selecciona la opción Automático para replicar todos los datos existentes, además de los cambios en los datos, desde la fuente hasta el destino. En el campo Objetos excluidos del reabastecimiento automático, ingresa los objetos de la organización de origen que deseas que Datastream no reabastezca en el destino.
- Selecciona la opción Manual para replicar solo los cambios en los datos en el destino.
- Haz clic en CONTINUAR. Aparecerá el panel Define el perfil de conexión de la página Crear transmisión para tu tipo de destino.
Configura una instancia de origen de Salesforce Marketing Cloud (versión preliminar)
- En la sección Selecciona los objetos que se incluirán, usa el menú desplegable Objetos que se incluyen para especificar los objetos de tu instancia que quieres que Datastream transfiera al destino.
- Si quieres que Datastream transfiera todos los objetos, selecciona Todos los objetos.
- Si quieres que Datastream transfiera solo objetos específicos, selecciona Objetos específicos y, luego, las casillas de verificación de los objetos que quieres que Datastream extraiga.
- Si quieres proporcionar una definición textual de los objetos que quieres que Datastream transfiera, selecciona Personalizado y, luego, en el campo Criterios de coincidencia de objetos, ingresa los objetos que quieres que Datastream extraiga. Ingresa los objetos como una lista separada por comas. Si tu base de datos tiene una gran cantidad de objetos, te recomendamos que uses la opción Personalizado, ya que es posible que algunos objetos no se incluyan en la lista de objetos que se extraerán.
- Define el valor del intervalo de sondeo en minutos. Datastream usa este valor para verificar si hay cambios en los datos de los objetos que admiten la sincronización incremental en tu instancia de Salesforce Marketing Cloud. Puedes usar un valor dentro del rango de
5a1440. - Define el valor del intervalo de sondeo de actualización completa en minutos. Datastream usa este valor para realizar una actualización completa periódica de los objetos que no admiten la sincronización incremental, como las extensiones de datos. Puedes usar un valor dentro del rango de
60a1440. - De manera opcional, expande el nodo Mostrar opciones avanzadas.
- En el campo Objetos que se excluirán, ingresa los objetos de la instancia de origen que deseas que Datastream no extraiga. La lista Objetos para excluir tiene prioridad sobre la lista Objetos para incluir. Si un objeto cumple con los criterios de las listas de inclusión y exclusión, se excluye de la transmisión.
- En la sección Elige el modo de reabastecimiento para los datos históricos, selecciona el modo de reabastecimiento:
- Selecciona la opción Automático para transmitir todos los datos existentes, además de los cambios en los datos, de la fuente al destino. En el campo Objetos excluidos del reabastecimiento automático, ingresa los objetos de la base de datos de origen que deseas que Datastream no reabastezca en el destino.
- Selecciona la opción Manual para transmitir solo los cambios en los datos al destino.
- Haz clic en CONTINUAR. Aparecerá el panel Define el perfil de conexión de la página Crear transmisión para tu tipo de destino.
Configura una instancia de ServiceNow de origen (versión preliminar)
- En la sección Selecciona los objetos que se incluirán, usa el menú desplegable Objetos que se incluirán para especificar las tablas y los campos de tu instancia de ServiceNow que quieres que Datastream transfiera al destino.
- Si quieres que Datastream transfiera todas las tablas, selecciona Todos los objetos.
- Si quieres que Datastream transfiera solo tablas específicas, selecciona Objetos específicos y, luego, las casillas de verificación de las tablas que quieres que Datastream extraiga.
- Si quieres proporcionar una definición textual de las tablas que deseas que Datastream transfiera, selecciona Personalizado y, luego, en el campo Criterios de coincidencia de objetos, ingresa las tablas que deseas que Datastream extraiga. Ingresa las tablas como una lista separada por comas con el formato
[table].[field]. - Define el valor del intervalo de sondeo en minutos. Datastream usa este valor para verificar si hay cambios en los datos de tu instancia de ServiceNow. Cuanto mayor sea el valor, menor será el costo y la carga en tu instancia. Cuanto menor sea el valor, más actualizados estarán los datos en el destino.
- De forma opcional, en el campo Objetos que se excluirán, ingresa las tablas y los campos de la instancia de origen que deseas restringir para que Datastream no los extraiga. La lista Objetos para excluir tiene prioridad sobre la lista Objetos para incluir. Si un objeto cumple con los criterios de las listas de inclusión y exclusión, Datastream lo excluye de la transmisión.
- De manera opcional, en la sección Elige el modo de reabastecimiento para los datos históricos, selecciona una de las siguientes opciones:
- Selecciona la opción Automático para replicar todos los datos existentes, además de los cambios en los datos, desde la fuente hasta el destino. En el campo Objetos excluidos del reabastecimiento automático, ingresa las tablas de la instancia de origen que deseas que Datastream no reabastezca en el destino.
- Selecciona la opción Manual para replicar solo los cambios en los datos en el destino.
- Haz clic en CONTINUAR. Aparecerá el panel Define el perfil de conexión de la página Crear transmisión para tu tipo de destino.
Configura una base de datos de MongoDB de origen
- En la sección Selecciona los objetos que se incluirán, usa el menú desplegable Objetos que se incluyen para especificar las bases de datos y las colecciones que deseas que Datastream transfiera al destino.
- Si quieres que Datastream transfiera todas las colecciones, selecciona Todas las bases de datos y colecciones.
- Si deseas que Datastream transfiera solo colecciones específicas, selecciona Bases de datos y colecciones específicas y, luego, selecciona las casillas de verificación de las colecciones que deseas que Datastream extraiga.
- Para proporcionar una definición textual de las colecciones que quieres que Datastream transfiera, selecciona Personalizado y, luego, en el campo Criterios de coincidencia de objetos, ingresa las colecciones que quieres que Datastream extraiga. Ingresa los objetos como una lista separada por comas con el formato
[collection].[field]. Si tu base de datos tiene una gran cantidad de objetos, te recomendamos que uses la opción Personalizada, ya que es posible que algunas tablas y esquemas no se incluyan en la lista de objetos que se extraerán. - Si tu destino es BigQuery, puedes configurar la partición para tus colecciones:
- Para cada colección en la que quieras configurar la partición, haz clic en Seleccionar campos.
- En la sección Partición, selecciona una
de las siguientes opciones:
- Sin particionar: Cuando seleccionas esta opción, no se aplica ninguna partición a tus colecciones.
- Partición por tiempo de transferencia: Cuando seleccionas esta opción, los datos se organizan en particiones basadas en el tiempo. Selecciona un valor de la lista Tipo de partición para configurar el nivel de detalle de la partición con las opciones disponibles: por hora, por día, por mes o por año. El nivel de detalle predeterminado es Diario.
De manera opcional, selecciona la opción Filtro de partición. Si seleccionas esta opción, se requiere un filtro de partición en todas las consultas de esta colección. Un filtro de partición puede reducir los costos y mejorar el rendimiento. Si deseas obtener más información, consulta Configura requisitos para filtros de partición.
- Haz clic en Guardar para guardar la configuración.
Para obtener más información sobre la partición y el agrupamiento en clústeres, consulta Particiona y agrupa en clústeres tablas de BigQuery.
- De manera opcional, expande el nodo Elige el modo de reabastecimiento para los datos históricos y, luego, selecciona una de las siguientes opciones:
- Selecciona la opción Automático para replicar todos los datos existentes, además de los cambios en los datos, desde la fuente hasta el destino. En el campo Objetos excluidos del reabastecimiento automático, ingresa los objetos de la organización de origen que deseas que Datastream no reabastezca en el destino.
- Selecciona la opción Manual para replicar solo los cambios en los datos en el destino.
- Haz clic en CONTINUAR. Aparecerá el panel Define el perfil de conexión de la página Crear transmisión para tu tipo de destino.
Configura una base de datos de Spanner de origen
- En la sección Selecciona los objetos que se incluirán, usa el menú desplegable Objetos que se incluyen para especificar las tablas y los esquemas de la base de datos de origen que Datastream puede transferir al destino.
- Si quieres que Datastream transfiera todas las tablas y los esquemas, selecciona Todas las tablas de todos los esquemas.
- Si quieres que Datastream transfiera solo tablas y esquemas específicos, selecciona Esquemas y tablas específicos y, luego, selecciona las casillas de verificación de los esquemas y las tablas que quieres que Datastream extraiga.
- Para proporcionar una definición textual de las tablas y los esquemas que quieres que Datastream transfiera, selecciona Personalizado y, luego, en el campo Criterios de coincidencia de objetos, ingresa los esquemas y las tablas que quieres que Datastream extraiga. Si tu base de datos tiene una gran cantidad de tablas y esquemas, te recomendamos que uses la opción Personalizada, ya que es posible que algunas tablas y esquemas no se incluyan en la lista de objetos que se extraerán.
- En el campo Nombre del flujo de cambios, ingresa el nombre del flujo de cambios de Spanner que creaste. Datastream lee este flujo de cambios para replicar los cambios de tu base de datos de origen.
- De forma opcional, en el campo Objetos que se excluirán, ingresa las tablas y los esquemas de la base de datos de origen que deseas que Datastream no extraiga. La lista Objetos para excluir tiene prioridad sobre la lista Objetos para incluir. Si un objeto cumple con los criterios de las listas de inclusión y exclusión, se excluye de la transmisión.
- En la sección Elige el modo de reabastecimiento para los datos históricos, selecciona el modo de reabastecimiento:
- Selecciona la opción Automático para transmitir todos los datos existentes, además de los cambios en los datos, de la fuente al destino. En el campo Objetos excluidos del reabastecimiento automático, ingresa las tablas y los esquemas de la base de datos de origen que deseas que Datastream no reabastezca en el destino.
- Selecciona la opción Manual para transmitir solo los cambios en los datos al destino.
- De manera opcional, especifica la cantidad máxima de tareas de CDC y reabastecimiento simultáneas en los campos correspondientes.
- En el menú desplegable Prioridad de RPC, selecciona la prioridad de llamada de procedimiento remoto para tus solicitudes de Spanner:
- Baja
- Medio
- Alta
- En el campo Rol de FGAC, especifica el rol de control de acceso detallado para tus solicitudes de Spanner.
- Selecciona la casilla de verificación Backfill Data Boost enabled si quieres usar Data Boost para los trabajos de reabastecimiento. Para usar esta opción, Data Boost debe estar habilitado en tu base de datos. Para obtener más información, consulta Descripción general de Data Boost.
- Haz clic en CONTINUAR. Aparecerá el panel Define el perfil de conexión de la página Crear transmisión para tu tipo de destino.
Configura un entorno de Dataverse de origen (versión preliminar)
- En la sección Selecciona los objetos que se incluirán, usa el menú desplegable Objetos que se incluirán para especificar los objetos de tu entorno de Dataverse que Datastream puede transferir al destino.
- Si deseas que Datastream transfiera todos los objetos estándar, selecciona Todos los objetos.
- Si deseas que Datastream transfiera solo objetos estándar específicos, selecciona Objetos específicos y, luego, las casillas de verificación de los objetos que quieres que Datastream extraiga.
- Para proporcionar una definición textual de los objetos que quieres que Datastream transfiera, selecciona Personalizado y, luego, en el campo Criterios de coincidencia de objetos, ingresa los objetos que quieres que Datastream extraiga. Ingresa los objetos como una lista separada por comas con el formato
[OBJECT_NAME]. No se admiten comodines. - En la sección Define el intervalo de sondeo, define la frecuencia con la que quieres que Datastream verifique si hay cambios en los datos de Dataverse. Considera equilibrar las necesidades de datos casi en tiempo real con el uso eficiente de la API para minimizar los costos y evitar problemas de rendimiento. El valor que ingreses debe estar en el rango de
5a1440minutos. - De manera opcional, expande el nodo Selecciona los objetos que quieres excluir. En el campo Objetos que se excluirán, ingresa los objetos del entorno de Dataverse de origen que deseas que Datastream no extraiga. La lista Objetos para excluir tiene prioridad sobre la lista Objetos para incluir. Si un objeto cumple con los criterios de las listas de inclusión y exclusión, se excluye de la transmisión.
- De manera opcional, expande el nodo Elige el modo de reabastecimiento para los datos históricos y, luego, selecciona una de las siguientes opciones:
- Selecciona la opción Automático para transmitir todos los datos existentes, además de los cambios en los datos, de la fuente al destino. En el campo Objetos excluidos del reabastecimiento automático, ingresa las tablas del entorno de Dataverse de origen que deseas que Datastream no reabastezca en el destino.
- Selecciona la opción Manual para transmitir solo los cambios en los datos al destino.
- Haz clic en CONTINUAR. Aparecerá el panel Define el perfil de conexión de la página Crear transmisión para tu tipo de destino.
Configura una instancia de Workday de origen (versión preliminar)
- En la sección Selecciona los objetos que se incluirán, usa el menú desplegable Objetos que se incluyen para especificar los objetos de tu instancia que quieres que Datastream transfiera al destino.
- Si quieres que Datastream transfiera todos los objetos, selecciona Todos los objetos.
- Si quieres que Datastream transfiera solo objetos específicos, selecciona Objetos específicos y, luego, las casillas de verificación de los objetos que quieres que Datastream extraiga. Si deseas incluir solo columnas específicas para un objeto, haz clic en Establecer configuración junto al objeto. Las columnas para las que desmarques las casillas de verificación se excluirán de la transmisión.
- Si quieres proporcionar una definición textual de los objetos que quieres que Datastream transfiera, selecciona Personalizado y, luego, en el campo Criterios de coincidencia de objetos, ingresa los objetos que quieres que Datastream extraiga. Ingresa los objetos como una lista separada por comas. Si tu instancia tiene una gran cantidad de objetos, te recomendamos que uses la opción Personalizado, ya que es posible que algunos objetos no se incluyan en la lista de objetos que se extraerán.
- Define el valor del intervalo de sondeo en minutos. Datastream usa este valor para verificar si hay cambios en los datos de tu instancia de Workday. Puedes usar un valor dentro del rango de
5a1440. - Define el valor del intervalo de sondeo de actualización completa en minutos. Datastream usa este valor para realizar una actualización completa periódica de los objetos que no admiten la sincronización incremental, como las extensiones de datos. Puedes usar un valor dentro del rango de
60a1440minutos. - De manera opcional, expande el nodo Mostrar opciones avanzadas.
- En el campo Objetos que se excluirán, ingresa los objetos de la instancia de origen que deseas que Datastream no extraiga. La lista Objetos para excluir tiene prioridad sobre la lista Objetos para incluir. Si un objeto cumple con los criterios de las listas de inclusión y exclusión, se excluye de la transmisión.
- En la sección Elige el modo de reabastecimiento para los datos históricos, selecciona el modo de reabastecimiento:
- Selecciona la opción Automático para transmitir todos los datos existentes, además de los cambios en los datos, de la fuente al destino. En el campo Objetos excluidos del reabastecimiento automático, ingresa los objetos de la instancia de origen que deseas que Datastream no reabastezca en el destino.
- Selecciona la opción Manual para transmitir solo los cambios en los datos al destino.
- Haz clic en CONTINUAR. Aparecerá el panel Define el perfil de conexión de la página Crear transmisión para tu tipo de destino.
Selecciona un perfil de conexión de destino
Si creaste un perfil de conexión de destino, selecciónalo de la lista de perfiles de conexión.
Si no creaste un perfil de conexión de destino, haz clic en el siguiente para crear uno:CREAR PERFIL DE CONEXIÓN en la parte inferior de la lista desplegable y, luego, realice los mismos pasos que se indican enCrear perfiles de conexión.
Haz clic en CONTINUAR. Aparecerá el panel Configura el destino del flujo de la página Crear flujo.
Configura la información sobre el destino de la transmisión
En esta sección, se describe qué información debes proporcionar para configurar tu destino de BigQuery o Cloud Storage.
Destino de BigQuery
En la sección Especifica cómo se debe transmitir Datastream a un conjunto de datos de BigQuery, selecciona una de las siguientes opciones en el menú desplegable Agrupación de esquemas:
Conjunto de datos para cada esquema: Datastream crea un conjunto de datos de BigQuery para cada esquema de origen, según el nombre del esquema.
Si seleccionas esta opción, Datastream creará un conjunto de datos en el proyecto que contiene la transmisión para cada esquema de la base de datos de origen.
Además, si seleccionas la opción Conjunto de datos para cada esquema, debes proporcionar lo siguiente:
- En la sección Tipo de ubicación, especifica dónde quieres almacenar tus datos en BigQuery. Selecciona Región para especificar una sola ubicación geográfica o Multirregión para especificar un área más grande que contenga dos o más regiones. Si tu prioridad es optimizar los costos y el rendimiento, selecciona Región y mantén tus conjuntos de datos junto con otros recursos de Google Cloud que administras. Si quieres alcanzar límites de cuota más altos, selecciona Multirregión para permitir que BigQuery use varias regiones dentro de un grupo. Cuando seleccionas Región, el campo se establece de forma predeterminada en la región que seleccionaste para la transmisión.
- En el campo Prefijo del conjunto de datos, define un prefijo para el conjunto de datos que crea la transmisión (opcional). La cadena que especifiques se agregará al nombre del esquema de origen. Por ejemplo, si el esquema se llama
<mySchema>y defines el prefijo del conjunto de datos como<myPrefix>, Datastream creará un conjunto de datos llamado<myPrefix><mySchema>. - Expande la sección Mostrar opciones de encriptación avanzadas.
Especifica cómo quieres que se encripten tus datos en BigQuery seleccionando una clave de encriptación administrada por Google o una clave de encriptación administrada por el cliente.
Conjunto de datos único para todos los esquemas: Datastream crea todas las tablas dentro del conjunto de datos de BigQuery existente que especifiques. Cada tabla que crea Datastream se nombra con una combinación del nombre del esquema de origen y el nombre de la tabla, separados por un guion bajo (por ejemplo,
). Los conjuntos de datos disponibles se agrupan por región. También puedes crear un conjunto de datos nuevo.<mySchemaName>_<myTableName>
Especifica el Modo de escritura de transmisión. Selecciona el modo de escritura para definir cómo se escriben y procesan los datos en BigQuery:
- Combinar: Selecciona esta opción si quieres que tus datos se sincronicen con la fuente.
- Solo anexar: Selecciona esta opción si deseas conservar todos los datos históricos de tus eventos de cambio.
Especifica el límite de inactividad de los datos. Solo está disponible cuando se selecciona el modo Combinar en el paso anterior. Selecciona un límite para equilibrar el rendimiento y el costo de las consultas de BigQuery con la actualización de los datos. BigQuery aplica los cambios en segundo plano de manera continua o en el tiempo de ejecución de la consulta, de acuerdo con el límite de inactividad. Una inactividad más baja (datos más recientes) puede aumentar los costos de procesamiento de BigQuery.
Haz clic en CONTINUAR. Aparecerá el panel Revisa los detalles de la transmisión y créala de la página Crear transmisión.
Destino de las tablas de Apache Iceberg
En la sección Especifica cómo se debe transmitir Datastream a un conjunto de datos de BigQuery, selecciona cómo quieres que Datastream cree esquemas y tablas nuevos en el menú desplegable Agrupación de esquemas:
Conjunto de datos para cada esquema: Datastream crea un conjunto de datos de BigQuery para cada esquema de origen, según el nombre del esquema.
Si seleccionas esta opción, Datastream creará un conjunto de datos en el proyecto que contiene la transmisión para cada esquema de la base de datos de origen.
Además, si seleccionas la opción Conjunto de datos para cada esquema, debes proporcionar lo siguiente:
- En la sección Tipo de ubicación, especifica dónde quieres almacenar tus datos en BigQuery. Selecciona Región para especificar una sola ubicación geográfica o Multirregión para especificar un área más grande que contenga dos o más regiones. Si tu prioridad es optimizar los costos y el rendimiento, selecciona Región y mantén tus conjuntos de datos junto con otros recursos de Google Cloud que administras. Si quieres alcanzar límites de cuota más altos, selecciona Multirregión para permitir que BigQuery use varias regiones dentro de un grupo. Cuando seleccionas Región, el campo se establece de forma predeterminada en la región que seleccionaste para la transmisión.
- En el campo Prefijo del conjunto de datos, define un prefijo para el conjunto de datos que crea la transmisión (opcional). La cadena que especifiques se agregará al nombre del esquema de origen. Por ejemplo, si el esquema se llama
<mySchema>y defines el prefijo del conjunto de datos como<myPrefix>, Datastream creará un conjunto de datos llamado<myPrefix><mySchema>. - Expande la sección Mostrar opciones de encriptación avanzadas.
Especifica cómo quieres que se encripten tus datos en BigQuery seleccionando una clave de encriptación administrada por Google o una clave de encriptación administrada por el cliente.
Conjunto de datos único para todos los esquemas: Datastream crea todas las tablas dentro del conjunto de datos de BigQuery existente que especifiques. Cada tabla que crea Datastream se nombra con una combinación del nombre del esquema de origen y el nombre de la tabla, separados por un guion bajo (por ejemplo,
). Los conjuntos de datos disponibles se agrupan por región. También puedes crear un conjunto de datos nuevo.<mySchemaName>_<myTableName>
En la sección Define la conexión de Datastream a las tablas de Apache Iceberg, proporciona la siguiente información:
En el menú desplegable ID de conexión, selecciona el identificador de la conexión de BigQuery que creaste y que deseas usar para tu transmisión. Para obtener información sobre cómo crear una conexión a recursos de Cloud en BigQuery, consulta Configura tablas de Apache Iceberg en BigQuery.
Ingresa o selecciona la dirección URI del bucket que creaste en Cloud Storage. Para obtener información sobre cómo crear un bucket de Cloud Storage, consulta Crea un bucket.
Revisa el Formato de archivo y el Formato de tabla. Datastream admite el formato de archivo Parquet y el formato de tabla Iceberg.
Revisa el Modo de escritura de transmisión. Datastream solo admite el modo de escritura Solo agregar cuando se transmite a tablas de Apache Iceberg.
Haz clic en CONTINUAR. Aparecerá el panel Revisa los detalles de la transmisión y créala de la página Crear transmisión.
Destino de Cloud Storage
De forma opcional, en el campo Prefijo de la ruta de acceso de la transmisión, ingresa la carpeta del bucket de destino en el que Datastream transferirá esquemas, tablas y datos de una base de datos de origen.
Por ejemplo, si deseas que Datastream transfiera datos de la base de datos de origen a la carpeta
/root/exampleen el bucket de destino, ingresa/root/exampleen el campo Prefijo de la ruta de acceso del flujo.En el campo Formato de salida, elige el formato de archivos escritos en Cloud Storage.
Es opcional. Si seleccionas el formato JSON, aparecerán dos casillas de verificación:
- Incluye un archivo de esquema de tipos unificados en la ruta de acceso del archivo: Si seleccionas esta casilla de verificación, Datastream escribe dos archivos en Cloud Storage: un archivo de datos JSON y un archivo de esquema Avro. El archivo de esquema tiene el mismo nombre que el archivo de datos, con una extensión
.schema. Si no seleccionas esta casilla de verificación, Datastream solo escribirá el archivo de datos JSON en Cloud Storage. De forma predeterminada, esta casilla de verificación no está seleccionada. - Habilitar la compresión gzip: Si seleccionas esta casilla de verificación, Datastream usa la utilidad
gzippara comprimir los archivos que Datastream escribe en Cloud Storage. Si no seleccionas esta casilla de verificación, Datastream escribirá los archivos en Cloud Storage sin comprimirlos. De forma predeterminada, esta casilla de verificación está seleccionada.
- Incluye un archivo de esquema de tipos unificados en la ruta de acceso del archivo: Si seleccionas esta casilla de verificación, Datastream escribe dos archivos en Cloud Storage: un archivo de datos JSON y un archivo de esquema Avro. El archivo de esquema tiene el mismo nombre que el archivo de datos, con una extensión
Haz clic en CONTINUAR. Aparecerá el panel Revisa los detalles de la transmisión y créala de la página Crear transmisión.
Crea la transmisión
- Verifica los detalles de la transmisión, así como los perfiles de conexión de origen y destino que usará la transmisión para transferir datos de una base de datos de origen a un destino.
Haz clic en EJECUTAR VALIDACIÓN para validar la transmisión. Cuando se valida una transmisión, Datastream comprueba que la fuente esté configurada de forma correcta, valida que la transmisión pueda conectarse tanto a la fuente como al destino, y verifica la configuración de extremo a extremo de la transmisión.
Si tu base de datos de origen es Oracle, Datastream realiza las siguientes verificaciones:
Verificar Descripción Validez de la lista de objetos Datastream verifica que la lista de exclusión no incluya la lista de inclusión. Reenviar la conectividad del túnel SSH Datastream verifica que puede conectarse a un host de bastión a través de un túnel SSH de reenvío. Conectividad a la base de datos de Oracle Datastream verifica que puede conectarse a la base de datos de Oracle de origen. Permisos del usuario de Oracle Datastream verifica que el usuario que usa para conectarse a la base de datos de origen tenga todos los permisos necesarios para recuperar esquemas, tablas y datos de la base de datos, de modo que Datastream pueda transmitir esta información al destino. Configuración del modo de registro Datastream verifica que el modo de registro de la base de datos de Oracle esté configurado en ARCHIVELOG. Configuración de registro complementaria Datastream verifica que el registro complementario esté activado para las tablas de la base de datos que se transmiten desde la fuente hasta el destino. Configuración de CDC de Oracle Datastream verifica que el método de CDC que seleccionaste cumpla con la configuración de tu base de datos. Configuración de los archivos de registro de archivo Datastream verifica que el registro de archivos esté configurado en la fuente y que los archivos de registro de archivos estén presentes. Permisos de Cloud Storage (para destinos de Cloud Storage) Datastream verifica que tenga los permisos necesarios para escribir en el bucket de destino en Cloud Storage. Si tu base de datos de origen es MySQL, Datastream realiza las siguientes verificaciones:
Verificar Descripción Permisos de replicación Datastream verifica que tenga permisos para replicar una base de datos de MySQL. Versión de la base de datos Datastream verifica que la versión de la base de datos de MySQL sea compatible. Para obtener información sobre las ediciones compatibles, consulta Versiones. Configuración del formato de registro binario Datastream verifica que el formato del registro binario de la base de datos de MySQL esté configurado como ROW.El registro binario está habilitado Datastream verifica que los archivos de registro binario estén configurados correctamente y que haya archivos de registro presentes. Configuración de la imagen de la fila de registro binario Datastream verifica que la imagen de la fila del binlog esté configurada como FULL.Compresión de binlog inhabilitada Datastream verifica que la compresión de binlog esté inhabilitada. Se habilitaron las actualizaciones de réplicas o esclavos de registros Datastream verifica que las actualizaciones de la réplica de registro o de la instancia subordinada estén habilitadas. Configuración del modo GTID ( applies only to GTID-based CDC)Datastream verifica que el modo GTID esté configurado en ONsi se usa la replicación basada en GTID.GtidSet no contiene GTID etiquetados ( applies only to GTID-based CDC)Datastream verifica que el conjunto de GTID no contenga GTID etiquetados. Permisos de Cloud Storage (para destinos de Cloud Storage) Datastream verifica que tenga los permisos necesarios para escribir en el bucket de destino en Cloud Storage. Verificación de advertencias Descripción Configuración de Expire logs days, Expire logs seconds o Binlog retention hours Datastream verifica que expire_logs_days,binlog_expire_logs_secondsybinlog retention hoursestén configurados con valores mayores que7,604800y168, respectivamente.Configuración de max_allowed_packet Datastream verifica que el max_allowed_packetesté configurado en 1 GB.Aplicar la coherencia de GTID o el modo estricto de GTID ( applies only to GTID-based CDC)Datastream verifica que la coherencia de GTID o el modo estricto de GTID estén habilitados. Si tu base de datos de origen es PostgreSQL, Datastream realiza las siguientes verificaciones:
Verificar Descripción Conectividad a la base de datos de PostgreSQL Datastream verifica que puede conectarse a la base de datos de PostgreSQL de origen. La decodificación lógica está habilitada Datastream verifica que el parámetro wal_levelde la base de datos de PostgreSQL esté configurado enlogical.Configuración de la ranura de replicación Datastream verifica si la ranura de replicación de PostgreSQL existe y está activa, si Datastream tiene los permisos necesarios para acceder a ella y si está configurada correctamente. Configuración de la publicación Datastream verifica que la publicación exista y que las tablas que se replicarán para la transmisión se incluyan en la publicación. Permisos de reabastecimiento Datastream verifica que existan las tablas necesarias para reabastecer los datos históricos y que tenga los permisos necesarios para leerlas. Si tu base de datos de origen es SQL Server, Datastream realiza las siguientes verificaciones:
Verificar Descripción Edición de SQL Server Datastream verifica que se admita la edición de la base de datos de SQL Server de origen. Para obtener información sobre las ediciones compatibles, consulta Versiones. Permisos del usuario de SQL Server Datastream verifica que el usuario tenga los permisos necesarios para acceder a la base de datos de SQL Server de origen. Las CDC de SQL Server están habilitadas Datastream verifica si la CDC está habilitada para la base de datos y todas las tablas incluidas en la transmisión. Validaciones de bases de datos de SQL Server Datastream verifica si la base de datos de origen está configurada correctamente, si se cumplen todos los requisitos de replicación y si no hay tipos de datos no admitidos en las columnas. Permisos de Cloud Storage o BigQuery Datastream verifica que el usuario tenga los permisos necesarios para escribir en el destino. Si tu base de datos de origen es Salesforce, Datastream realiza las siguientes verificaciones:
Verificar Descripción Acceso con credenciales Datastream verifica que puede autenticarse correctamente con la organización de Salesforce del cliente usando las credenciales proporcionadas. API masiva Datastream verifica que tenga los permisos necesarios para acceder a la API masiva de Salesforce 2.0. Se requiere la API de Bulk 2.0 para leer grandes cantidades de datos. Verificación de advertencias Descripción Límites de API Datastream calcula una estimación del uso esperado de la API en función de la cantidad de objetos y el intervalo de sondeo seleccionados. Si la cantidad diaria esperada de solicitudes es superior al límite que aplica Salesforce, Datastream emite una advertencia. Aun así, puedes crear y ejecutar la transmisión, incluso si no se aprueba la verificación de validación. Si tu base de datos de origen es MongoDB, Datastream realiza las siguientes verificaciones:
Verificar Descripción Permisos de usuario Datastream verifica que el rol readAnyDatabaseesté asignado al usuario.Parámetros de configuración de conexión Datastream usa el comando hellopara verificar que los parámetros de configuración de la conexión sean válidos.Versión de MongoDB Datastream verifica que la versión de MongoDB sea 5.0 o posterior. Permisos de Cloud Storage o BigQuery Datastream verifica que el usuario tenga los permisos necesarios para escribir en el destino. Si tu base de datos de origen es Spanner, Datastream realiza las siguientes verificaciones:
Verificar Descripción API de Spanner habilitada Datastream verifica que la API de Spanner esté habilitada. La base de datos existe Datastream verifica que exista la base de datos de Spanner de origen. Permisos de IAM Datastream verifica que su agente de servicio tenga los permisos de IAM necesarios en la base de datos de origen. El flujo de cambios existe Datastream verifica que el flujo de cambios especificado exista en la base de datos. Tipo de captura de valor Datastream verifica que el flujo de cambios esté configurado con el tipo de captura de valor NEW_ROW.Si tu fuente es Dataverse, Datastream realiza las siguientes verificaciones:
Verificar Descripción Conectividad al entorno de Dataverse Datastream verifica que puede conectarse al entorno de Dataverse de origen. Permisos de usuario de Dataverse Datastream verifica que el usuario de la aplicación que usa para conectarse al entorno de origen tenga todos los permisos de lectura necesarios. Los permisos de lectura son necesarios para recuperar tablas y datos del entorno, de modo que Datastream pueda transmitir esta información al destino. Restricciones de IP Datastream verifica que sus direcciones IP públicas puedan conectarse al extremo de tu instancia de Dataverse. Presencia del campo `modifiedon` Datastream verifica que el campo `modifiedon` esté presente y sea confiable en las tablas que se replican para la sincronización incremental. Permisos de Cloud Storage o BigQuery Datastream verifica que tenga los permisos necesarios para escribir en el destino. Si tu instancia de origen es Workday, Datastream realiza las siguientes verificaciones:
Verificar Descripción Acceso con credenciales Datastream verifica la autenticación de OAuth 2.0 con Workday. Permisos de ISU Datastream verifica que el usuario del sistema de integración tenga los permisos de la política de seguridad del dominio requeridos. Validez del informe Datastream garantiza que los objetos seleccionados existan y se pueda acceder a ellos con la solución de informes como servicio (RaaS).
Después de pasar todas las verificaciones de validación, haz clic en CREAR Y COMENZAR para crear la transmisión y comenzarla de inmediato, o en CREAR para crear la transmisión sin comenzarla de inmediato.
Si no inicias la transmisión ahora, puedes hacerlo desde la página Transmisiones haciendo clic en INICIAR.
Después de crear una transmisión, puedes ver información general y detallada sobre ella.
Crea una transmisión con el flujo automatizado
Puedes usar la configuración de transmisión automatizada para crear transmisiones directamente desde la página de resumen de Cloud SQL en Google Cloud. El flujo automatizado simplifica el proceso de creación de transmisiones y se puede usar si replicas en BigQuery desde una instancia de Cloud SQL para PostgreSQL, Cloud SQL para MySQL o Cloud SQL para SQL Server.
Para aprender a usar el flujo de configuración de transmisiones automatizadas, consulta Crea una transmisión con el flujo automatizado.
¿Qué sigue?
- Para obtener más información sobre las transmisiones, consulta Ciclo de vida de las transmisiones.
- Para aprender a ejecutar una transmisión, consulta Ejecuta una transmisión.
- Para obtener información sobre cómo modificar tus transmisiones, consulta Modifica una transmisión.
- Para aprender a recuperar una transmisión, consulta Recupera una transmisión.