Descripción general del almacenamiento de Google Cloud Observability

Google Cloud Observability almacena y organiza los datos de telemetría de Cloud Logging, Cloud Monitoring y Cloud Trace en contenedores de almacenamiento estructurados. Comprender el modelo de almacenamiento te ayuda a configurar la residencia de datos, aplicar políticas de encriptación y conectar la telemetría a servicios de análisis como BigQuery.

Datos de registros

Los datos de registro residen en buckets de registros, que son los contenedores que Logging usa para almacenar tus datos de registro. Cuando el sistema crea un proyecto, una cuenta de facturación, una carpeta o una organización deGoogle Cloud , Cloud Logging crea buckets de registros llamados _Required y _Default en el recurso:

De forma predeterminada, los datos de registro residen en el proyecto, la cuenta de facturación, la carpeta o la organización de Google Cloud en la que se originan los datos. Sin embargo, puedes configurar Logging para enrutar los datos de registro desde el recurso en el que se originan hasta otra ubicación, como otro proyecto o un bucket de registros centralizado. Para obtener más información, consulta Almacena entradas de registro y Enruta entradas de registro.

Cloud Logging te permite regionalizar tus datos de registro:

  • Las políticas de la organización pueden restringir las ubicaciones de los buckets de registros nuevos y exigir que los buckets de registros usen CMEK.

  • En el caso de las organizaciones y carpetas, la configuración predeterminada de los recursos para Cloud Logging te permite establecer lo siguiente:

    • La ubicación de los nuevos buckets de registros _Required y _Default
    • La clave de Cloud Key Management Service para encriptar tus datos de registro
    • La configuración del receptor predeterminado

    Los descendientes en la jerarquía de recursos heredan automáticamente estos parámetros de configuración, a menos que también configuren los parámetros de configuración predeterminados de los recursos. Por ejemplo, si configuras los parámetros de configuración de recursos predeterminados de Cloud Logging para una organización, todas las carpetas y los proyectos de la jerarquía de recursos de la organización heredan automáticamente esos parámetros de configuración. Sin embargo, si estableces la configuración predeterminada de recursos de Cloud Logging para una carpeta en esa organización, se usará la configuración a nivel de la carpeta.

    La configuración predeterminada de los recursos de Cloud Logging solo se aplica a los recursos nuevos, no a los existentes. Para obtener más información, consulta Establece la configuración predeterminada de los recursos para Cloud Logging.

Datos de métricas

Los datos de las métricas residen en el proyecto de Google Cloud en el que se originan los datos.

Para obtener información sobre las políticas de almacenamiento, consulta Residencia de datos para Monitoring.

Datos de seguimiento

Los datos de seguimiento se almacenan en un conjunto de datos que administra el bucket de observabilidad llamado _Trace. Para contener el conjunto de datos, debe existir el bucket _Trace. El bucket _Trace se puede crear de forma automática o manual:

  • Creación automática: El sistema crea el bucket de forma automática en respuesta a la recepción de datos de seguimiento de una aplicación o un servicio de Google Cloud . El sistema usa la configuración predeterminada aplicable para los buckets de observabilidad para determinar la ubicación y la clave de encriptación del bucket. Si no definiste la configuración predeterminada, el sistema selecciona una ubicación compatible y el bucket usa la encriptación predeterminada de Google.

    Los datos de seguimiento generados por Cloud Run Functions, Cloud Run y App Engine no hacen que el sistema cree el bucket de observabilidad. Los intervalos de estos servicios se almacenan solo cuando existe el bucket de observabilidad.

  • Creación manual: Puedes usar la API de Observability para crear el bucket _Trace antes de que tu proyecto de Google Cloud reciba datos de seguimiento. Debes proporcionar la ubicación del bucket. Puedes proporcionar una clave de Cloud Key Management Service:

    • Si proporcionas una clave, el sistema la usará para encriptar los datos almacenados.
    • Si no proporcionas una clave de Cloud KMS, la clave de encriptación se determinará según la configuración predeterminada que se aplica al recurso superior del bucket. Si la configuración predeterminada especifica una clave de Cloud KMS, esa clave encripta los datos almacenados. De lo contrario, se usa la encriptación predeterminada de Google.

Cuando se crea el bucket _Trace, el sistema también crea un conjunto de datos llamado Spans para el bucket y una vista llamada _AllSpans en el conjunto de datos. Esa vista incluye todos los datos del conjunto de datos.

Para obtener más información, consulta lo siguiente:

Modelo de almacenamiento de observabilidad

El modelo de almacenamiento de la API de Observability se basa en la siguiente arquitectura:

Buckets de observabilidad

Un bucket de observabilidad es la entidad de administración de los conjuntos de datos, que almacenan datos. Un bucket de observabilidad se encuentra en una ubicación específica y tiene una política de retención de datos. Cuando un servicio de Google Cloud usa la API de Observability para almacenar sus datos, el sistema crea un bucket de observabilidad basado en el nombre del servicio, un conjunto de datos para almacenar datos y una vista para proporcionar acceso de lectura a los datos almacenados. Por ejemplo, para el servicio de Cloud Trace, el sistema asigna el nombre _Trace al bucket creado por el sistema, Spans al conjunto de datos y _AllSpans a la vista. Para obtener información sobre la estructura de un bucket de observabilidad, consulta Bucket.

Google Cloud Observability usa la configuración predeterminada y las políticas de la organización para determinar la ubicación y el modelo de encriptación de los buckets de observabilidad nuevos. Si un bucket de observabilidad existente no cumple con los requisitos regulatorios de tu organización, es posible que puedas volver a aprovisionar el bucket de observabilidad.

Conjuntos de datos

Un conjunto de datos almacena datos. El sistema crea automáticamente un conjunto de datos cuando crea un bucket de observabilidad, que administra el conjunto de datos. Por ejemplo, cuando el sistema crea el bucket _Trace, también crea un conjunto de datos llamado Spans, que almacena tus datos de seguimiento. Para obtener información sobre la estructura de un conjunto de datos, consulta Dataset.

Vistas de conjuntos de datos

Cada conjunto de datos aloja una o más vistas. Una vista proporciona acceso de lectura a un subconjunto de entradas en el conjunto de datos. El sistema crea una vista cuando crea un conjunto de datos. Esa vista incluye todos los datos del conjunto de datos. El nombre de la vista depende del servicio. Por ejemplo, para el servicio de Cloud Trace, el sistema crea una vista llamada _AllSpans en el conjunto de datos Spans. Para obtener información sobre la estructura de una vista, consulta View.

Vínculos en conjuntos de datos

Cada conjunto de datos puede contener un vínculo como máximo. Cuando creas un vínculo para un conjunto de datos, el sistema crea un conjunto de datos de BigQuery vinculado. Luego, puedes consultar los datos en tu conjunto de datos con BigQuery u otros servicios que usen la API de BigQuery. Para obtener más información sobre la estructura de un vínculo, consulta Link.

El sistema no crea vínculos automáticamente en los conjuntos de datos.

Por ejemplo, tus datos de seguimiento residen en un conjunto de datos Spans dentro del bucket de observabilidad _Trace. El sistema crea una vista _AllSpans en este conjunto de datos que incluye todos los intervalos almacenados.

Residencia de datos para buckets de observabilidad

Si tienes requisitos normativos o de cumplimiento para almacenar tus datos en ubicaciones específicas o usar claves de encriptación administradas por el cliente (CMEK), te recomendamos que configures las políticas de la organización y los parámetros de configuración predeterminados para los buckets de observabilidad.

En el caso de las organizaciones, las carpetas y los proyectos, la configuración predeterminada de los buckets de observabilidad te permite configurar lo siguiente:

  • Una ubicación de almacenamiento predeterminada.
  • Para cada ubicación, una clave predeterminada de Cloud Key Management Service.

Hay dos formas diferentes en que el sistema usa la configuración predeterminada:

  • Cuando el sistema crea automáticamente un bucket de observabilidad, usa la configuración predeterminada para determinar la ubicación y la clave de encriptación del bucket. Si no definiste la configuración predeterminada, el sistema selecciona la ubicación y el bucket usa la encriptación predeterminada de Google.

  • Cuando inicias la creación de un bucket de observabilidad emitiendo una solicitud a la API, proporcionas la ubicación. Sin embargo, el sistema usa automáticamente la clave de Cloud KMS definida por la configuración predeterminada para encriptar los datos, a menos que los argumentos de la solicitud a la API especifiquen la clave.

Debido a que el elemento superior de un bucket de observabilidad siempre es un proyecto, cuando creas un bucket, el sistema primero busca la configuración predeterminada a nivel del proyecto. Si no existen, el sistema busca en los ancestros del elemento superior para encontrar la configuración predeterminada. Por ejemplo, si defines la configuración predeterminada para una carpeta, esta se aplicará a los descendientes de la carpeta, excepto a aquellos que tengan una configuración predeterminada establecida.

También puedes usar las políticas de la organización para restringir las ubicaciones de los buckets de observabilidad nuevos, exigir el uso de CMEK o restringir qué claves de Cloud KMS se pueden usar para la encriptación. Si configuras políticas de la organización que requieren el uso de CMEK, debes establecer la configuración predeterminada para los buckets de observabilidad. De lo contrario, fallará el aprovisionamiento de los buckets de observabilidad creados por el sistema.

Para obtener más información, consulta los siguientes documentos:

Limitaciones

No puedes hacer lo siguiente:

  • Modificar o borrar buckets de observabilidad
  • Crear, borrar o modificar conjuntos de datos
  • Crear, borrar o modificar vistas
  • Usa la consola de Google Cloud para enumerar buckets, conjuntos de datos, vistas o vínculos.

¿Qué sigue?