Conjuntos de datos de Storage Insights

Los conjuntos de datos de Storage Insights te ayudan a administrar tus recursos de Cloud Storage, ya que generan un índice consultable de metadatos y actividad en organizaciones, carpetas, proyectos o buckets específicos. Después de vincular el conjunto de datos a BigQuery, puedes analizar, consultar y visualizar los datos de tus bucket y objetos.

Contenido y esquemas de conjuntos de datos

Un conjunto de datos de Storage Insights proporciona una instantánea continua de metadatos, datos de actividad, errores y eventos para todos los proyectos, buckets y objetos dentro del alcance definido. El conjunto de datos recopila e indexa información para proporcionar una vista de tus datos. Esta vista te permite supervisar tus recursos de Cloud Storage y administrar tu patrimonio de almacenamiento.

El conjunto de datos está disponible como un conjunto de datos vinculado de BigQuery, con un conjunto de tablas que tienen los siguientes esquemas:

Casos de uso de los conjuntos de datos de Storage Insights

Los conjuntos de datos de Storage Insights proporcionan vistas para obtener estadísticas detalladas y en toda la organización sobre tus datos. En las siguientes secciones, se describen los casos de uso de los conjuntos de datos.

Información sobre tu estado de almacenamiento

Puedes obtener estadísticas sobre tus datos si visualizas los metadatos de proyectos, bucket y objetos. Las vistas de metadatos te ayudan con las siguientes tareas:

  • Detecta anomalías, como datos en una región inesperada.
  • Identificar oportunidades de optimización, como ubicar archivos temporales o duplicados
  • Consulta estadísticas específicas, como los objetos creados en las últimas 24 horas o el recuento total de archivos PDF.
  • Desglosa los objetos sobre los que deseas actuar extrayendo una lista de prefijos de un conjunto de objetos según los resultados de la consulta.

Realiza operaciones por lotes con filtros de conjuntos de datos

Si integras los conjuntos de datos de Storage Insights con las operaciones por lotes de almacenamiento, puedes realizar acciones a gran escala en los objetos identificados en tus conjuntos de datos. Esta integración te permite seleccionar subconjuntos específicos de datos en varios buckets de todo el proyecto y aplicar transformaciones según los campos de tu conjunto de datos. Este enfoque elimina la necesidad de archivos de manifiesto manuales.

Selección directa de objetos

Usa las marcas de filtro de Common Expression Language (CEL) (--bucket-filters y --object-filters) directamente en Google Cloud CLI para seleccionar y procesar objetos a gran escala. Esta selección directa te permite evaluar los campos del conjunto de datos y ejecutar acciones por lotes en todo el proyecto. Este método elimina la necesidad de crear archivos CSV de manifiesto de forma manual. No necesitas consultar tu conjunto de datos en BigQuery, exportar los resultados de la búsqueda ni subir manifiestos a tus buckets. Este alcance para todo el proyecto te permite ejecutar un solo trabajo por lotes en hasta 1,000 buckets.

Por ejemplo, puedes especificar criterios de filtro directamente en Google Cloud CLI:

--object-filters="size >= 5000 && name.endsWith('.pdf')"

Para obtener información sobre los campos y operadores disponibles que puedes usar en estos filtros, consulta la referencia de filtros de CEL.

Analiza los patrones de actividad

Con la vista de actividad del bucket, la vista de actividad del proyecto y la vista de eventos de objetos, puedes hacer lo siguiente:

  • Analizar los patrones operativos y, luego, identificar los buckets inactivos

  • Supervisa las operaciones en tus objetos para ver cómo cambia tu patrimonio de almacenamiento con el tiempo.

  • Asigna tus proyectos, buckets y prefijos más activos.

Información sobre la actividad de bucket regionales

La vista de actividad regional del bucket muestra campos como los bytes de solicitud y respuesta, lo que indica las regiones que interactúan con frecuencia con tu bucket. Analiza la actividad del bucket regional para determinar si es necesaria la reubicación del bucket:

  • Consulta la salida y la entrada totales de un bucket en una región para identificar los buckets que pueden ser más adecuados para una clase regional, en lugar de una multirregional.

  • Evalúa el tráfico de datos total dentro de todas las regiones y entre ellas.

Evalúa el estado de seguridad

Puedes usar los metadatos de bucket y objetos para identificar objetos expuestos públicamente, tipos de encriptación activos y plazos de vencimiento para la retención de datos. En las siguientes secciones, se describe cómo los conjuntos de datos de Storage Insights te ayudan a evaluar posibles vulnerabilidades de seguridad.

Identifica objetos de acceso público

Puedes usar los conjuntos de datos de Storage Insights para identificar los objetos a los que se puede acceder públicamente. El estado de acceso público de tus objetos te ayuda a administrar tus datos de almacenamiento y mitigar los riesgos de robo de datos, ya que te permite identificar los objetos expuestos a la Internet pública.

El esquema de metadatos de objetos proporciona el estado de acceso público, una métrica calculada que ayuda a simplificar el análisis de seguridad. Para determinar el estado de acceso público de un objeto, los conjuntos de datos de Storage Insights validan todas las siguientes configuraciones:

Para ayudarte a identificar la configuración específica que otorga acceso público, los conjuntos de datos de Storage Insights incluyen información cuando un objeto se puede leer o escribir de forma pública. En el caso de los objetos de lectura pública, esta información indica si el permiso se origina a nivel del objeto, del bucket o de la carpeta administrada. En el caso de los objetos de escritura pública, se proporcionan detalles sobre si el acceso se otorga a través de una LCA de objeto, una LCA de bucket o una política de IAM.

Puedes consultar el estado de acceso público de los objetos con BigQuery y, luego, supervisar esos objetos con los paneles de Looker para enumerar todos los objetos de lectura o escritura públicos. Para obtener más información sobre los campos de estado de acceso público, consulta securityInsights en el esquema de metadatos del objeto.

Audita los parámetros de configuración de encriptación

Puedes usar las vistas de metadatos de bucket y objetos para auditar las configuraciones de encriptación. Estas vistas incluyen información de encriptación tanto a nivel de bucket como de objeto, con campos como encryption en los metadatos del bucket y encryptionType en los metadatos del objeto. Puedes usar esta información para hacer lo siguiente:

  • Verifica que los buckets tengan configurada la encriptación predeterminada. Para ello, comprueba encryption.defaultEncryptionType y encryption.defaultKmsKeyName.
  • Valida el cumplimiento de las políticas de aplicación de la encriptación verificando encryptionType para ver si los objetos usan claves de encriptación administradas por Google, administradas por el cliente o claves de encriptación proporcionadas por el cliente.
  • Identificar todos los objetos encriptados con una clave específica de Cloud Key Management Service o con claves de encriptación proporcionadas por el cliente

Supervisa las políticas de retención de datos

Puedes usar las vistas de metadatos de bucket y objetos para supervisar las políticas de retención de datos. Estas vistas incluyen campos como retentionExpirationTime en los metadatos de objetos y softDeletePolicy en los metadatos de bucket. Puedes usar estos campos para hacer lo siguiente:

  • Haz un seguimiento de los objetos que se acercan al vencimiento de la retención.
  • Identifica los buckets que tienen habilitada la eliminación no definitiva y supervisa su duración de retención.
  • Identifica los objetos en estado de borrado no definitivo verificando softDeleteTime.

Acelera la solución de problemas

La vista object_events_view contiene información de errores que puede ayudar a solucionar problemas. Puedes usar esta vista para inspeccionar las operaciones que generaron errores, identificar los motivos de los errores y detectar proyectos y buckets con tasas de error altas. Por ejemplo, puedes solucionar problemas de errores 429 identificando el bucket, el proyecto y la causa raíz afectados, como la cuota de recursos o los límites de ancho de banda.

Analiza los datos y los metadatos de los objetos con BigQuery

Puedes analizar los datos de tus conjuntos de datos de Storage Insights con las funciones ObjectRef de BigQuery. Por ejemplo, puedes crear consultas para ayudar a detectar información sensible en documentos o generar descripciones de imágenes.

Para analizar el contenido de los objetos, usa la columna ref de las tablas de metadatos de objetos con las funciones ObjectRef. Para obtener más detalles, consulta Analiza datos y metadatos de objetos con BigQuery.

Beneficios de los conjuntos de datos de Storage Insights

Los conjuntos de datos de Storage Insights proporcionan metadatos y datos de actividad sobre tu patrimonio de almacenamiento en un formato que se puede consultar en BigQuery. Los siguientes son los beneficios de usar conjuntos de datos de Storage Insights:

  • Analiza tu patrimonio de almacenamiento dentro de un alcance personalizable para obtener estadísticas de toda la organización o especifica carpetas, proyectos o buckets para el análisis.

  • Con los datos disponibles en BigQuery, usa SQL y consultas en lenguaje natural con Gemini para analizar tus datos. Para obtener más detalles, consulta Analiza datos con la ayuda de Gemini.

  • Puedes visualizar tus datos conectándote a un panel de Looker. Puedes usar el panel de Storage Intelligence como una plantilla que proporciona un ejemplo de las estadísticas que puedes obtener de los conjuntos de datos. Puedes usar la plantilla para conectarte a tus conjuntos de datos o agregar gráficos personalizados. Para obtener información sobre cómo usar la plantilla, consulta las instrucciones de conexión del panel de Storage Intelligence.

Cómo funcionan los conjuntos de datos de Storage Insights

Para usar los conjuntos de datos de Storage Insights, primero configura un conjunto de datos dentro de un proyecto. Especifica la organización, las carpetas o los proyectos de los que deseas hacer un seguimiento de los datos. Después de la creación, otorga los permisos necesarios al agente de servicio para generar el conjunto de datos. Luego, puedes vincular el conjunto de datos a BigQuery para realizar consultas. Una vez configurado, el servicio recopila y transfiere automáticamente instantáneas diarias de los metadatos de objetos, los metadatos de bucket, las operaciones y los errores a una instancia de BigQuery propiedad de Cloud Storage. Los datos se conservan según el período de retención configurado y se almacenan de forma optimizada para minimizar los costos de almacenamiento y análisis.

En la configuración del conjunto de datos, defines qué datos se recopilan, dónde se almacenan y cómo se administran.

En la siguiente tabla, se describen las propiedades clave que debes definir cuando configuras un conjunto de datos:

Propiedad Descripción Detalles y límites
Alcance del conjunto de datos Especifica los recursos (organizaciones, proyectos o carpetas) que contienen los buckets y objetos que deseas incluir en el conjunto de datos. Puedes especificar proyectos o carpetas de forma individual o con un archivo CSV. Cada configuración permite solo un permiso de conjunto de datos. Puedes especificar hasta 10,000 proyectos o carpetas.
Filtros de bucket Son los filtros que se usan para incluir o excluir buckets específicos del conjunto de datos.Puedes filtrar por nombre de bucket con expresiones regulares o por ubicación del bucket.
Período de retención del conjunto de datos Es la cantidad de días que el conjunto de datos captura y conserva los metadatos y los datos de actividad, incluida la fecha de creación del conjunto de datos. En el caso de las tablas de datos de actividad, puedes anular el período de retención de datos con la propiedad Período de retención de datos de actividad. Este período de retención es una ventana móvil y puede ser de hasta 90 días. Los conjuntos de datos se actualizan con metadatos nuevos cada 24 horas. El sistema borra automáticamente los datos capturados fuera del período de retención. Por ejemplo, si creas un conjunto de datos el 1 de octubre de 2023 con una ventana de retención establecida en 30 días. El 30 de octubre, el conjunto de datos refleja los últimos 30 días de datos (del 1 al 30 de octubre). El 31 de octubre, el conjunto de datos refleja los datos del 2 al 31 de octubre. Puedes modificar la ventana de retención en cualquier momento. De forma predeterminada, el período de retención se aplica a las tablas de metadatos y también a las tablas de datos de actividad cuando no se especifica el período de retención de los datos de actividad.
Período de retención de datos de actividad Es la cantidad de días que el conjunto de datos captura y conserva los datos de actividad. Cuando se define, este valor anula el período de retención del conjunto de datos. El período de retención puede ser de hasta 365 days. El período de retención de los datos de actividad se aplica a las tablas de datos de actividad.
Ubicación Es la ubicación de BigQuery que se usa para almacenar el conjunto de datos vinculado y sus datos asociados. El conjunto de datos vinculado debe estar en una ubicación compatible con BigQuery, como us-central1, aunque los buckets de origen pueden estar en cualquier ubicación de Cloud Storage. Te recomendamos que selecciones la ubicación de tus tablas de BigQuery si ya tienes tablas de BigQuery.
Tipo de agente de servicio Determina el alcance del agente de servicio que lee y escribe datos para la configuración del conjunto de datos. Puede ser un agente de servicio con alcance de configuración o un agente de servicio con alcance de proyecto. Los agentes de servicio con alcance de proyecto pueden acceder a los conjuntos de datos y escribirlos para todos los parámetros de configuración de conjuntos de datos del proyecto. Por ejemplo, si tienes varias configuraciones de conjuntos de datos dentro de un proyecto, solo necesitas otorgar los permisos necesarios al agente de servicio con alcance del proyecto una vez. Esto le permite leer y escribir conjuntos de datos para todos los parámetros de configuración de conjuntos de datos dentro del proyecto. Cuando se borra una configuración de conjunto de datos, no se borra el agente de servicio con alcance de proyecto.

Los agentes de servicio con alcance de configuración solo pueden acceder al conjunto de datos generado por la configuración de conjunto de datos específica y escribir en él. Por lo tanto, si tienes varios parámetros de configuración de conjuntos de datos, debes otorgar los permisos necesarios a cada agente de servicio con alcance de configuración. Cuando se borra una configuración de conjunto de datos, se borra el agente de servicio con alcance de configuración.

Después de especificar las propiedades de configuración y otorgar los permisos necesarios al agente de servicio, vincula el conjunto de datos a BigQuery para realizar consultas.

Para obtener detalles sobre las propiedades que configuras cuando creas o actualizas una configuración de conjunto de datos, consulta el recurso DatasetConfigs en la documentación de la API de JSON.

Después de la configuración, el servicio recopila y transfiere datos de forma automática a una instancia de BigQuery propiedad de Cloud Storage. El cronograma para completar los datos en los conjuntos de datos es el siguiente:

  • La carga inicial del conjunto de datos y los datos de actividad de los buckets o objetos recién agregados pueden tardar entre 24 y 48 horas en aparecer como un conjunto de datos vinculado en BigQuery.

  • Por lo general, los datos de actividad se incluyen en un plazo de cuatro horas después de la actividad (en ocasiones, la latencia puede ser mayor).

  • Las instantáneas de metadatos (para proyectos, buckets y objetos) se actualizan cada 24 horas.

Consideraciones

Ten en cuenta lo siguiente para las configuraciones de conjuntos de datos:

  • Cuando cambias el nombre de una carpeta en un bucket con el espacio de nombres jerárquico habilitado, se actualizan los nombres de los objetos de ese bucket. Cuando el conjunto de datos vinculado ingiere estas instantáneas de objetos, se consideran entradas nuevas.

  • Las sumas de comprobación CRC32C y los hashes MD5 no están disponibles en la tabla object metadata para los objetos encriptados con claves de encriptación administradas por el cliente (CMEK).

  • Los conjuntos de datos de Storage Insights pueden transferir metadatos de buckets de origen en cualquier ubicación de Cloud Storage, incluidas las ubicaciones que no se mencionan aquí. Sin embargo, el conjunto de datos vinculado debe residir en una de las siguientes ubicaciones de BigQuery compatibles:

    • EU
    • US
    • asia-south1
    • asia-south2
    • asia-southeast1
    • europe-west1
    • us-central1
    • us-east1
    • us-east4

  • Se aplican las siguientes limitaciones cuando se determina el estado de acceso público de los objetos con los conjuntos de datos de Storage Insights:

    • El estado de acceso público no está disponible para los objetos dentro de las carpetas administradas.

    • Los conjuntos de datos de Storage Insights no consideran los Controles del servicio de VPC ni la configuración de filtrado de IP del bucket cuando determinan el estado de acceso público de un objeto.

¿Qué sigue?