Introducción a los registros de auditoría en BigQuery
Puedes usar los registros de auditoría de BigQuery para supervisar las actividades administrativas y de acceso a los datos en tus proyectos. Los registros son archivos de texto que se crean automáticamente y registran quién realizó acciones específicas, como crear tablas o ejecutar trabajos, para ayudarte a mantener la seguridad y garantizar el cumplimiento. En este documento, se explica cuándo usar los registros de auditoría y se proporciona una descripción general de su formato.
Google Cloud también escribe registros, incluidos los registros de auditoría que proporcionan estadísticas sobre los problemas operativos relacionados con el uso de los servicios de Google Cloud . Para obtener más información sobre cómo Google Cloud controla los registros, consulta la documentación de Cloud Logging y la descripción general de los Registros de auditoría de Cloud.
Registros de auditoría frente a vistas INFORMATION_SCHEMA
Tus proyectos de Google Cloud incluyen registros de auditoría solo para los recursos que están directamente en el proyecto de Google Cloud . Otros recursos de Google Cloud , como las carpetas, las organizaciones y las cuentas de facturación, contienen sus propios registros de auditoría.
Los registros de auditoría te ayudan a responder las preguntas “¿Quién hizo qué, dónde y cuándo?” para tus recursos de Google Cloud . Los registros de auditoría son la fuente definitiva de información para la actividad del sistema por parte de los patrones de acceso y de los usuarios, y deben ser la fuente principal de las preguntas de auditoría o seguridad.
Las vistas INFORMATION_SCHEMA en BigQuery son otra fuente de estadísticas que puedes usar junto con las métricas y los registros. Estas vistas contienen metadatos sobre trabajos, conjuntos de datos, tablas y otras entidades de BigQuery. Por ejemplo, puedes obtener metadatos en tiempo real sobre qué trabajos de BigQuery se ejecutaron durante un tiempo específico. Luego, puedes agrupar o filtrar los resultados por proyecto, usuario, tablas a las que se hace referencia y otras dimensiones.
Las vistas INFORMATION_SCHEMA proporcionan información para realizar un análisis más detallado sobre tus cargas de trabajo de BigQuery, como los siguientes:
- ¿Cuál es el uso promedio de las ranuras de todas las búsquedas de los últimos siete días de un proyecto determinado?
- ¿Qué errores de transmisión ocurrieron en los últimos 30 minutos, agrupados por código de error?
Los registros de auditoría de BigQuery contienen entradas de registro para las llamadas a la API, pero no describen su impacto. Un subconjunto de llamadas a la API crea trabajos (como de consulta y carga) cuya información se captura con las vistas INFORMATION_SCHEMA. Por ejemplo, puedes encontrar información sobre el tiempo y las ranuras que usa una consulta específica en las vistas INFORMATION_SCHEMA, pero no en los registros de auditoría.
Para obtener estadísticas sobre el rendimiento de las cargas de trabajo de BigQuery en particular, consulta los metadatos de trabajos, los metadatos de transmisión y los metadatos de reservas.
Para obtener más información sobre los tipos de registros de auditoría que escriben los servicios de Google Cloud , consulta Tipos de registros de auditoría.
Formato del registro de auditoría
Los servicios deGoogle Cloud escriben registros de auditoría en formato JSON estructurado. El tipo de datos base para las entradas de registro de Google Cloud es la estructura LogEntry. Esta estructura contiene el nombre del registro, el recurso que generó la entrada de registro, la marca de tiempo (UTC) y otro tipo de información básica.
Los registros incluyen detalles del evento registrado en un subcampo que se denomina campo de carga útil. Para los registros de auditoría, el campo de carga útil se llama protoPayload. El tipo de campo (protoPayload.@type) se establece en type.googleapis.com/google.cloud.audit.AuditLog, lo que indica que el campo usa la estructura de registro AuditLog.
Para las operaciones en conjuntos de datos, tablas y trabajos, BigQuery escribe registros de auditoría en dos formatos diferentes, aunque ambos comparten el tipo de base AuditLog.
El formato anterior incluye los siguientes campos y valores:
- El valor para el campo
resource.typeesbigquery_resource. - BigQuery escribe los detalles sobre una operación en el campo
protoPayload.serviceData. El valor de este campo utiliza la estructura de registroAuditData.
El formato más reciente incluye los siguientes campos y valores:
- El valor del campo
resource.typeesbigquery_projectobigquery_dataset. El recursobigquery_projecttiene entradas de registro sobre los trabajos, mientras que el recursobigquery_datasettiene entradas de registro sobre el almacenamiento. - BigQuery escribe los detalles sobre una operación en el campo
protoPayload.metadata. El valor de este campo usa la estructuraBigQueryAuditMetadata.
Recomendamos consumir registros en el formato más reciente. Para obtener más información, consulta la guía de migración de registros de auditoría.
El siguiente es un ejemplo abreviado de una entrada de registro que muestra una operación con errores:
{
"protoPayload": {
"@type": "type.googleapis.com/google.cloud.audit.AuditLog",
"status": {
"code": 5,
"message": "Not found: Dataset myproject:mydataset was not found in location US"
},
"authenticationInfo": { ... },
"requestMetadata": { ... },
"serviceName": "bigquery.googleapis.com",
"methodName": "google.cloud.bigquery.v2.JobService.InsertJob",
"metadata": {
},
"resource": {
"type": "bigquery_project",
"labels": { .. },
},
"severity": "ERROR",
"logName": "projects/myproject/logs/cloudaudit.googleapis.com%2Fdata_access",
...
}
Para las operaciones en las reservas de BigQuery, el campo protoPayload usa la estructura AuditLog, y los campos protoPayload.request y protoPayload.response contienen más información. Puedes encontrar las definiciones de campo en la API de BigQuery Reservation. Para obtener más información, consulta Supervisa reservas de BigQuery.
Para comprender mejor el formato del registro de auditoría, consulta Información sobre los registros de auditoría.
Limitaciones
Los mensajes de registro tienen un límite de tamaño de 100,000 bytes. Para obtener más información, consulta Entrada de registro truncada.
Visibilidad y control de acceso
Es posible que los registros de auditoría de BigQuery incluyan información que los usuarios podrían considerar sensible, como texto de SQL, definiciones de esquemas e identificadores para recursos como tablas y conjuntos de datos. Para obtener información sobre cómo administrar el acceso a esta información, consulta la documentación del control de acceso de Cloud Logging.
Mapa de telemetría
En la siguiente tabla, se asignan las funciones y los recursos de BigQuery a su telemetría de supervisión operativa, los servicios y recursos de la API auditados, y la documentación de referencia de los registros de auditoría. Puedes usarla para encontrar la telemetría que necesitas para solucionar problemas, optimizar el rendimiento, controlar los costos, auditar el uso y mantener el cumplimiento.
A diferencia de muchos servicios de Google Cloud que escriben registros de trabajos operativos en
Cloud Logging, BigQuery escribe la telemetría de los trabajos operativos en
vistas de esquemas de información, como
INFORMATION_SCHEMA.JOBS. Estas
vistas capturan las etapas de ejecución de las consultas, el uso de ranuras, los bytes facturados y todos
los trabajos enviados, incluidos los trabajos en curso y los que fallaron.
BigQuery usa Logging principalmente para emitir Registros de auditoría de Cloud, que registran la actividad administrativa y de acceso a los datos. Cuando auditas esta actividad, puedes determinar quién accedió a los recursos o datos, dónde y cuándo.
No se emiten registros de auditoría para cada interrupción o falla del trabajo. Por ejemplo,
los trabajos con errores no generan eventos TableDataRead ni TableDataChange, y
jobCompletedEvent solo registra las finalizaciones de trabajos correctas. Para obtener detalles sobre
situaciones en las que no se emiten registros de auditoría, consulta
Acceso a los datos en la
descripción general de los registros de auditoría de BigQuery.
En la siguiente tabla, un asterisco (*) en un nombre de vista INFORMATION_SCHEMA
indica variantes de vista específicas del alcance, como _BY_PROJECT, _BY_USER,
_BY_FOLDER y _BY_ORGANIZATION.
| Función o recurso | Supervisión operativa | Registros de auditoría de Cloud |
|---|---|---|
| Consultas y trabajos |
Vistas del esquema de información:
Consola:
Métricas: Métricas de Cloud Monitoring, como |
Servicio de la API:
Recursos auditados: trabajos en Registros de auditoría: Registros de acceso a los datos con |
| Tablas y vistas |
Vistas del esquema de información:
Métricas: Métricas de Monitoring, como |
Servicios de API:
Recursos auditados: tablas, vistas y vistas materializadas
en Registros de auditoría: Registros de acceso a los datos con
|
| Conjuntos de datos |
Vistas del esquema de información:
|
Servicio de la API:
Recursos auditados: conjuntos de datos, políticas de IAM de conjuntos de datos y LCA de conjuntos de datos en Registros de auditoría: Registros de actividad del administrador y de acceso a los datos
con |
| Ranuras y reservas |
Vistas del esquema de información:
Consola:
Métricas: Métricas de Monitoring, como |
Servicio de la API:
Recursos auditados: reservas, compromisos de capacidad
y asignaciones de reservas en
Registros de auditoría: Registros de actividad del administrador y de acceso a los datos para crear, modificar, borrar y enumerar reservas, compromisos de capacidad y asignaciones de proyectos o carpetas. Consulta Registro de auditoría de la API de BigQuery Reservation. |
| Seguridad a nivel de la columna y enmascaramiento de datos |
Vistas del esquema de información:
|
Servicios de API:
Recursos auditados: taxonomías y etiquetas de política en
Registros de auditoría: Registros de actividad del administrador y de acceso a los datos para
la administración de taxonomías y etiqueta de política, y los cambios en las políticas de IAM (Audita las etiquetas de política);
administración de políticas de datos y actualizaciones de beneficiarios (Registro de auditoría de políticas de datos de BigQuery);
y registros de |
| Rutinas, incluidas las UDF y los procedimientos almacenados |
Vistas del esquema de información:
|
Servicio de la API:
Recursos auditados: funciones definidas por el usuario (UDF),
funciones de tabla y procedimientos almacenados en Registros de auditoría: Registros de actividad del administrador y de acceso a los datos
con |
| Conexiones externas |
Vistas del esquema de información:
|
Servicio de API:
Recursos auditados: conexiones y políticas de IAM de conexión en Registros de auditoría: Registros de actividad del administrador y de acceso a los datos para la creación de conexiones, las actualizaciones de credenciales, la eliminación, la creación de listas y los cambios en las políticas de IAM. Consulta Registro de auditoría de la API de BigQuery Connection. |
| BigQuery sharing |
Vistas del esquema de información:
|
Servicio de la API:
Recursos auditados: Intercambios de datos, fichas,
suscripciones y políticas de IAM de intercambio o fichas en
Registros de auditoría: Registros de actividad del administrador y de acceso a los datos para el intercambio de datos y la creación, actualización y eliminación de fichas, los cambios en las políticas de IAM y las operaciones de los suscriptores. Consulta Registro de auditoría de uso compartido. |
| Servicio de transferencia de datos de BigQuery |
Métricas y registros:
|
Servicio de API:
Recursos auditados: configuraciones de transferencia, ejecuciones de transferencia y fuentes de datos en Registros de auditoría: Registros de actividad del administrador y de acceso a los datos para crear, actualizar, borrar, enumerar e iniciar ejecuciones y parámetros de configuración de transferencia. Consulta los registros de auditoría del Servicio de transferencia de datos de BigQuery. |
| Catálogos y tablas de BigLake |
Vistas del esquema de información: |
Servicios de API:
Recursos auditados: Catálogos, bases de datos,
tablas y particiones de almacén de metadatos en Registros de auditoría: Registros de actividad del administrador y de acceso a los datos para las operaciones de políticas de IAM de catálogo, base de datos, espacio de nombres, tabla, partición y catálogo. Consulta Registros de auditoría de BigLake. |
| Servicio de migración de BigQuery |
Estado e informes:
|
Servicio de API:
Recursos auditados: flujos de trabajo de migración, subtareas de migración y solicitudes de traducción de SQL en Registros de auditoría: Registros de acceso a los datos para crear, iniciar, enumerar, ver y borrar flujos de trabajo y subtareas de migración, y traducir consultas en SQL. Consulta los registros de auditoría del Servicio de migración de BigQuery. |
¿Qué sigue?
- Si quieres obtener información sobre cómo usar Cloud Logging para auditar actividades relacionadas con las etiquetas de políticas, consulta Etiquetas de política de auditoría.
- Si quieres aprender a usar BigQuery para analizar la actividad registrada, consulta Descripción general de los registros de auditoría de BigQuery.