Introduzione al monitoraggio di BigQuery

Il monitoraggio di BigQuery ti consente di monitorare l'utilizzo delle risorse, l'esecuzione dei job e l'integrità operativa dei tuoi workload per identificare i colli di bottiglia e mantenere l'affidabilità.

Il monitoraggio e il logging sono fondamentali per l'esecuzione di applicazioni affidabili nel cloud. I workload BigQuery non fanno eccezione, soprattutto se il tuo workload ha volumi elevati o è mission critical.

Le origini di monitoraggio variano in base alla frequenza di campionamento e al livello di aggregazione. Ad esempio, le viste dello schema di informazioni spesso forniscono una granularità maggiore rispetto alle metriche di Cloud Monitoring. Di conseguenza, i grafici delle metriche potrebbero differire temporaneamente dai dati dello schema di informazioni finché l'aggregazione non appiana le differenze. Quando progetti una strategia di monitoraggio, valuta la latenza, la precisione e l'accuratezza in base ai tuoi requisiti.

Metriche

Le metriche sono valori numerici che vengono raccolti a intervalli regolari e resi disponibili per l'analisi. Puoi utilizzare le metriche per:

  • Creare grafici e dashboard.
  • Attiva avvisi per condizioni o situazioni che richiedono l'intervento umano.
  • Analizza il rendimento storico.

Nel caso di BigQuery, le metriche disponibili includono il numero di job in esecuzione, il numero di byte analizzati durante una query e la distribuzione dei tempi di query. Le metriche per una query diventano disponibili solo dopo che la query è stata eseguita correttamente e possono essere necessarie fino a sette minuti per la generazione del report. Le metriche per le query non riuscite non vengono registrate. Per un elenco completo delle metriche disponibili, incluse le frequenze di campionamento, la visibilità e le limitazioni, consulta bigquery in metriche diGoogle Cloud .

Utilizza Cloud Monitoring per visualizzare le metriche di BigQuery e creare grafici e avvisi. Ogni metrica ha un tipo di risorsa, bigquery_dataset, bigquery_project o global, e un insieme di etichette. Puoi raggruppare o filtrare ogni metrica utilizzando le etichette.

Ad esempio, per tracciare un grafico del numero di query interattive in corso, utilizza la seguente istruzione PromQL, che filtra in base a priority uguale a interactive:

{"bigquery.googleapis.com/query/count", monitored_resource="global", priority="interactive"}

L'esempio successivo recupera il numero di job di caricamento in corso, raggruppati in intervalli di 10 minuti:

avg_over_time({"bigquery.googleapis.com/job/num_in_flight",
  monitored_resource="bigquery_project",
  job_type="load"
}[10m])

Per saperne di più, consulta Creazione di grafici e avvisi per BigQuery.

Log

I log sono record di testo generati in risposta a determinati eventi o azioni. BigQuery crea voci di log per azioni come la creazione o l'eliminazione di una tabella, l'acquisto di slot o l'esecuzione di un job di caricamento. Per saperne di più sul logging in Google Cloud, consulta Cloud Logging.

Un log è una raccolta di voci di log di sola aggiunta. Ad esempio, puoi scrivere le tue voci di log in un log denominato projects/PROJECT_ID/logs/my-test-log. Molti serviziGoogle Cloud , tra cui BigQuery, creano un tipo di log chiamato audit log. Questi log registrano:

  • Attività amministrativa, ad esempio la creazione o la modifica di risorse.
  • Accesso ai dati, ad esempio la lettura dei dati forniti dagli utenti da una risorsa.
  • Eventi di sistema generati dai sistemi Google, anziché dalle azioni degli utenti.

Gli audit log sono scritti in un formato JSON strutturato. Il tipo di dati di base per le voci di logGoogle Cloud è la struttura LogEntry. Questa struttura contiene il nome del log, la risorsa che ha generato la voce di log, il timestamp (UTC) e altre informazioni di base.

I dettagli dell'evento registrato sono contenuti in un sottocampo chiamato campo payload. Per gli audit log, il campo del payload è denominato protoPayload. Il valore di questo campo è una struttura AuditLog, indicata dal valore del campo protoPayload.@type, impostato su type.googleapis.com/google.cloud.audit.AuditLog.

Per le operazioni su set di dati, tabelle e job, BigQuery scrive gli audit log in due formati diversi, anche se entrambi condividono il tipo di base AuditLog.

Nel formato precedente:

  • Il campo resource.type è bigquery_resource.
  • I dettagli dell'operazione vengono scritti nel campo protoPayload.serviceData. Il valore di questo campo è una struttura AuditData.

Nel formato più recente:

  • Il campo resource.type è bigquery_project o bigquery_dataset. La risorsa bigquery_project contiene voci di log relative ai job, mentre la risorsa bigquery_dataset contiene voci di log relative allo spazio di archiviazione.
  • I dettagli dell'operazione vengono scritti nel campo protoPayload.metadata. Il valore di questo campo è una struttura BigQueryAuditMetadata.

Ti consigliamo di utilizzare i log nel formato più recente. Per saperne di più, consulta la guida alla migrazione degli audit log.

Ecco un esempio abbreviato di una voce di log che mostra un'operazione non riuscita:

{
  "protoPayload": {
    "@type": "type.googleapis.com/google.cloud.audit.AuditLog",
    "status": {
      "code": 5,
      "message": "Not found: Dataset my-project:my-dataset was not found in location US"
    },
    "authenticationInfo": { ... },
    "requestMetadata":  { ... },
    "serviceName": "bigquery.googleapis.com",
    "methodName": "google.cloud.bigquery.v2.JobService.InsertJob",
    "metadata": {
  },
  "resource": {
    "type": "bigquery_project",
    "labels": { .. },
  },
  "severity": "ERROR",
  "logName": "projects/my-project/logs/cloudaudit.googleapis.com%2Fdata_access",
  ...
}

Per le operazioni su BigQuery Reservations, protoPayload è una struttura AuditLog e i campi protoPayload.request e protoPayload.response contengono ulteriori informazioni. Puoi trovare le definizioni dei campi nell'API BigQuery Reservation. Per saperne di più, consulta Monitoraggio delle prenotazioni BigQuery.

Viste Information Schema di BigQuery

Le viste dello schema di informazioni sono un'altra fonte di insight in BigQuery, che puoi utilizzare insieme a metriche e log.

Queste viste contengono metadati su job, set di dati, tabelle e altre entità BigQuery. Ad esempio, puoi ottenere metadati in tempo reale sui job BigQuery eseguiti in un periodo di tempo specificato, quindi raggruppare o filtrare i risultati per progetto, utente, tabelle di riferimento e altre dimensioni.

Puoi utilizzare queste informazioni per eseguire un'analisi più dettagliata dei tuoi workload BigQuery e rispondere a domande come:

  • Qual è l'utilizzo medio degli slot per tutte le query negli ultimi 7 giorni per un determinato progetto?
  • Quali utenti hanno inviato un job di caricamento in batch per un determinato progetto?
  • Quali errori di streaming si sono verificati negli ultimi 30 minuti, raggruppati per codice di errore?

In particolare, esamina i metadati dei job, i metadati di flussi di dati e i metadati delle prenotazioni per ottenere insight sulle prestazioni dei tuoi workload BigQuery.

Puoi trovare esempi di query dello schema di informazioni su GitHub che mostrano l'utilizzo di slot e prenotazioni, l'esecuzione dei job e gli errori dei job di un'organizzazione. Ad esempio, la seguente query fornisce un elenco di query in attesa o in esecuzione. Queste query sono ordinate in base al tempo trascorso dalla loro creazione nella regione us:

SELECT
    creation_time,
    project_id,
    user_email,
    job_id,
    job_type,
    priority,
    state,
    TIMESTAMP_DIFF(CURRENT_TIMESTAMP(), start_time,second) as running_time_sec
 FROM
   `region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
 WHERE
    creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 DAY) AND CURRENT_TIMESTAMP()
    AND state != "DONE"
ORDER BY
    running_time_sec DESC

Per saperne di più, consulta Risolvi i problemi relativi alle prestazioni di BigQuery con queste dashboard.

Oltre a scrivere le tue query, puoi utilizzare gli strumenti di monitoraggio di BigQuery nella console Google Cloud :

  • Monitora l'integrità e l'utilizzo delle risorse. Visualizza le dashboard di integrità operativa e i grafici delle risorse che monitorano l'utilizzo degli slot, la capacità e la contemporaneità dei job nel tempo nell'organizzazione e nelle prenotazioni.
  • Monitora i job. Cerca, filtra e raggruppa le singole esecuzioni di query nella tua organizzazione per ispezionare i grafici di esecuzione delle query, identificare i principali consumer di slot e risolvere i problemi dei job problematici.

Passaggi successivi