Introduzione all'amministrazione di BigQuery

L'amministrazione di BigQuery ti consente di configurare, proteggere e monitorare le risorse di dati e i workload di computing della tua organizzazione. Puoi utilizzare queste funzionalità per allocare la capacità di calcolo, ottimizzare le prestazioni delle query, controllare i costi e applicare i criteri di accesso.

Per fare un tour delle funzionalità di amministrazione dei dati di BigQuery direttamente nella console Google Cloud , fai clic su Fai il tour.

Inizia il tour

Strumenti

BigQuery fornisce diverse interfacce che puoi utilizzare per le attività di amministrazione. Spesso una determinata attività può essere eseguita con più strumenti, consentendoti di scegliere quello più adatto alle tue esigenze. Ad esempio, puoi creare una tabella utilizzando il riquadro Explorer nella consoleGoogle Cloud , un comando bq mk --table o un'istruzione SQL CREATE TABLE.

  • ConsoleGoogle Cloud . La console Google Cloud ha diverse pagine dedicate all'amministrazione di BigQuery. Per saperne di più, consulta Utilizza la console Google Cloud .

  • Istruzioni SQL. La pagina BigQuery nella consoleGoogle Cloud include un editor di query in cui puoi eseguire attività amministrative utilizzando istruzioni DDL e DCL. Per saperne di più, consulta Data Definition Language (DDL) e Data Control Language (DCL).

    Puoi utilizzare le stored procedure per automatizzare le attività di amministrazione che utilizzano istruzioni SQL. Per saperne di più, consulta Utilizza le stored procedure.

  • Comandi bq. Lo strumento a riga di comando bq consente di eseguire molte attività amministrative utilizzando i comandi bq. Puoi utilizzare lo strumento a riga di comando bq per eseguire attività non supportate nella console Google Cloud , per creare prototipi di funzionalità prima di codificarle in query o metodi API o se preferisci lavorare in un'interfaccia a riga di comando. Per saperne di più, consulta Utilizza lo strumento a riga di comando bq.

Gestisci risorse

Le risorse BigQuery includono organizzazioni, cartelle, progetti, set di dati e tabelle. Questa sezione descrive come gestire le risorse della tua organizzazione.

Per informazioni sull'organizzazione delle risorse BigQuery, consulta Introduzione alla gerarchia delle risorse. In particolare, puoi creare una risorsa Organizzazione, che ti consente di eseguire alcune attività, come l'impostazione dei controlli di accesso, a livello di organizzazione.

Gestisci i set di dati

I set di dati sono container per le tabelle. Puoi creare tabelle in un set di dati e poi gestirle come gruppo. Ad esempio, puoi configurare la scadenza predefinita delle tabelle di un set di dati, che si applica a tutte le tabelle del set di dati, a meno che non venga eseguito l'override. Puoi copiare un gruppo di tabelle creando una copia del relativo set di dati e puoi controllare l'accesso alle tabelle a livello di set di dati.

Per saperne di più sull'amministrazione dei set di dati, consulta i seguenti documenti:

Gestisci le tabelle

In BigQuery, i dati vengono archiviati in tabelle, dove possono essere interrogati. Puoi creare tabelle, caricare dati nelle tabelle da vari tipi di origini e in vari formati, partizionare le tabelle in base a una colonna specifica o al tempo di importazione, raggruppare le tabelle, aggiornare le proprietà delle tabelle ed esportare i dati delle tabelle.

Per saperne di più sull'amministrazione delle tabelle, consulta i seguenti documenti:

Risorse etichetta

Per organizzare le risorse BigQuery, puoi aggiungere etichette ai set di dati, alle tabelle e alle viste. Le etichette sono coppie chiave-valore che puoi associare a una risorsa. Dopo aver etichettato le risorse, puoi cercarle in base ai valori delle etichette. Ad esempio, puoi utilizzare le etichette per raggruppare i set di dati per reparto aggiungendo etichette come dept:sales, dept:marketing o dept:analytics. In questo modo, potrai suddividere gli addebiti fatturati per reparto utilizzando le etichette.

Per saperne di più, consulta Introduzione alle etichette.

Ottieni informazioni sulle risorse

Puoi ottenere informazioni sulle tue risorse BigQuery eseguendo query sulle viste INFORMATION_SCHEMA. BigQuery fornisce viste per ogni tipo di risorsa. Ad esempio, la vista INFORMATION_SCHEMA.TABLES contiene informazioni sulle tabelle.

Di seguito sono riportati alcuni esempi di informazioni che puoi ottenere eseguendo query sulle viste INFORMATION_SCHEMA:

  • Visualizzare la data di creazione di una tabella.
  • Recupera i nomi e i tipi di dati di ogni colonna di una tabella.
  • Trova tutti i job in esecuzione in un progetto.
  • Ottieni un elenco degli snapshot della tabella creati da una tabella di base.
  • Per un set di dati, una tabella, una vista o una routine, ottieni l'istruzione DDL che può essere utilizzata per creare la risorsa.
  • Recupera le opzioni utilizzate per creare una tabella (ad esempio, la scadenza della tabella).
  • Trova le colonne di partizionamento e clustering in una tabella.
  • Ottieni la prenotazione assegnata a un progetto e la relativa capacità degli slot.

Per saperne di più, consulta Introduzione a BigQuery INFORMATION_SCHEMA.

Copia i dati

Potresti voler creare copie dei tuoi dati per vari motivi, ad esempio per proteggerli da errori umani o per conservarli per un confronto futuro. BigQuery offre diverse opzioni per copiare i dati di una tabella da un momento specifico.

  • Viaggio nel tempo. Potresti dover accedere allo stato di una tabella in un momento specifico della settimana precedente, ad esempio se i dati sono stati danneggiati a causa di un errore umano. BigQuery conserva i dati storici delle tabelle per sette giorni. Puoi accedere ai dati storici recenti di una tabella utilizzando la funzionalità di viaggio nel tempo.

    Per saperne di più, consulta Accedi ai dati storici utilizzando il viaggio nel tempo.

  • Snapshot delle tabelle. Se vuoi accedere allo stato di una tabella risalente a più di una settimana fa, ti consigliamo di creare periodicamente snapshot della tabella. Gli snapshot delle tabelle sono copie di sola lettura e di dimensioni ridotte che ti consentono di conservare lo stato delle tabelle a tempo indeterminato. Con gli snapshot delle tabelle, ad esempio, puoi confrontare i dati attuali di una tabella con quelli dell'inizio dell'anno, cosa che non è possibile fare utilizzando il viaggio nel tempo. Ti vengono addebitati solo i costi per l'archiviazione dei dati che differiscono tra la tabella di base e lo snapshot della tabella.

    Per saperne di più, consulta Introduzione agli snapshot delle tabelle.

  • Cloni di tabelle. Se vuoi creare una copia leggera e scrivibile di una tabella, puoi utilizzare i cloni di tabella. Paghi solo per l'archiviazione dei dati che differiscono tra una tabella di base e il relativo clone. Ad esempio, puoi creare cloni di tabelle in un ambiente di test per sperimentare con copie dei dati di produzione senza influire su questi ultimi e senza dover pagare per l'archiviazione di copie complete delle tabelle.

    Per saperne di più, consulta Introduzione ai cloni di tabelle.

Monitora la derivazione dei dati

La derivazione dei dati è una funzionalità di Knowledge Catalog che consente di monitorare il modo in cui i dati vengono trasferiti nei sistemi: da dove provengono, dove vengono inviati e a quali trasformazioni sono sottoposti. Per saperne di più su come la derivazione dei dati può aiutarti a monitorare lo spostamento dei dati nel tuo progetto, consulta Informazioni sulla derivazione dei dati in Knowledge Catalog.

Risorse sicure

La sicurezza di BigQuery si basa su Google Cloud Identity and Access Management. BigQuery ti consente di controllare l'accesso alle tue risorse a molti livelli, tra cui l'accesso all'organizzazione, alle cartelle, ai progetti, ai set di dati, alle tabelle, alle colonne delle tabelle e alle righe delle tabelle.

Per informazioni sul controllo dell'accesso alle risorse BigQuery, consulta Panoramica della sicurezza dei dati e della governance.

Gestisci i workload

BigQuery esegue molte attività per conto degli utenti, tra cui l'importazione, l'esecuzione di query e l'esportazione dei dati. Ogni attività viene eseguita da un job BigQuery. Questa sezione descrive come monitorare e gestire i job della tua organizzazione.

Gestisci le opportunità di lavoro

I job sono azioni che BigQuery esegue per conto di un utente per caricare, esportare, eseguire query o copiare dati. Quando un utente avvia una di queste attività utilizzando la consoleGoogle Cloud , lo strumento a riga di comando bq, un'istruzione SQL o una chiamata API, BigQuery crea automaticamente un job per eseguire l'attività.

In qualità di amministratore di BigQuery, puoi monitorare, gestire e risolvere i problemi dei job della tua organizzazione per assicurarti che vengano eseguiti senza problemi.

Per saperne di più, consulta Gestisci i job.

Gestisci le prenotazioni

Quando BigQuery esegue le query, utilizza unità di calcolo chiamate slot. BigQuery calcola quanti slot sono necessari per eseguire ogni query, a seconda delle dimensioni e della complessità della query.

BigQuery prevede due modelli di prezzi per l'addebito degli slot che eseguono le query:

  • Fatturazione on demand. Le tue query utilizzano un pool di slot condiviso e ti vengono addebitati i costi per il numero di byte elaborati dalle tue query. Per saperne di più sui limiti di fatturazione on demand, consulta Job di query.
  • Fatturazione basata sulla capacità. Assegni una prenotazione o un impegno di capacità a una versione, ognuna delle quali è dotata di un proprio insieme di funzionalità e di un prezzo consigliato per offrirti il miglior ambiente di lavoro.

Questi modelli di prezzi si applicano per progetto, quindi puoi avere alcuni progetti che utilizzano la fatturazione on demand e altri che utilizzano la fatturazione basata sulla capacità.

Con la fatturazione on demand, una volta consumata l'allocazione mensile di utilizzo senza costi, ti viene addebitato il numero di byte elaborati da ogni query. La velocità effettiva è limitata a una quota di slot predefinita, condivisa tra le query eseguite in un progetto.

Con la fatturazione delle versioni di BigQuery, allochi gli slot per la tua organizzazione tramite prenotazioni con scalabilità automatica e impegni di capacità facoltativi, ma più economici. Gli slot per ogni versione hanno un prezzo consigliato e offrono un insieme di funzionalità. Per ulteriori informazioni sulle versioni di BigQuery e sulle funzionalità associate, consulta Introduzione alle versioni di BigQuery.

Per saperne di più sulla gestione della capacità di calcolo per l'elaborazione delle query, consulta i seguenti documenti:

Monitora le risorse

Google Cloud offre la possibilità di monitorare e controllare le tue risorse, incluse le risorse BigQuery. Questa sezione descrive le funzionalità di monitoraggio e controllo diGoogle Cloud che si applicano a BigQuery.

Per saperne di più, consulta Introduzione al monitoraggio di BigQuery.

La dashboard di Cloud Monitoring

Cloud Monitoring fornisce una dashboard per il monitoraggio di BigQuery. Utilizza questa dashboard per visualizzare informazioni su incidenti, set di dati, tabelle, progetti, tempi di query e utilizzo degli slot di BigQuery.

Per saperne di più, consulta Visualizza la dashboard di Monitoring.

Grafici e avvisi di amministrazione

Puoi utilizzare Cloud Monitoring per creare grafici personalizzati in base alle risorse, alle metriche e alle aggregazioni che specifichi.

Per saperne di più, consulta Dashboard e grafici.

Puoi anche creare policy di avviso che ti informano se l'avviso configurato viene attivato. Ad esempio, puoi creare un avviso che invia un'email a un indirizzo email specificato se il tempo di esecuzione di una query supera un limite specificato.

Per saperne di più, consulta Creazione di un avviso.

Monitora le prenotazioni

Puoi monitorare l'utilizzo degli slot nella pagina Workload Management della consoleGoogle Cloud . Puoi visualizzare i tuoi impegni di capacità e vedere dove sono state assegnate le tue prenotazioni di slot. Puoi anche utilizzare lo strumento di stima degli slot (anteprima) per stimare i requisiti di capacità della tua organizzazione in base alle metriche sul rendimento storico.

Per saperne di più, consulta Monitoraggio delle prenotazioni BigQuery.

Quote

Google Cloud imposta limiti sull'utilizzo delle risorse, incluse quelle di BigQuery, sia per garantire un utilizzo equo delle risorse condivise sia per proteggerti da costi incontrollati. Puoi visualizzare l'utilizzo delle risorse BigQuery che hanno quote e richiedere una quota più elevata, se necessario, utilizzando la console Google Cloud .

Per saperne di più, consulta Quote e limiti di BigQuery.

Audit log

Cloud Audit Logs conserva un record degli eventi Google Cloud , inclusi gli eventi BigQuery. Puoi utilizzare Esplora log per eseguire query sui log relativi agli eventi correlati a job, set di dati, trasferimenti e altro ancora di BigQuery. La dashboard Log mostra informazioni sugli errori recenti e puoi utilizzare le metriche basate su log per contare le voci di log corrispondenti a un determinato filtro.

Per saperne di più, consulta la documentazione di logging diGoogle Cloud .

Ottimizza i workload

Puoi ottimizzare la configurazione di BigQuery per controllare i costi di archiviazione e di elaborazione delle query.

Indicazioni sull'affidabilità

Questo documento fornisce una panoramica dell'affidabilità di BigQuery, tra cui insight su disponibilità, durabilità, coerenza dei dati, coerenza delle prestazioni e recupero dati in BigQuery, oltre a un'analisi delle considerazioni sulla gestione degli errori. Per scoprire di più sull'affidabilità e sulla pianificazione del disaster recovery, consulta Informazioni sull'affidabilità.

Risoluzione dei problemi

Oltre alle funzionalità descritte in questo documento per il monitoraggio e la gestione del sistema BigQuery della tua organizzazione, sono disponibili le seguenti risorse per la risoluzione dei problemi che potrebbero verificarsi:

Se hai bisogno di ulteriore assistenza, consulta Richiedi assistenza.

Passaggi successivi