Informazioni sulle tabelle di dati di fatturazione Cloud in BigQuery

Questo documento fornisce informazioni di riferimento sullo schema dei dati di fatturazione Cloud esportati in ogni tabella di BigQuery.

Tabelle dei dati di fatturazione

Poco dopo aver abilitato l'esportazione della fatturazione Cloud in BigQuery, le tabelle dei dati di fatturazione vengono create automaticamente nel set di dati BigQuery.

  • Tabella dei costi di utilizzo FOCUS (anteprima) – Google fornisce un set di dati BigQuery immutabile denominato: gcp_billing_immutable_<BILLING_ACCOUNT_ID>_<Location> e una tabella di dati FOCUS denominata: gcp_billing_export_focus_<BILLING_ACCOUNT_ID>.
  • Tabella dei costi di utilizzo standard: nel set di dati BigQuery, questa tabella è denominata gcp_billing_export_v1_<BILLING_ACCOUNT_ID>.
  • Tabella dei dati di costo di utilizzo dettagliati: include tutti i campi di dati della tabella dei dati di costo di utilizzo standard, insieme a campi aggiuntivi che forniscono dati di costo a livello di risorsa, come una macchina virtuale o un'unità SSD che genera l'utilizzo del servizio. Nel set di dati BigQuery, questa tabella è denominata gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>.
  • Tabella dei dati sui prezzi – Nel tuo set di dati BigQuery, il nome di questa tabella è cloud_pricing_export.
  • Metadati degli sconti per impegno di utilizzo (CUD) (anteprima) – Sono inclusi i metadati dei CUD, come l'ID account di fatturazione, l'ID prodotto, l'ID del modello di consumo, le unità e i valori dell'importo dell'impegno e altro ancora. Nel set di dati BigQuery, il nome di questa tabella è cud_subscriptions_export.

Frequenza dei caricamenti dei dati

Esportazione dei costi di utilizzo FOCUS, standard e dettagliati

  • Quando attivi per la prima volta l'esportazione dei dati di costo di utilizzo FOCUS, standard o dettagliati in BigQuery, potrebbero essere necessarie alcune ore prima che i dati di costo diGoogle Cloud vengano propagati al set di dati BigQuery. I dati vengono esportati in ordine cronologico. Se l'esportazione è configurata per includere i dati retroattivamente per il mese corrente e quello precedente, potrebbero essere necessari fino a cinque giorni prima che i dati esportati corrispondano completamente ai dati sull'utilizzo attuali.
  • I serviziGoogle Cloud segnalano i dati di costo e utilizzo ai processi di fatturazione Cloud a intervalli variabili.
  • La fatturazione Cloud esporta i dati di utilizzo e di costo nel set di dati BigQuery a intervalli regolari (non esistono garanzie di consegna o latenza per l'esportazione in BigQuery).
  • Poiché la frequenza dei report sull'utilizzo varia in base al servizio Google Cloud , potresti non visualizzare immediatamente i dati di utilizzo e di costo della fatturazione Cloud per tutti i servizi Google Cloud utilizzati di recente.

Esportazione dei metadati relativi a prezzi e sconti per impegno di utilizzo (CUD)

  • Quando attivi per la prima volta l'esportazione dei prezzi in BigQuery, potrebbero essere necessarie fino a 48 ore prima che vengano visualizzati i dati sui prezzi di Google Cloud .
  • Dopo aver attivato l'esportazione dei prezzi, i dati sui prezzi applicabili al tuo account di fatturazione Cloud vengono esportati in BigQuery una volta al giorno.

Disponibilità dei dati

  • Per i clienti che attivano l'esportazione dei dati di costo di utilizzo FOCUS, standard o dettagliato per la prima volta:

    • Se configuri il tuo set di dati BigQuery in modo che utilizzi una località multiregionale (UE o Stati Uniti), i dati di fatturazione Cloud vengono esportati retroattivamente dall'inizio del mese precedente. Ad esempio, se attivi l'esportazione dei dati relativi al costo di utilizzo FOCUS, al costo di utilizzo standard o al costo di utilizzo dettagliato il 23 settembre, l'esportazione includerà i dati a partire dal 1° agosto.

      Esportiamo i dati in ordine cronologico, un giorno alla volta, quindi i dati del primo giorno dell'ultimo mese vengono compilati per primi. Per il backfill iniziale dei dati esportati, potrebbero essere necessari fino a cinque giorni per completare l'esportazione dei dati di fatturazione Cloud retroattivi prima di iniziare a visualizzare i dati sull'utilizzo più recenti.

    • Se configuri il tuo set di dati BigQuery in modo che utilizzi una località regione supportata, i dati relativi al costo di utilizzo FOCUS, al costo di utilizzo standard o al costo di utilizzo dettagliato sono disponibili a partire dalla data di attivazione dell'esportazione della fatturazione Cloud. In altre parole, i Google Cloud dati di fatturazione non vengono aggiunti retroattivamente per le località dei set di dati non multiregionali, quindi non vedrai i dati di fatturazione Cloud precedenti all'abilitazione dell'esportazione.

    • Per i clienti che hanno abilitato, disabilitato e successivamente riabilitato l'esportazione dei dati di Costo di utilizzo FOCUS, Costo di utilizzo standard o Costo di utilizzo dettagliato, i dati di fatturazione Cloud potrebbero non essere disponibili per il periodo in cui l'esportazione è stata disabilitata esplicitamente.

  • Se abiliti l'esportazione dei dati sui prezzi, il set di dati BigQuery riflette solo i dati di fatturazione Cloud generati a partire dalla data in cui hai abilitato l'esportazione dei prezzi. I dati sui prezzi di fatturazione Cloud non vengono aggiunti retroattivamente, quindi non vedrai i dati sui prezzi per le date precedenti all'abilitazione dell'esportazione.

  • I dati nei set di dati BigQuery riflettono lo stato delle tue risorse al momento della registrazione dell'utilizzo. Se apporti modifiche alle tue risorse, ad esempio aggiungendo nuove etichette a un progetto o modificando la gerarchia di un progetto (che cambierebbe project.ancestors), queste modifiche vengono mostrate solo nelle esportazioni future dei dati sull'utilizzo. I record esportati in precedenza non vengono modificati.

  • Se elimini i dati esportati (ad esempio i record di BigQuery Export), non possiamo eseguire il backfill dei record eliminati.

  • Se modifichi le impostazioni di un'esportazione per aggiornare il progetto o il set di dati in cui sono archiviati i dati di fatturazione esportati, i dati del set di dati precedente non vengono inseriti automaticamente nel nuovo set di dati; il nuovo set di dati BigQuery riflette solo i dati di fatturazione Cloud sostenuti a partire dalla data in cui hai modificato le impostazioni di esportazione. Per includere il record completo dei dati di fatturazione esportati, devi unire manualmente il nuovo set di dati a quello precedente. Per saperne di più, consulta Operazione di join.

  • I caricamenti di BigQuery sono conformi ad ACID, pertanto se esegui una query sul set di dati di esportazione della fatturazione Cloud di BigQuery mentre i dati vengono caricati, non incontrerai dati caricati parzialmente.

  • Consulta altre limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery, ad esempio i set di dati con chiavi di crittografia gestite dal cliente (CMEK) abilitate.

Limitazioni

L'esportazione dei dati di fatturazione Cloud in BigQuery è soggetta alle seguenti limitazioni.

Un unico set di dati di destinazione per tipo di esportazione

Ogni account di fatturazione Cloud supporta un solo set di dati di destinazione per tipo di esportazione, ad esempio costo di utilizzo standard, costo di utilizzo dettagliato, costo di utilizzo FOCUS, dati sui prezzi o metadati dello sconto per impegno di utilizzo (CUD). Non puoi configurare più set di dati di destinazione per lo stesso tipo di esportazione su un singolo account di fatturazione. Ogni esportazione dei costi di utilizzo include automaticamente i dati di tutti i progetti collegati all'account di fatturazione.

Per limitare l'accesso a livello di progetto in modo che i team visualizzino i costi solo per i progetti di loro proprietà, utilizza uno dei seguenti metodi di controllo dell'accesso di BigQuery:

  • Crea una vista autorizzata BigQuery. Crea una vista autorizzata in un set di dati separato che utilizza la stessa località del set di dati di esportazione. Filtra le righe in base al campo project.id per le esportazioni dei costi di utilizzo standard o dettagliati o in base al campo SubAccountId per le esportazioni dei costi di utilizzo FOCUS.

    Autorizza la vista sul set di dati di esportazione di origine e concedi alle entità il ruolo BigQuery Data Viewer (roles/bigquery.dataViewer) sulla loro singola vista autorizzata. La concessione di questo ruolo a livello di set di dati consente alle entità di accedere in lettura a ogni tabella e vista del set di dati. Concedi l'accesso a livello di set di dati solo se ogni team utilizza un set di dati dedicato per le proprie viste autorizzate.

    Concedi inoltre alle entità un ruolo per eseguire query, ad esempio il ruolo BigQuery Job User (roles/bigquery.jobUser), sul progetto di query. Non concedere a queste entità l'accesso diretto al set di dati di esportazione di origine. Verifica che non dispongano di ruoli di lettura ereditati a livello di progetto, come roles/bigquery.dataViewer o roles/viewer, nel progetto che ospita il set di dati di esportazione di origine. Per saperne di più, consulta Crea una visualizzazione autorizzata.

  • Applica la sicurezza a livello di riga di BigQuery. Per le esportazioni dei costi di utilizzo standard o dettagliati, crea policy di accesso a livello di riga nella tabella di esportazione che filtrano le righe in base al campo project.id per entità specifiche. Concedi a queste entità il ruolo roles/bigquery.dataViewer sulla tabella di esportazione e un ruolo di query, ad esempio roles/bigquery.jobUser, sul progetto di query. Non concedere il ruolo roles/bigquery.dataViewer a livello di set di dati se il set di dati contiene altre tabelle di esportazione non filtrate.

    Se abiliti la sicurezza a livello di riga in una tabella di esportazione, devi anche aggiungere una policy di filtro TRUE per il account di servizio di esportazione della fatturazione Cloud, in modo che le esportazioni continuino ad andare a buon fine. Per saperne di più, consulta Sicurezza a livello di riga. Non concedere il ruolo roles/bigquery.filteredDataViewer direttamente tramite IAM, perché concede l'accesso alle righe corrispondenti a ogni policy di accesso a livello di riga della tabella, incluso il filtro TRUE.

    Verifica che le entità con limitazioni non dispongano di ruoli di scrittura, proprietario o amministratore nel progetto, nel set di dati o nella tabella di esportazione. Utilizza la sicurezza a livello di riga solo all'interno di una singola organizzazione. Le policy di accesso a livello di riga non sono supportate nei set di dati collegati di sola lettura, come l'esportazione FOCUS. Per ulteriori indicazioni, consulta Best practice per la sicurezza a livello di riga.

Schema di tabella per le esportazioni dei dati di fatturazione Cloud

Lo schema della tabella per una qualsiasi delle esportazioni dei dati di fatturazione Cloud può cambiare.

Quando lo schema della tabella cambia, ad esempio quando vengono aggiunti nuovi campi a uno schema di tabella BigQuery per un'esportazione dei dati di fatturazione Cloud, tutte le query che fanno riferimento direttamente alle colonne esportate potrebbero non riuscire. Per risolvere il problema, ti consigliamo di creare viste BigQuery che eseguano query sulle tabelle esportate e presentino le informazioni nella struttura che preferisci.

Puoi quindi modificare le query che alimentano i report e le dashboard in modo che estraggano i dati dalle viste, anziché dalle tabelle esportate. Utilizzando le visualizzazioni, puoi standardizzare la struttura dei dati utilizzati nelle query e nelle dashboard.

Le viste che crei devono normalizzare i dati in modo che tutte le tabelle pertinenti presentino lo stesso schema alle query. In questo modo, eviti di dover apportare modifiche future allo schema, in quanto puoi modificare la query sottostante della vista quando lo schema dei dati cambia.

Esportazione FOCUS e conservazione dei dati

I dati di fatturazione esportati nell'esportazione BigQuery FOCUS fornita da Google sono soggetti a una policy di durata (TTL) di 2 anni. I dati più vecchi di due anni vengono eliminati automaticamente dalla tabella di esportazione FOCUS fornita nel set di dati BigQuery. Se devi conservare la cronologia dei dati di fatturazione FOCUS per più di due anni, copia i dati FOCUS in una tabella di archiviazione a lungo termine di tua proprietà.

Località dei set di dati BigQuery e disponibilità dei dati

Località dei set di dati BigQuery supportate per l'utilizzo con i dati di fatturazione Cloud:

I set di dati BigQuery sono configurati per utilizzare una località, che può essere una località multiregionale (UE o Stati Uniti) o una regione. La località del set di dati viene impostata al momento della creazione. Dopo aver creato un set di dati, la sua località non può essere modificata.

L'esportazione dei dati di fatturazione Cloud supporta tutte le località multiregionali (UE o Stati Uniti), ma solo un sottoinsieme di località regionali. Quando configuri le impostazioni di esportazione della fatturazione Cloud, se crei o selezioni un set di dati configurato per l'utilizzo di una località region non supportata, quando tenti di salvare le impostazioni di esportazione, viene visualizzato un errore Regione del set di dati non valida.

La tabella seguente elenca le località multiregionali e le località regionali supportate per l'utilizzo con i set di dati BigQuery che contengono dati di fatturazione Cloud.

Americhe Asia Pacifico Europa Medio Oriente

Multi-regione: Stati Uniti

Regioni:

  • northamerica-northeast1 (Montréal)
  • southamerica-east1 (San Paolo)
  • us-central1 (Iowa)
  • us-east1 (Carolina del Sud)
  • us-east4 (Virginia del Nord)
  • us-west1 (Oregon)
  • us-west2 (Los Angeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Regioni:

  • asia-east1 (Taiwan)
  • asia-east2 (Hong Kong)
  • asia-northeast1 (Tokyo)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Seul)
  • asia-south1 (Mumbai)
  • asia-southeast1 (Singapore)
  • asia-southeast2 (Giacarta)
  • australia-southeast1 (Sydney)

Multiregione: UE

Regioni:

  • europe-central2 (Varsavia)
  • europe-north1 (Finlandia)
  • europe-west1 (Belgio)
  • europe-west2 (Londra)
  • europe-west3 (Francoforte)
  • europe-west4 (Paesi Bassi)
  • europe-west6 (Zurigo)

Regioni:

  • me-central1 (Doha)
  • me-central2 (Dammam)
  • me-west1 (Tel Aviv)

Località e disponibilità dei dati:

  • Per i tuoi set di dati BigQuery contenenti dati di costo di utilizzo FOCUS, dati di costo di utilizzo standard o dati di costo di utilizzo dettagliati, il tipo di località configurato nel set di dati influisce sulla tempistica di esportazione dei dati di fatturazione Google Cloud nel set di dati:

    • Se configuri il set di dati in modo che utilizzi una località multiregionale (UE o Stati Uniti), il set di dati include i dati di fatturazione Google Cloud sostenuti dall'inizio del mese precedente a quello in cui hai attivato per la prima volta l'esportazione, a meno che tu non stia riattivando l'esportazione. In altre parole, i dati di fatturazione diGoogle Cloud vengono aggiunti retroattivamente per il mese corrente e quello precedente. Per il backfill iniziale dei dati esportati, potrebbero essere necessari fino a cinque giorni per completare l'esportazione dei dati di fatturazione Cloud retroattivi prima di iniziare a visualizzare i dati sull'utilizzo corrente.
    • Se il set di dati è configurato per l'utilizzo di una località regione supportata, i dati di costo di utilizzo FOCUS, i dati di costo di utilizzo standard e i dati di costo di utilizzo dettagliati riflettono solo i dati di fatturazione Google Cloud generati a partire dalla data di attivazione dell'esportazione di fatturazione Cloud e successivamente. In altre parole, Google Cloud i dati di fatturazione non vengono aggiunti retroattivamente per le località dei set di dati non multiregionali, quindi non vedrai i dati di fatturazione Cloud precedenti all'abilitazione dell'esportazione.

    • Per maggiori dettagli, consulta Disponibilità dei dati.

  • I tuoi set di dati BigQuery contenenti dati sui prezzi raccolgono solo i dati di fatturazione Google Cloud generati a partire dalla data di configurazione dell'esportazione della fatturazione Cloud. In altre parole, i dati sui prezzi diGoogle Cloud non vengono aggiunti retroattivamente, quindi non vedrai i dati sui prezzi di fatturazione Cloud precedenti all'abilitazione dell'esportazione. Per maggiori dettagli, consulta Disponibilità dei dati.

Disattiva, riattiva o modifica le impostazioni di esportazione

Se disattivi, riattivi o modifichi le impostazioni di esportazione per aggiornare il progetto o il set di dati in cui sono archiviati i dati di fatturazione esportati, i dati di fatturazione esportati in precedenza non vengono inseriti nel nuovo set di dati. Per includere i dati di fatturazione esportati prima di passare a un progetto o un set di dati diverso, devi unire manualmente il nuovo set di dati a quello precedente. Per saperne di più, consulta Operazione di join.

Crittografia del set di dati

I set di dati BigQuery sono configurati per utilizzare la crittografia at-rest impostando un'opzione per la chiave di crittografia quando crei il set di dati, ovvero una Google-owned and Google-managed encryption keyo una chiave di crittografia gestita dal cliente (CMEK). Puoi modificare l'impostazione di crittografia dopo aver creato un set di dati.

Se hai già abilitato l'esportazione dei dati di fatturazione Cloud in BigQuery e il set di dati è configurato per l'utilizzo di unaGoogle-managed encryption key, puoi aggiornare il set di dati e le relative tabelle per l'utilizzo di una CMEK. Per aggiornare il set di dati e le relative tabelle, completa i seguenti passaggi:

  1. Imposta una chiave predefinita del set di dati sul set di dati. L'impostazione di una chiave predefinita garantisce che tutte le nuove tabelle create nel set di dati siano protette automaticamente con la CMEK.
  2. Utilizza lo strumento a riga di comando bq per abilitare CMEK su ogni tabella esistente nel set di dati. La modifica della chiave predefinita del set di dati non comporta la nuova crittografia automatica delle tabelle esistenti.

Scopri di più sull'abilitazione delle CMEK per le tabelle BigQuery.

Policy dell'organizzazione CMEK

Puoi utilizzare le policy dell'organizzazione CMEK per applicare l'utilizzo di CMEK per le tue risorse BigQuery, incluse le esportazioni di fatturazione, o per richiedere che CMEK risieda in un progetto approvato. Tuttavia, l'applicazione delle policy dell'organizzazione CMEK può avere i seguenti effetti imprevisti:

  • Il processo di esportazione potrebbe non riuscire per i set di dati esistenti: quando attivi un nuovo vincolo della policy dell'organizzazione, questo non viene applicato ai set di dati esistenti. Ciò significa che potresti avere set di dati che esistono ancora, anche se non sono più consentiti. Tuttavia, la volta successiva che proverai a esportare in quel set di dati, il processo di esportazione non andrà a buon fine se non potrà creare nuove tabelle a causa di una policy dell'organizzazione appena applicata.

    Per evitare questa situazione, rivedi in modo proattivo le configurazioni di esportazione della fatturazione esistenti ogni volta che aggiorni le policy dell'organizzazione e aggiorna la configurazione del set di dati in base alle esigenze per rispettare i vincoli restrictNonCmekServices e restrictCmekCryptoKeyProjects.

  • Applicazione incoerente delle policy dell'organizzazione: le policy dell'organizzazione non vengono applicate quando crei un set di dati vuoto. Ciò significa che puoi applicare il vincolo restrictNonCmekServices per richiedere che le risorse BigQuery utilizzino una CMEK per la crittografia, ma poi creare correttamente un set di dati BigQuery configurato per l'utilizzo di Google-owned and Google-managed encryption keys. Tuttavia, l'esportazione della fatturazione che utilizza questo set di dati non andrà a buon fine perché la policy dell'organizzazione non consente di creare una tabella non protetta da CMEK mentre il vincolo restrictNonCmekServices è applicato per BigQuery.

    Per risolvere questo problema, aggiorna la crittografia del set di dati per impostare una chiave predefinita del set di dati conforme ai vincoli restrictNonCmekServices e restrictCmekCryptoKeyProjects.

Sicurezza a livello di riga

Se vuoi utilizzare la sicurezza a livello di riga di BigQuery sulla tabella che contiene i dati esportati, devi concedere al account di servizio di esportazione della fatturazione Cloud billing-export-bigquery@ l'accesso completo alla tabella utilizzando il filtro TRUE di BigQuery. Il comando seguente concede l'accesso al service account di fatturazione Cloud:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@')
FILTER USING (TRUE);

Dati di costo di utilizzo FOCUS o dettagliati e GKE

Quando esporti i dati di costo di utilizzo FOCUS o i dati di costo di utilizzo dettagliati, l'esportazione include automaticamente informazioni a livello di risorsa su Compute Engine e altri servizi. Tuttavia, per i dati di Google Kubernetes Engine (GKE), per visualizzare un'analisi dettagliata dei costi dei cluster GKE in un'esportazione dei dati FOCUS o dettagliata, devi anche abilitare l'allocazione dei costi per GKE.

Tag a livello di risorsa

La propagazione dei tag a livello di risorsa alle esportazioni di BigQuery potrebbe richiedere fino a un'ora. Se un tag è stato aggiunto o rimosso entro un'ora o se una risorsa esiste da meno di un'ora, potrebbe non essere visualizzato nell'esportazione.

I tag a livello di risorsa sono disponibili per diverse risorse nell'esportazione dei costi di utilizzo standard e nell'esportazione dei costi di utilizzo dettagliati.