Informazioni sulle tabelle di dati di fatturazione Cloud in BigQuery

Questo documento fornisce informazioni di riferimento per lo schema dei dati di fatturazione Cloud esportati in ogni tabella di BigQuery.

Tabelle dei dati di fatturazione

Poco dopo aver abilitato l'esportazione della fatturazione Cloud in BigQuery, le tabelle dei dati di fatturazione vengono create automaticamente nel set di dati BigQuery.

  • Tabella dei costi di utilizzo FOCUS (anteprima) – Google fornisce un set di dati BigQuery immutabile denominato: gcp_billing_immutable_<BILLING_ACCOUNT_ID>_<Location> e una tabella dati FOCUS denominata: gcp_billing_export_focus_<BILLING_ACCOUNT_ID>.
  • Tabella dei costi di utilizzo standard: nel set di dati BigQuery, questa tabella è denominata gcp_billing_export_v1_<BILLING_ACCOUNT_ID>.
  • Tabella dei dati di costo di utilizzo dettagliati – Include tutti i campi di dati della tabella dei dati di costo di utilizzo standard, insieme a campi aggiuntivi che forniscono dati di costo a livello di risorsa, come una macchina virtuale o un'unità SSD che genera l'utilizzo del servizio. Nel set di dati BigQuery, questa tabella è denominata gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>.
  • Tabella dei dati sui prezzi – Nel tuo set di dati BigQuery, il nome di questa tabella è cloud_pricing_export.
  • Metadati degli sconti per impegno di utilizzo (CUD) (Anteprima) – Sono inclusi i metadati dei CUD, come l'ID account di fatturazione, l'ID prodotto, l'ID del modello di consumo, le unità e i valori dell'importo dell'impegno e altro ancora. Nel set di dati BigQuery, il nome di questa tabella è cud_subscriptions_export.

Frequenza dei caricamenti dei dati

Esportazione dei costi di utilizzo FOCUS, standard e dettagliati

  • Quando attivi per la prima volta l'esportazione dei dati di costo di utilizzo FOCUS, standard o dettagliati in BigQuery, potrebbero essere necessarie alcune ore prima che i dati di costo diGoogle Cloud vengano propagati al set di dati BigQuery. I dati vengono esportati in ordine cronologico. Se l'esportazione è configurata per includere i dati in modo retroattivo per il mese corrente e quello precedente, potrebbero essere necessari fino a cinque giorni prima che i dati esportati corrispondano completamente ai dati di utilizzo attuali.
  • I serviziGoogle Cloud segnalano i dati di costo e utilizzo ai processi di fatturazione Cloud a intervalli variabili.
  • La fatturazione Cloud esporta i dati di utilizzo e di costo nel tuo set di dati BigQuery a intervalli regolari (non sono previste garanzie di consegna o latenza per l'esportazione in BigQuery).
  • Poiché la frequenza dei report sull'utilizzo varia in base al servizio Google Cloud , potresti non visualizzare immediatamente i dati di utilizzo e di costo di fatturazione Cloud per tutti i servizi Google Cloud utilizzati di recente.

Esportazione dei metadati relativi a prezzi e CUD

  • Quando attivi per la prima volta l'esportazione dei prezzi in BigQuery, potrebbero essere necessarie fino a 48 ore prima che vengano visualizzati i dati sui prezzi di Google Cloud .
  • Dopo aver attivato l'esportazione dei prezzi, i dati sui prezzi applicabili al tuo account di fatturazione Cloud vengono esportati in BigQuery una volta al giorno.

Disponibilità dei dati

  • Per i clienti che attivano l'esportazione dei dati di costo di utilizzo FOCUS, standard o dettagliato per la prima volta:

    • Se configuri il tuo set di dati BigQuery in modo che utilizzi una località multiregionale (UE o Stati Uniti), i dati di fatturazione Cloud vengono esportati retroattivamente dall'inizio del mese precedente. Ad esempio, se attivi l'esportazione dei dati relativi al costo di utilizzo FOCUS, al costo di utilizzo standard o al costo di utilizzo dettagliato il 23 settembre, l'esportazione includerà i dati a partire dal 1° agosto.

      Esportiamo i dati in ordine cronologico, un giorno alla volta, quindi i dati del primo giorno dell'ultimo mese vengono compilati per primi. Per il backfill iniziale dei dati esportati, potrebbero essere necessari fino a cinque giorni prima che l'esportazione dei dati di fatturazione Cloud retroattivi venga completata e tu possa iniziare a visualizzare i dati di utilizzo più recenti.

    • Se configuri il tuo set di dati BigQuery in modo che utilizzi una località regione supportata, i dati relativi al costo di utilizzo FOCUS, al costo di utilizzo standard o al costo di utilizzo dettagliato sono disponibili a partire dalla data di attivazione dell'esportazione della fatturazione Cloud. In altre parole, i Google Cloud dati di fatturazione non vengono aggiunti retroattivamente per le località dei set di dati non multiregionali, quindi non vedrai i dati di fatturazione Cloud precedenti all'abilitazione dell'esportazione.

    • Per i clienti che hanno abilitato, disabilitato e successivamente riabilitato l'esportazione dei dati di Costo di utilizzo FOCUS, Costo di utilizzo standard o Costo di utilizzo dettagliato, i dati di fatturazione Cloud potrebbero non essere disponibili per il periodo in cui l'esportazione è stata disabilitata esplicitamente.

  • Se abiliti l'esportazione dei dati sui prezzi, il set di dati BigQuery riflette solo i dati di fatturazione Cloud sostenuti a partire dalla data in cui hai abilitato l'esportazione dei prezzi. I dati sui prezzi di fatturazione Cloud non vengono aggiunti retroattivamente, quindi non vedrai i dati sui prezzi per le date precedenti all'abilitazione dell'esportazione.

  • I dati nei set di dati BigQuery riflettono lo stato delle tue risorse al momento della registrazione dell'utilizzo. Se apporti modifiche alle tue risorse, ad esempio aggiungendo nuove etichette a un progetto o modificando la gerarchia di un progetto (che cambierebbe project.ancestors), queste modifiche vengono mostrate solo nelle esportazioni future dei dati di utilizzo. I record esportati in precedenza non vengono modificati.

  • Se elimini i dati esportati (ad esempio i record di BigQuery Export), non possiamo eseguire il backfill dei record eliminati.

  • Se modifichi le impostazioni di un'esportazione per aggiornare il progetto o il set di dati in cui sono archiviati i dati di fatturazione esportati, i dati del set di dati precedente non vengono inseriti automaticamente nel nuovo set di dati; il nuovo set di dati BigQuery riflette solo i dati di fatturazione Cloud sostenuti a partire dalla data in cui hai modificato le impostazioni di esportazione. Per includere il record completo dei dati di fatturazione esportati, devi unire manualmente il nuovo set di dati a quello precedente. Per saperne di più, consulta Operazione di join.

  • I caricamenti di BigQuery sono conformi ad ACID, quindi se esegui una query sul set di dati di esportazione della fatturazione Cloud di BigQuery mentre i dati vengono caricati, non incontrerai dati caricati parzialmente.

  • Consulta altre limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery, ad esempio i set di dati con chiavi di crittografia gestite dal cliente (CMEK) abilitate.

Limitazioni

L'esportazione dei dati di fatturazione Cloud in BigQuery è soggetta alle seguenti limitazioni.

Schema di tabella per le esportazioni dei dati di fatturazione Cloud

Lo schema della tabella per una qualsiasi delle esportazioni dei dati di fatturazione Cloud può cambiare.

Quando lo schema della tabella cambia, ad esempio quando vengono aggiunti nuovi campi allo schema di una tabella BigQuery per l'esportazione dei dati di fatturazione Cloud, le query che fanno riferimento direttamente alle colonne esportate potrebbero non riuscire. Per risolvere il problema, ti consigliamo di creare viste BigQuery che eseguano query sulle tabelle esportate e presentino le informazioni nella struttura che preferisci.

Puoi quindi modificare le query che alimentano i report e le dashboard in modo che estraggano i dati dalle viste, anziché dalle tabelle esportate. Utilizzando le visualizzazioni, puoi standardizzare la struttura dei dati utilizzati nelle query e nelle dashboard.

Le viste che crei devono normalizzare i dati in modo che tutte le tabelle pertinenti presentino lo stesso schema alle query. In questo modo, ti proteggi da future modifiche allo schema, consentendoti di modificare la query sottostante della vista nei casi in cui lo schema dei dati cambia.

Esportazione FOCUS e conservazione dei dati

I dati di fatturazione esportati nell'esportazione BigQuery FOCUS fornita da Google sono soggetti a una policy di durata (TTL) di 2 anni. I dati più vecchi di due anni vengono eliminati automaticamente dalla tabella di esportazione FOCUS fornita nel set di dati BigQuery. Se devi conservare la cronologia dei dati di fatturazione FOCUS per più di due anni, copia i dati FOCUS in una tabella di archiviazione a lungo termine di tua proprietà.

Località dei set di dati BigQuery e disponibilità dei dati

Località dei set di dati BigQuery supportate per l'utilizzo con i dati di fatturazione Cloud:

I set di dati BigQuery sono configurati per utilizzare una località, che può essere una località multiregionale (UE o Stati Uniti) o una regione. La località del set di dati viene impostata al momento della creazione. Dopo la creazione di un set di dati, la sua posizione non può essere modificata.

L'esportazione dei dati di fatturazione Cloud supporta tutte le località multiregionali (UE o Stati Uniti), ma solo un sottoinsieme di località regionali. Quando configuri le impostazioni di esportazione della fatturazione Cloud, se crei o selezioni un set di dati configurato per l'utilizzo di una località regione non supportata, quando tenti di salvare le impostazioni di esportazione, viene visualizzato un errore Regione del set di dati non valida.

La tabella seguente elenca le località multiregionali e le località regionali supportate per l'utilizzo con i set di dati BigQuery che contengono dati di fatturazione Cloud.

Americhe Asia Pacifico Europa Medio Oriente

Multiregione: Stati Uniti

Regioni:

  • northamerica-northeast1 (Montréal)
  • southamerica-east1 (San Paolo)
  • us-central1 (Iowa)
  • us-east1 (Carolina del Sud)
  • us-east4 (Virginia del Nord)
  • us-west1 (Oregon)
  • us-west2 (Los Angeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Regioni:

  • asia-east1 (Taiwan)
  • asia-east2 (Hong Kong)
  • asia-northeast1 (Tokyo)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Seul)
  • asia-south1 (Mumbai)
  • asia-southeast1 (Singapore)
  • asia-southeast2 (Giacarta)
  • australia-southeast1 (Sydney)

Multi-regione: UE

Regioni:

  • europe-central2 (Varsavia)
  • europe-north1 (Finlandia)
  • europe-west1 (Belgio)
  • europe-west2 (Londra)
  • europe-west3 (Francoforte)
  • europe-west4 (Paesi Bassi)
  • europe-west6 (Zurigo)

Regioni:

  • me-central1 (Doha)
  • me-central2 (Dammam)
  • me-west1 (Tel Aviv)

Località e disponibilità dei dati:

  • Per i set di dati BigQuery contenenti dati di costo di utilizzo FOCUS, dati di costo di utilizzo standard o dati di costo di utilizzo dettagliati, il tipo di località configurato nel set di dati influisce sulla tempistica di esportazione dei dati di fatturazione Google Cloud nel set di dati:

    • Se configuri il set di dati in modo che utilizzi una località multiregionale (UE o Stati Uniti), il set di dati include i dati di fatturazione Google Cloud sostenuti dall'inizio del mese precedente a quello in cui hai attivato per la prima volta l'esportazione, a meno che tu non stia riattivando l'esportazione. In altre parole, i dati di fatturazione diGoogle Cloud vengono aggiunti retroattivamente per il mese corrente e quello precedente. Per il backfill iniziale dei dati esportati, potrebbero essere necessari fino a cinque giorni per completare l'esportazione dei dati di fatturazione Cloud retroattivi prima di iniziare a visualizzare i dati di utilizzo attuali.

    • Se il set di dati è configurato per l'utilizzo di una regione supportata, i dati di costo di utilizzo FOCUS, i dati di costo di utilizzo standard e i dati di costo di utilizzo dettagliati riflettono solo i dati di fatturazione Google Cloud sostenuti a partire dalla data di attivazione dell'esportazione di fatturazione Cloud e successivamente. In altre parole, Google Cloud i dati di fatturazione non vengono aggiunti retroattivamente per le località dei set di dati non multiregionali, quindi non vedrai i dati di fatturazione Cloud precedenti all'abilitazione dell'esportazione.

    • Per maggiori dettagli, consulta Disponibilità dei dati.

  • I tuoi set di dati BigQuery contenenti dati sui prezzi raccolgono solo i dati di fatturazione Google Cloud sostenuti a partire dalla data di configurazione dell'esportazione della fatturazione Cloud. In altre parole, i dati sui prezzi diGoogle Cloud non vengono aggiunti retroattivamente, quindi non vedrai i dati sui prezzi di fatturazione Cloud precedenti all'abilitazione dell'esportazione. Per maggiori dettagli, consulta Disponibilità dei dati.

Disattiva, riattiva o modifica le impostazioni di esportazione

Se disattivi, riattivi o modifichi le impostazioni di esportazione per aggiornare il progetto o il set di dati in cui sono archiviati i dati di fatturazione esportati, i dati di fatturazione esportati in precedenza non vengono inseriti nel nuovo set di dati. Per includere i dati di fatturazione esportati prima di passare a un progetto o un set di dati diverso, devi unire manualmente il nuovo set di dati a quello precedente. Per saperne di più, consulta Operazione di join.

Crittografia del set di dati

I set di dati BigQuery sono configurati per utilizzare la crittografia at-rest impostando un'opzione della chiave di crittografia quando crei il set di dati, ovvero una Google-owned and Google-managed encryption keyo una chiave di crittografia gestita dal cliente (CMEK). Puoi modificare l'impostazione di crittografia dopo aver creato un set di dati.

Se hai già abilitato l'esportazione dei dati di fatturazione Cloud in BigQuery e il set di dati è configurato per l'utilizzo di unaGoogle-managed encryption key, puoi aggiornare il set di dati e le relative tabelle per l'utilizzo di una CMEK. Per aggiornare il set di dati e le relative tabelle, completa i seguenti passaggi:

  1. Imposta una chiave predefinita sul set di dati. L'impostazione di una chiave predefinita garantisce che tutte le nuove tabelle create nel set di dati siano protette automaticamente con la CMEK.
  2. Utilizza lo strumento a riga di comando bq per abilitare CMEK su ogni tabella esistente nel set di dati. La modifica della chiave predefinita del set di dati non comporta automaticamente la nuova crittografia delle tabelle esistenti.

Scopri di più sull'abilitazione di CMEK per le tabelle BigQuery.

Policy dell'organizzazione CMEK

Puoi utilizzare le policy dell'organizzazione CMEK per applicare l'utilizzo di CMEK per le tue risorse BigQuery, incluse le esportazioni di fatturazione, o per richiedere che CMEK risieda in un progetto approvato. Tuttavia, l'applicazione delle policy dell'organizzazione CMEK può avere i seguenti effetti imprevisti:

  • Il processo di esportazione potrebbe non riuscire per i set di dati esistenti in precedenza: quando attivi un nuovo vincolo della policy dell'organizzazione, questo non viene applicato ai set di dati esistenti. Ciò significa che puoi avere set di dati che esistono ancora, anche se non sono più consentiti. Tuttavia, la volta successiva che proverai a esportare in quel set di dati, il processo di esportazione non andrà a buon fine se non potrà creare nuove tabelle a causa di una policy dell'organizzazione appena applicata.

    Per evitare questa situazione, rivedi in modo proattivo le configurazioni di esportazione della fatturazione esistenti ogni volta che aggiorni le policy dell'organizzazione e aggiorna la configurazione del set di dati in base alle esigenze per rispettare i vincoli restrictNonCmekServices e restrictCmekCryptoKeyProjects.

  • Applicazione incoerente delle policy dell'organizzazione: le policy dell'organizzazione non vengono applicate quando crei un set di dati vuoto. Ciò significa che puoi applicare il vincolo restrictNonCmekServices per richiedere che le risorse BigQuery utilizzino una CMEK per la crittografia, ma poi creare correttamente un set di dati BigQuery configurato per l'utilizzo di Google-owned and Google-managed encryption keys. Tuttavia, l'esportazione della fatturazione che utilizza questo set di dati non andrà a buon fine perché la policy dell'organizzazione non consente di creare una tabella non protetta da CMEK mentre è applicato il vincolo restrictNonCmekServices per BigQuery.

    Per risolvere questo problema, aggiorna la crittografia del set di dati per impostare una chiave predefinita del set di dati conforme ai vincoli restrictNonCmekServices e restrictCmekCryptoKeyProjects.

Sicurezza a livello di riga

Se vuoi utilizzare la sicurezza a livello di riga di BigQuery sulla tabella che contiene i dati esportati, devi concedere al account di servizio di esportazione della fatturazione Cloud billing-export-bigquery@ l'accesso completo alla tabella utilizzando il filtro BigQuery TRUE. Il seguente comando concede l'accesso al service account di fatturazione Cloud:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@')
FILTER USING (TRUE);

Dati di costo di utilizzo FOCUS o dettagliati e GKE

Quando esporti i dati di costo di utilizzo FOCUS o i dati di costo di utilizzo dettagliati, l'esportazione include automaticamente le informazioni a livello di risorsa su Compute Engine e altri servizi. Tuttavia, per i dati di Google Kubernetes Engine (GKE), per visualizzare un'analisi dettagliata dei costi dei cluster GKE in un'esportazione dei dati FOCUS o dettagliata, devi anche abilitare l'allocazione dei costi per GKE.

Tag a livello di risorsa

La propagazione dei tag a livello di risorsa alle esportazioni di BigQuery potrebbe richiedere fino a un'ora. Se un tag è stato aggiunto o rimosso entro un'ora o se una risorsa esiste da meno di un'ora, potrebbe non essere visualizzato nell'esportazione.

I tag a livello di risorsa sono disponibili per diverse risorse nell'esportazione dei costi di utilizzo standard e nell'esportazione dei costi di utilizzo dettagliati.

Indietro
Configurare l'esportazione di FOCUS in BigQuery
Avanti
Struttura dell'esportazione dei dati FOCUS