Cloud Billing-Datentabellen in BigQuery

Dieses Dokument enthält Referenzinformationen zum Schema der Cloud Billing-Daten, die in jede Tabelle in BigQuery exportiert werden.

Abrechnungsdatentabellen

Kurz nach dem Aktivieren des Cloud Billing-Exports an BigQuery werden Abrechnungsdatentabellen automatisch im BigQuery-Dataset erstellt.

  • FOCUS-Nutzungskostentabelle (Vorabversion) – Google stellt ein unveränderliches BigQuery-Dataset mit dem Namen gcp_billing_immutable_<BILLING_ACCOUNT_ID>_<Location> und eine FOCUS-Datentabelle mit dem Namen gcp_billing_export_focus_<BILLING_ACCOUNT_ID> bereit.
  • Tabelle mit Standardnutzungskosten: In Ihrem BigQuery-Dataset heißt diese Tabelle gcp_billing_export_v1_<BILLING_ACCOUNT_ID>.
  • Detaillierte Nutzungskostentabelle: Sie enthält alle Datenfelder aus der Standardtabelle für Nutzungskosten sowie zusätzliche Felder, die Kostendaten auf Ressourcenebene liefern, wie z. B. virtuelle Maschinen oder SSDs, die Service Usage generieren. In Ihrem BigQuery-Dataset heißt diese Tabelle gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>.
  • Preisdatentabelle: Diese Tabelle heißt in Ihrem BigQuery-Dataset cloud_pricing_export.
  • Metadaten zu Rabatten für zugesicherte Nutzung (CUD) (Vorabversion) – Dazu gehören Metadaten zu Rabatten für zugesicherte Nutzung wie Rechnungskonto-ID, Produkt-ID, ID des Nutzungsmodells, Einheiten und Werte für den Zusicherungsbetrag und mehr. In Ihrem BigQuery-Dataset heißt diese Tabelle cud_subscriptions_export.

Häufigkeit der Datenladevorgänge

Export von FOCUS-, Standard- und detaillierten Nutzungskosten

  • Wenn Sie den Export von FOCUS-, standardmäßigen oder detaillierten Nutzungskosten nach BigQuery zum ersten Mal aktivieren, kann es einige Stunden dauern, bisGoogle Cloud -Kostendaten an Ihr BigQuery-Dataset weitergegeben werden. Daten werden in chronologischer Reihenfolge exportiert. Wenn Ihr Export so konfiguriert ist, dass Daten für den aktuellen und den Vormonat rückwirkend enthalten sind, kann es bis zu fünf Tage dauern, bis die exportierten Daten vollständig auf dem aktuellen Stand sind.
  • Google Cloud -Dienste melden Nutzungs- und Kostendaten in unterschiedlichen Intervallen an Cloud Billing-Vorgänge.
  • Cloud Billing exportiert Nutzungs- und Kostendaten in regelmäßigen Abständen an Ihr BigQuery-Dataset. Es gibt keine Zustellungs- oder Latenzgarantien für den Export in BigQuery.
  • Da die Häufigkeit der Nutzungsberichte je nach Google Cloud -Dienst variiert, werden die Nutzungs- und Kostendaten von Cloud Billing möglicherweise nicht sofort für alle kürzlich verwendeten Google Cloud -Dienste angezeigt.

Export von Metadaten zu Preisen und Rabatten für zugesicherte Nutzung

  • Wenn Sie den Preisexport nach BigQuery zum ersten Mal aktivieren, kann es bis zu 48 Stunden dauern, bis Ihre Google Cloud -Preisdaten angezeigt werden.
  • Nachdem Sie den Preisexport aktiviert haben, werden die für Ihr Cloud-Rechnungskonto relevanten Preisdaten einmal pro Tag nach BigQuery exportiert.

Datenverfügbarkeit

  • Für Kunden, die den Export von FOCUS-, standardmäßigen oder detaillierten Nutzungskostendaten zum ersten Mal aktivieren:

    • Wenn Sie Ihr BigQuery-Dataset für die Verwendung eines multiregionalen Standorts konfigurieren, werden Cloud Billing-Daten ab dem Beginn des Vormonats rückwirkend exportiert. Wenn Sie beispielsweise den Datenexport für FOCUS-Nutzungskosten, standardmäßige Nutzungskosten oder detaillierte Nutzungskosten am 23. September aktivieren, enthält der Export Daten ab dem 1. August.

      Daten werden jeweils in chronologischer Reihenfolge exportiert, sodass zuerst die Daten des ersten Tages des letzten Monats ausgefüllt werden. Beim ersten Backfill exportierter Daten kann es bis zu fünf Tage dauern, bis die rückwirkenden Cloud Billing-Daten abgeschlossen sind und die neuesten Nutzungsdaten angezeigt werden.

    • Wenn Sie Ihr BigQuery-Dataset so konfigurieren, dass ein unterstützter regionaler Standort verwendet wird, sind Ihre Daten der FOCUS-Nutzungskosten, standardmäßigen Nutzungskosten oder detaillierten Nutzungskosten ab dem Datum verfügbar, an dem Sie den Export von Cloud Billing aktivieren, und danach. Das heißt, Google Cloud Abrechnungsdaten werden nicht rückwirkend für Dataset-Standorte, die keine Multiregionen sind, hinzugefügt. Sie sehen also keine Cloud Billing-Daten aus der Zeit bevor Sie den Export aktiviert haben.

    • Für Kunden, die den Export von Daten der FOCUS-Nutzungskosten, standardmäßigen Nutzungskosten oder detaillierten Nutzungskosten aktiviert, deaktiviert und anschließend wieder aktiviert haben, sind die Cloud Billing-Daten für den Zeitraum, in dem der Export explizit deaktiviert wurde, möglicherweise nicht verfügbar.

  • Wenn Sie den Export der Preisdaten aktivieren, enthält Ihr BigQuery-Dataset nur Cloud Billing-Daten ab dem Datum, an dem Sie den Preisexport erstmals aktiviert haben. Cloud Billing-Preisdaten werden nicht rückwirkend hinzugefügt. Es werden also keine Preisdaten für Datumsangaben angezeigt, die vor der Aktivierung des Exports aufgetreten sind.

  • Die Daten in den BigQuery-Datasets geben den Status Ihrer Ressourcen zum Zeitpunkt der Aufzeichnung der Nutzung wieder. Wenn Sie Änderungen an Ihren Ressourcen vornehmen, z. B. wenn Sie einem Projekt neue Labels hinzufügen oder die Hierarchie eines Projekts ändern (dies würde project.ancestors ändern), werden diese Änderungen nur in zukünftigen Exporten von Nutzungsdaten angezeigt. Zuvor exportierte Datensätze werden nicht geändert.

  • Wenn Sie exportierte Daten löschen, wie z. B. BigQuery-Exportdatensätze, können wir für die gelöschten Datensätze kein Backfill ausführen.

  • Wenn Sie die Einstellungen eines Exports bearbeiten, um das Projekt oder Dataset zu aktualisieren, in dem Ihre exportierten Abrechnungsdaten gespeichert sind, werden Daten aus dem vorherigen Dataset nicht automatisch in das neue Dataset eingefügt. Das neue BigQuery-Dataset enthält nur Cloud Billing-Daten, die ab dem Datum angefallen sind, an dem Sie die Exporteinstellungen geändert haben. Wenn Sie den vollständigen Datensatz der exportierten Abrechnungsdaten einbeziehen möchten, müssen Sie das neue Dataset manuell mit dem vorherigen Dataset zusammenführen. Weitere Informationen finden Sie unter Join-Vorgang.

  • BigQuery-Ladevorgänge sind ACID-kompatibel. Wenn Sie also das BigQuery-Dataset für den Cloud Billing-Export abfragen, während Daten geladen werden, werden keine nur teilweise geladenen Daten angezeigt.

  • Weitere Einschränkungen, die sich auf den Export von Abrechnungsdaten in BigQuery auswirken können, z. B. Datasets mit aktivierten kundenverwalteten Verschlüsselungsschlüsseln (CMEK).

Beschränkungen

Das Exportieren von Cloud Billing-Daten nach BigQuery unterliegt folgenden Einschränkungen.

Tabellenschema für Cloud Billing-Datenexporte

Das Tabellenschema für alle Cloud Billing-Datenexporte kann sich ändern.

Wenn sich das Tabellenschema ändert, z. B. wenn einem BigQuery-Tabellenschema für einen Cloud Billing-Datenexport neue Felder hinzugefügt werden, können Abfragen, die direkt auf die exportierten Spalten verweisen, fehlschlagen. Um dieses Problem zu beheben, empfehlen wir, BigQuery-Ansichten zu erstellen, die die exportierten Tabellen abfragen und die Informationen in der von Ihnen bevorzugten Struktur darstellen.

Anschließend können Sie die Abfragen, die Ihre Berichte und Dashboards füttern, so anpassen, dass sie aus den Ansichten und nicht aus den exportierten Tabellen abgerufen werden. Mit Ansichten können Sie die Struktur der Daten standardisieren, die in Ihren Abfragen und Dashboards verwendet werden.

In den von Ihnen erstellten Ansichten sollten die Daten normalisiert werden, sodass alle relevanten Tabellen in Ihren Abfragen das gleiche Schema enthalten. So sind Sie vor zukünftigen Schemaänderungen geschützt und können die zugrunde liegende Abfrage der Ansicht ändern, wenn sich das Datenschema ändert.

FOCUS-Export und Datenaufbewahrung

Für Abrechnungsdaten, die im von Google bereitgestellten FOCUS-Format nach BigQuery exportiert werden, gilt eine Richtlinie für die Gültigkeitsdauer (TTL) von 2 Jahren. Daten, die älter als zwei Jahre sind, werden automatisch aus der jeweiligen FOCUS-Exporttabelle im BigQuery-Dataset gelöscht. Wenn Sie den Verlauf Ihrer FOCUS-Abrechnungsdaten länger als zwei Jahre aufbewahren müssen, kopieren Sie die FOCUS-Daten in eine Tabelle zur Langzeitspeicherung, die Ihnen gehört.

BigQuery-Dataset-Standorte und Datenverfügbarkeit

Für die Verwendung mit Cloud Billing-Daten unterstützte BigQuery-Dataset-Standorte:

BigQuery-Datasets sind so konfiguriert, dass sie einen Standort verwenden: entweder einen multiregionalen Standort (EU oder USA) oder einen regionalen Standort. Der Dataset-Speicherort wird bei der Erstellung festgelegt. Nachdem ein Dataset erstellt wurde, kann sein Standort nicht mehr geändert werden.

Der Cloud Billing-Datenexport unterstützt alle multiregionalen Standorte (EU oder USA), aber nur einen Teil der regionalen Standorte. Wenn Sie Ihre Cloud Billing-Exporteinstellungen konfigurieren und ein Dataset erstellen, das für die Verwendung eines nicht unterstützten regionalen Standorts konfiguriert ist, wird beim Speichern der Exporteinstellungen der Fehler Ungültige Dataset-Region angezeigt.

In der folgenden Tabelle sind die multiregionalen Standorte und die regionalen Standorte aufgeführt, die für die Verwendung mit BigQuery-Datasets, die Cloud Billing-Daten enthalten, unterstützt werden.

Nord- und Südamerika Asiatisch-pazifischer Raum Europa Naher Osten

Multiregional: USA

Regionen:

  • northamerica-northeast1 (Montreal)
  • southamerica-east1 (São Paulo)
  • us-central1 (Iowa)
  • us-east1 (South Carolina)
  • us-east4 (Northern Virginia)
  • us-west1 (Oregon)
  • us-west2 (Los Angeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Regionen:

  • asia-east1 (Taiwan)
  • asia-east2 (Hongkong)
  • asia-northeast1 (Tokio)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Seoul)
  • asia-south1 (Mumbai)
  • asia-southeast1 (Singapur)
  • asia-southeast2 (Jakarta)
  • australia-southeast1 (Sydney)

Multiregional: EU

Regionen:

  • europe-central2 (Warschau)
  • europe-north1 (Finnland)
  • europe-west1 (Belgien)
  • europe-west2 (London)
  • europe-west3 (Frankfurt)
  • europe-west4 (Niederlande)
  • europe-west6 (Zürich)

Regionen:

  • me-central1 (Doha)
  • me-central2 (Dammam)
  • me-west1 (Tel Aviv)

Standorte und Datenverfügbarkeit:

  • Für Ihre BigQuery-Datasets, die FOCUS-Nutzungskostendaten, standardmäßige Nutzungskostendaten oder detaillierte Nutzungskostendaten enthalten, wirkt sich der Typ des Standorts, den Sie für das Dataset konfigurieren, auf den Zeitpunkt aus, zu dem Ihre Google Cloud -Abrechnungsdaten in das Dataset exportiert werden:

    • Wenn Sie das Dataset für die Verwendung eines multiregionalen Standorts (EU oder US) konfigurieren, enthält das Dataset Google Cloud -Abrechnungsdaten, die ab dem Beginn des vorherigen Monats angefallen sind, ab dem Zeitpunkt, an dem Sie den Export zuerst aktiviert haben, sofern Sie den Export nicht wieder aktivieren. Das heißt, Google Cloud -Abrechnungsdaten werden für den aktuellen und den Vormonat rückwirkend hinzugefügt. Beim ersten Backfill exportierter Daten kann es bis zu fünf Tage dauern, bis die rückwirkenden Cloud Billing-Daten abgeschlossen sind und die aktuellen Nutzungsdaten angezeigt werden.

    • Wenn Ihr Dataset für die Verwendung eines unterstützten regionalen Standorts konfiguriert ist, spiegeln Ihre FOCUS-Nutzungskostendaten, standardmäßigen Nutzungskostendaten und detaillierten Nutzungskostendaten nur die Abrechnungsdaten von Google Cloud wider, die ab dem Datum, an dem Sie den Cloud Billing-Export aktiviert haben, und danach angefallen sind. Das heißt, Google Cloud -Abrechnungsdaten werden nicht rückwirkend für Dataset-Standorte, die keine Multiregion sind, hinzugefügt. Sie sehen also keine Cloud Billing-Daten aus der Zeit bevor Sie den Export aktiviert haben.

    • Weitere Informationen finden Sie unter Datenverfügbarkeit.

  • Ihre BigQuery-Datasets, die Preisdaten enthalten, erfassen nur Google Cloud -Abrechnungsdaten, die ab dem Datum angefallen sind, an dem Sie den Cloud Billing-Export eingerichtet haben. Google Cloud -Preisdaten werden aber nicht rückwirkend hinzugefügt, sodass Sie keine vor dem Export erstellten Cloud Billing-Preisdaten sehen. Weitere Informationen finden Sie unter Datenverfügbarkeit.

Exporteinstellungen deaktivieren, wieder aktivieren oder bearbeiten

Wenn Sie die Exporteinstellungen deaktivieren, wieder aktivieren oder bearbeiten, um das Projekt oder Dataset zu aktualisieren, in dem Ihre exportierten Abrechnungsdaten gespeichert sind, werden zuvor exportierte Abrechnungsdaten nicht in Ihr neues Dataset übertragen. Wenn Sie die Zahlungsinformationen einbeziehen möchten, die vor dem Wechsel zu einem anderen Projekt oder Dataset exportiert wurden, müssen Sie das neue Dataset manuell mit dem vorherigen Dataset zusammenführen. Weitere Informationen finden Sie unter Join-Vorgang.

Dataset-Verschlüsselung

BigQuery-Datasets sind für die Verwendung der Verschlüsselung ruhender Daten konfiguriert. Dazu wird beim Erstellen des Datasets eine Verschlüsselungsschlüsseloption festgelegt, entweder ein Google-owned and Google-managed encryption keyoder ein kundenverwalteter Verschlüsselungsschlüssel (CMEK). Sie können die Verschlüsselungseinstellung nach dem Erstellen eines Datasets bearbeiten.

Wenn Sie den Cloud Billing-Datenexport nach BigQuery bereits aktiviert haben und Ihr Dataset für die Verwendung einesGoogle-managed encryption keykonfiguriert ist, können Sie das Dataset und seine Tabellen so aktualisieren, dass ein CMEK verwendet wird. So aktualisieren Sie das Dataset und seine Tabellen:

  1. Legen Sie einen Standardschlüssel für das Dataset fest. Wenn Sie einen Standardschlüssel festlegen, werden alle neuen Tabellen, die im Dataset erstellt werden, automatisch mit dem CMEK geschützt.
  2. Verwenden Sie das bq-Befehlszeilentool, um CMEK für jede vorhandene Tabelle im Dataset zu aktivieren. Wenn Sie den Standardschlüssel des Datasets ändern, werden vorhandene Tabellen nicht automatisch neu verschlüsselt.

Informationen zum Aktivieren von CMEK für BigQuery-Tabellen

CMEK-Organisationsrichtlinien

Sie können CMEK-Organisationsrichtlinien verwenden, um die CMEK-Nutzung für Ihre BigQuery-Ressourcen, einschließlich Abrechnungsexporte, zu erzwingen oder festzulegen, dass sich der CMEK in einem genehmigten Projekt befinden muss. Das Erzwingen von CMEK-Organisationsrichtlinien kann jedoch die folgenden unerwarteten Auswirkungen haben:

  • Exportvorgang schlägt möglicherweise bei vorhandenen Datasets fehl: Wenn Sie eine neue Einschränkung für die Organisationsrichtlinie aktivieren, wird die Einschränkung nicht auf vorhandene Datasets angewendet. Das bedeutet, dass Sie möglicherweise Datasets haben, die noch vorhanden sind, obwohl sie nicht mehr zulässig sind. Wenn Sie jedoch das nächste Mal versuchen, in dieses Dataset zu exportieren, schlägt der Exportvorgang fehl, wenn aufgrund einer neu erzwungenen Organisationsrichtlinie keine neuen Tabellen erstellt werden können.

    Um diese Situation zu vermeiden, sollten Sie Ihre vorhandenen Konfigurationen für den Abrechnungsexport proaktiv überprüfen, wenn Sie Ihre Organisationsrichtlinien aktualisieren. Aktualisieren Sie die Dataset-Konfiguration nach Bedarf, um die Einschränkungen restrictNonCmekServices und restrictCmekCryptoKeyProjects einzuhalten.

  • Inkonsistente Durchsetzung von Organisationsrichtlinien: Organisationsrichtlinien werden nicht durchgesetzt, wenn Sie ein leeres Dataset erstellen. Das bedeutet, dass Sie die Einschränkung restrictNonCmekServices erzwingen können, um festzulegen, dass BigQuery-Ressourcen einen CMEK für die Verschlüsselung verwenden müssen, und dann ein BigQuery-Dataset erstellen können, das für die Verwendung von Google-owned and Google-managed encryption keyskonfiguriert ist. Der Abrechnungsexport, der dieses Dataset verwendet, schlägt jedoch fehl, da die Organisationsrichtlinie das Erstellen einer nicht durch CMEK geschützten Tabelle nicht zulässt, solange die Einschränkung restrictNonCmekServices für BigQuery erzwungen wird.

    So beheben Sie dieses Problem: Aktualisieren Sie die Verschlüsselung Ihres Datasets, um einen Dataset-Standardschlüssel festzulegen, der Ihren restrictNonCmekServices- und restrictCmekCryptoKeyProjects-Einschränkungen entspricht.

Sicherheit auf Zeilenebene

Wenn Sie die BigQuery-Sicherheit auf Zeilenebene für die Tabelle verwenden möchten, die Ihre exportierten Daten enthält, müssen Sie dem Cloud Billing-Exportdienstkonto billing-export-bigquery@ vollständigen Zugriff auf die Tabelle gewähren und dabei den BigQuery-TRUE-Filter verwenden. Der folgende Befehl gewährt Zugriff auf das Cloud Billing-Dienstkonto:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@')
FILTER USING (TRUE);

FOCUS- oder detaillierte Kostendaten zur Nutzung und GKE

Beim Exportieren von FOCUS-Nutzungskostendaten oder detaillierten Nutzungskostendaten enthält der Export automatisch Informationen zu Compute Engine und anderen Diensten auf Ressourcenebene. Wenn Sie sich jedoch eine Aufschlüsselung der GKE-Clusterkosten (Google Kubernetes Engine) in einem FOCUS- oder detaillierten Datenexport ansehen möchten, müssen Sie auch die Kostenzuordnung für GKE aktivieren.

Tags auf Ressourcenebene

Es kann bis zu einer Stunde dauern, bis Tags auf Ressourcenebene in BigQuery-Exporte übernommen werden. Wenn ein Tag innerhalb einer Stunde hinzugefügt oder entfernt wurde oder eine Ressource weniger als eine Stunde lang existiert, wird sie möglicherweise nicht im Export angezeigt.

Tags auf Ressourcenebene sind für mehrere Ressourcen im Export von Standardnutzungskosten und im Export von detaillierten Nutzungskosten verfügbar.

Zurück
FOCUS-Export nach BigQuery einrichten
Weiter
Struktur des FOCUS-Datenexports