Google Ad Manager-Daten in BigQuery laden
Mit dem BigQuery Data Transfer Service für Google Ad Manager-Connector können Sie Daten aus Google Ad Manager in BigQuery laden. Mit dem BigQuery Data Transfer Service können Sie wiederkehrende Übertragungsjobs planen, mit denen Ihre neuesten Daten aus Google Ad Manager zu BigQuery hinzugefügt werden.
Connector-Übersicht
Der BigQuery Data Transfer Service für den Google Ad Manager-Connector unterstützt die folgenden Optionen für Ihre Datenübertragung.
| Datenübertragungsoptionen | Support |
|---|---|
| Unterstützte Berichte | Der Google Ad Manager-Connector unterstützt die Übertragung von Daten aus den folgenden Berichten:
Informationen zur Umwandlung von Google Ad Manager-Berichten in BigQuery-Tabellen und -Ansichten finden Sie unter Google Ad Manager-Berichte umwandeln. |
| Wiederholungshäufigkeit | Der Google Ad Manager-Connector unterstützt Datenübertragungen alle 4 Stunden. Standardmäßig werden Google Ad Manager-Datenübertragungen alle 8 Stunden wiederholt. Sie können die Zeit der Datenübertragung beim Einrichten der Datenübertragung konfigurieren. |
| Aktualisierungsfenster | Der Google Ad Manager-Connector ruft Google Ad Manager-Daten von bis zu 2 Tagen zum Zeitpunkt der Datenübertragung ab. Sie können das Aktualisierungsfenster für diesen Connector nicht konfigurieren.
Weitere Informationen finden Sie unter Aktualisierungsfenster. |
| Verfügbarkeit von Backfill-Daten | Führen Sie einen Daten-Backfill aus, um Daten außerhalb der geplanten Datenübertragung abzurufen. Sie können Daten so weit rückwirkend abrufen, wie es die Richtlinien zur Datenaufbewahrung Ihrer Datenquelle zulassen. Informationen zu den Richtlinien zur Datenaufbewahrung für Google Ad Manager finden Sie unter Google Ad Manager-Datenübertragungsberichte. |
Datenaufnahme aus Google Ad Manager-Übertragungen
Wenn Sie Daten aus Google Ad manager in BigQuery übertragen, werden die Daten in BigQuery-Tabellen geladen, die nach Datum partitioniert sind. Die Tabellenpartition, in die die Daten geladen werden, entspricht dem Datum aus der Datenquelle. Wenn Sie mehrere Übertragungen für dasselbe Datum planen, überschreibt BigQuery Data Transfer Service die Partition für dieses Datum mit den neuesten Daten. Mehrere Übertragungen am selben Tag oder laufende Backfills führen nicht zu doppelten Daten; Partitionen für andere Daten sind nicht betroffen.Fenster aktualisieren
Ein Aktualisierungsfenster ist die Anzahl der Tage, an denen eine Datenübertragung Daten zu einer Datenübertragung abruft. Wenn das Aktualisierungsfenster beispielsweise drei Tage beträgt und eine tägliche Übertragung erfolgt, ruft der BigQuery Data Transfer Service alle Daten aus Ihrer Quelltabelle der letzten drei Tage ab. In diesem Beispiel erstellt der BigQuery Data Transfer Service bei einer täglichen Übertragung eine neue BigQuery-Zieltabellenpartition mit einer Kopie der Daten der Quelltabelle vom aktuellen Tag und löst dann automatisch Backfill-Ausführungen aus, um die BigQuery-Zieltabellenpartitionen mit den Daten der Quelltabelle aus den letzten zwei Tagen zu aktualisieren. Die automatisch ausgelösten Backfill-Ausführungen überschreiben oder aktualisieren Ihre BigQuery-Zieltabelle entweder schrittweise oder aktualisieren sie, je nachdem, ob inkrementelle Aktualisierungen im BigQuery Data Transfer Service-Connector unterstützt werden oder nicht.
Wenn Sie eine Datenübertragung zum ersten Mal ausführen, werden alle Quelldaten abgerufen, die innerhalb des Aktualisierungszeitraums verfügbar sind. Wenn das Aktualisierungsfenster beispielsweise drei Tage beträgt und Sie die Datenübertragung zum ersten Mal ausführen, ruft der BigQuery Data Transfer Service alle Quelldaten innerhalb von drei Tagen ab.
Wenn Sie Daten außerhalb des Aktualisierungszeitraums abrufen möchten, z. B. Verlaufsdaten, oder Daten nach Übertragungsausfällen oder -lücken wiederherstellen möchten, können Sie einen Backfill-Vorgang initiieren oder planen.Änderungen an Datenübertragungsdateien
Tabellen, die aus Google Ad Manager-Datenübertragungsdateien (Google Ad Manager-DT) erstellt werden, können inkrementell aktualisiert werden. Google Ad Manager fügt die DT-Dateien von Google Ad Manager dem Cloud Storage-Bucket hinzu. Bei einer Übertragungsausführung werden dann die neuen Google Ad Manager-DT-Dateien aus dem Cloud Storage-Bucket inkrementell in die BigQuery-Tabelle geladen, ohne dass Dateien, die bereits in die BigQuery-Tabelle übertragen wurden, noch einmal geladen werden.
Beispiel: Google Ad Manager fügt um 1:00 Uhr file1 und um 2:00 Uhr file2 in den Bucket ein. Ein Übertragungslauf beginnt um 3:30 Uhr und lädt file1 und file2 in BigQuery. Google Ad Manager fügt dann um 5:00 Uhr file3 und um 6:00 Uhr file4 hinzu. Eine zweite Übertragung beginnt um 7:30 Uhr und hängt file3 und file4 an BigQuery an, anstatt die Tabelle durch Laden aller vier Dateien zu überschreiben.
Aktualisierungen von Match-Tables
Match-Tables bieten einen Suchmechanismus für die Rohwerte in Datenübertragungsdateien. Eine Liste der Match-Tables finden Sie unter Umwandlung von Google Ad Manager-Berichten. Verschiedene Abgleichstabellen werden mit unterschiedlichen Aufnahmemethoden aktualisiert. Die Abgleichstabellen und ihre Aufnahmemethoden sind in der folgenden Tabelle aufgeführt:
| Aufnahmemethode | Beschreibung | Match-Table |
|---|---|---|
| Inkrementelles Update | Inkrementelle Aktualisierungen werden bei jeder Ausführung angehängt. Beispiel: Bei der ersten Übertragung des Tages werden alle Daten geladen, die vor der Übertragung geändert wurden. Bei der zweiten Übertragung am selben Tag werden Daten geladen, die nach der vorherigen Übertragung und vor der aktuellen Übertragung geändert wurden. | Company: Order, Placement, LineItem, AdUnit |
| Aktualisierung der gesamten Tabelle | Bei Aktualisierungen der gesamten Tabelle wird die gesamte Tabelle einmal täglich geladen. Beispiel: Bei der ersten Übertragung des Tages werden alle verfügbaren Daten für eine Tabelle geladen. Bei einer zweiten Übertragung am selben Tag wird das Laden dieser Tabellen übersprungen. | AdCategory, AudienceSegmentCategory, BandwidthGroup, Browser, BrowserLanguage,
DeviceCapability, DeviceCategory, DeviceManufacturer, GeoTarget, MobileCarrier,
MobileDevice, MobileDeviceSubmodel, OperatingSystem, OperatingSystemVersion,
ThirdPartyCompany, TimeZone, User, ProgrammaticBuyer
|
| Überschreiben der gesamten Tabelle | Die gesamte Tabelle wird bei jeder Übertragungsausführung überschrieben. | AudienceSegment |
Hinweis
Führen Sie die folgenden Aktionen aus, bevor Sie eine Google Ad Manager-Datenübertragung erstellen:
- Überprüfen Sie, ob Sie alle erforderlichen Aktionen ausgeführt haben, damit Sie den BigQuery Data Transfer Service aktivieren können.
- Erstellen Sie ein BigQuery-Dataset zum Speichern der Google Ad Manager-Daten.
-
Achten Sie darauf, dass Ihre Organisation Zugriff auf die Data Transfer-Dateien von Google Ad Manager (Google Ad Manager DT) hat. Diese Dateien werden vom Google Ad Manager-Team an einen Cloud Storage-Bucket geliefert. Um Zugriff auf DT-Dateien von Google Ad Manager zu erhalten, sehen Sie sich die Ad Manager-Datenübertragungsberichte an. Möglicherweise fallen zusätzliche Kosten vom Google Ad Manager-Team an.
Nach der Ausführung dieses Schritts erhalten Sie einen Cloud Storage-Bucket ähnlich dem folgenden:
gdfp-12345678Das Google Cloud -Team kann KEINE Google Ad Manager-DT-Dateien generieren oder Zugriff auf sie in Ihrem Namen gewähren. Wenden Sie sich an den Google Ad Manager-Support, um Zugriff auf DT-Dateien von Google Ad Manager zu erhalten.
- Aktivieren Sie den API-Zugriff auf Ihr Google Ad Manager-Netzwerk.
- Wenn Sie Datenübertragungsbenachrichtigungen einrichten möchten, benötigen Sie Berechtigungen des Typs
pubsub.topics.setIamPolicyfür Pub/Sub. Pub/Sub-Berechtigungen sind nicht erforderlich, wenn Sie nur E-Mail-Benachrichtigungen einrichten. Weitere Informationen finden Sie unter Ausführungsbenachrichtigungen im BigQuery Data Transfer Service.
Erforderliche Berechtigungen
Prüfen Sie, ob Sie die folgenden Berechtigungen gewährt haben.
Erforderliche BigQuery-Rollen
Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle BigQuery-Administrator (roles/bigquery.admin) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer BigQuery Data Transfer Service-Datenübertragung benötigen.
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen einer BigQuery Data Transfer Service-Datenübertragung erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:
Erforderliche Berechtigungen
Die folgenden Berechtigungen sind zum Erstellen einer BigQuery Data Transfer Service-Datenübertragung erforderlich:
-
Berechtigungen für BigQuery Data Transfer Service:
-
bigquery.transfers.update -
bigquery.transfers.get
-
-
BigQuery-Berechtigungen:
-
bigquery.datasets.get -
bigquery.datasets.getIamPolicy -
bigquery.datasets.update -
bigquery.datasets.setIamPolicy -
bigquery.jobs.create
-
Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
Weitere Informationen finden Sie unter bigquery.admin-Zugriff gewähren.
Erforderliche Google Ad Manager-Rollen
Lesezugriff auf die DT-Dateien von Google Ad Manager gewähren, die in Cloud Storage gespeichert sind. Berechtigungen für DT-Dateien von Google Ad Manager werden vom Google Ad Manager-Team verwaltet. Zusätzlich zu den DT-Dateien von Google Ad Manager muss die Person, die die Datenübertragung erstellt, dem Google Ad Manager-Netzwerk mit Lesezugriff auf alle Entitäten hinzugefügt werden, die zum Erstellen der verschiedenen Match-Tables (Werbebuchung, Auftrag, Anzeigenblock usw.) erforderlich sind. Dies kann erfolgen, indem Sie den Ad Manager-Nutzer hinzufügen, der die Datenübertragung für das Team für alle Entitäten in Ad Manager authentifiziert hat.
Google Ad Manager-Übertragung einrichten
Zur Einrichtung einer BigQuery-Datenübertragung für Google Ad Manager wird Folgendes benötigt:
Cloud Storage-Bucket: Der Cloud Storage-Bucket-URI für die DT-Dateien von Google Ad Manager, wie unter Vorbereitung beschrieben. Der Bucket-Name sollte so aussehen:
gdfp-12345678
Netzwerkcode: Sie finden den Netzwerkcode für Google Ad Manager in der URL, wenn Sie in Ihrem Netzwerk angemeldet sind. In der URL
https://admanager.google.com/2032576#deliveryist beispielsweise2032576der Netzwerkcode. Weitere Informationen finden Sie in der Einführung zu Google Ad Manager.
So erstellen Sie eine BigQuery Data Transfer Service-Datenübertragung für Google Ad Manager:
Console
Rufen Sie in der Google Cloud Console die Seite „Datenübertragungen“ auf.
Klicken Sie auf Übertragung erstellen.
Auf der Seite Übertragung erstellen:
- Wählen Sie im Abschnitt Quelltyp als Quelle die Option Google Ad Manager (früher DFP) aus.
- Geben Sie im Abschnitt Transfer config name (Konfigurationsname für Übertragung) für Display name (Anzeigename) einen Namen wie
My Transferfür die Datenübertragung ein. Der Übertragungsname kann ein beliebiger Wert sein, mit dem Sie die Übertragung identifizieren können, wenn Sie sie später ändern müssen.
- Wählen Sie im Abschnitt Zieleinstellungen als Dataset das Dataset aus, das Sie zum Speichern Ihrer Daten erstellt haben.
- Im Abschnitt Details zur Datenquelle:
- Geben Sie im Feld Cloud Storage-Bucket den Namen des Cloud Storage-Buckets ein, in dem die Datenübertragungsdateien gespeichert sind. Geben Sie den Bucket-Namen ohne
gs://ein. - Geben Sie als Netzwerkcode Ihren Netzwerkcode ein.
- Geben Sie im Feld Cloud Storage-Bucket den Namen des Cloud Storage-Buckets ein, in dem die Datenübertragungsdateien gespeichert sind. Geben Sie den Bucket-Namen ohne
Wählen Sie im Menü Dienstkonto ein Dienstkonto aus denen aus, die mit Ihrem Google Cloud -Projekt verknüpft sind. Sie können Ihre Übertragung mit einem Dienstkonto verknüpfen, anstatt Ihre Nutzeranmeldedaten zu verwenden. Weitere Informationen zur Verwendung von Dienstkonten mit Datenübertragungen finden Sie unter Dienstkonten verwenden.
Wenn Sie sich mit einer föderierten Identität angemeldet haben, ist ein Dienstkonto zum Erstellen einer Übertragung erforderlich. Wenn Sie sich mit einem Google-Konto angemeldet haben, ist ein Dienstkonto für die Übertragung optional. Das Dienstkonto muss die erforderlichen Berechtigungen haben.Optional: Im Abschnitt Notification options (Benachrichtigungsoptionen):
- Klicken Sie auf die Umschaltfläche, um E-Mail-Benachrichtigungen zu aktivieren. Wenn Sie diese Option aktivieren, erhält der Übertragungsadministrator eine E-Mail-Benachrichtigung, wenn ein Übertragungsvorgang fehlschlägt.
- Klicken Sie auf den Ein/Aus-Button, um Pub/Sub-Benachrichtigungen zu aktivieren. Wählen Sie unter Cloud Pub/Sub-Thema auswählen Ihr Thema aus oder klicken Sie auf Thema erstellen. Mit dieser Option werden Pub/Sub-Ausführungsbenachrichtigungen für Ihre Übertragung konfiguriert.
Klicken Sie auf Speichern.
bq
Geben Sie den Befehl bq mk ein und geben Sie das Flag --transfer_config für die Übertragungserstellung an. Die folgenden Flags sind ebenfalls erforderlich:
--data_source--target_dataset--display_name--params
Optionale Flags:
--service_account_name: Gibt ein Dienstkonto an, das für die Übertragungsauthentifizierung in Google Ad Manager anstelle Ihres Nutzerkontos verwendet werden soll.
bq mk --transfer_config \ --project_id=project_id \ --target_dataset=dataset \ --display_name=name \ --params='parameters' \ --data_source=data_source \ --service_account_name=service_account_name
Dabei gilt:
- project_id ist die Projekt-ID.
- dataset ist das Ziel-Dataset für die Übertragungskonfiguration.
- name ist der Anzeigename für die Datenübertragungskonfiguration. Der Übertragungsname kann ein beliebiger Wert sein, mit dem Sie die Datenübertragung identifizieren können, wenn Sie sie später ändern müssen.
- parameters enthält die Parameter für die erstellte Übertragungskonfiguration im JSON-Format. Beispiel:
--params='{"param":"param_value"}'. Für Google Ad Manager müssen Sie die Parameterbucketundnetwork_codeangeben.bucket: Der Cloud Storage-Bucket, der Ihre Google Ad Manager-DT-Dateien enthält.network_code: Netzwerkcodeload_match_tables: Gibt an, ob Zuordnungstabellen geladen werden sollen. Standardmäßig auf „True“ festgelegt
- data_source ist die Datenquelle:
dfp_dt(Google Ad Manager). - service_account_name ist der Name des Dienstkontos, der zur Authentifizierung der Datenübertragung verwendet wird. Das Dienstkonto sollte zum selben
project_idgehören, das für die Erstellung der Übertragung verwendet wurde, und sollte alle erforderlichen Berechtigungen haben.
Sie können auch das Flag --project_id bereitstellen, um ein bestimmtes Projekt anzugeben. Wenn --project_id nicht angegeben ist, wird das Standardprojekt verwendet.
Mit dem folgenden Befehl wird beispielsweise eine Google Ad Manager-Datenübertragung mit dem Namen My Transfer erstellt. Dabei werden der Netzwerkcode 12345678, der Cloud Storage-Bucket gdfp-12345678 und das Ziel-Dataset mydataset verwendet. Die Datenübertragung wird im Standardprojekt erstellt:
bq mk --transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"bucket": "gdfp-12345678","network_code": "12345678"}' \
--data_source=dfp_dt
Nachdem Sie den Befehl ausgeführt haben, erhalten Sie eine Meldung wie die Folgende:
[URL omitted] Please copy and paste the above URL into your web browser and
follow the instructions to retrieve an authentication code.
Folgen Sie der Anleitung und fügen Sie den Authentifizierungscode in die Befehlszeile ein.
API
Verwenden Sie die Methode projects.locations.transferConfigs.create und geben Sie eine Instanz der Ressource TransferConfig an.
Java
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Java in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Java API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.
Fehlerbehebung bei der Einrichtung der Google Ad Manager-Übertragung
Falls beim Einrichten von Datenübertragungen Probleme auftreten, finden Sie unter Fehlerbehebung bei Transferkonfigurationen im Abschnitt Übertragungsprobleme mit Google Ad Manager weitere Informationen.
Daten abfragen
Bei der Übertragung Ihrer Daten in BigQuery werden die Daten in nach Aufnahmezeit partitionierte Tabellen geschrieben. Weitere Informationen finden Sie unter Einführung in partitionierte Tabellen.
Wenn Sie die Tabellen direkt abfragen, anstatt die automatisch generierten Ansichten zu verwenden, müssen Sie in der Abfrage die Pseudospalte _PARTITIONTIME verwenden. Weitere Informationen finden Sie unter Partitionierte Tabellen abfragen.
Beispielabfragen
Sie können die folgenden Google Ad Manager-Beispielabfragen verwenden, um Ihre übertragenen Daten zu analysieren. Sie können die Abfragen auch in einem Visualisierungstool wie Data Studio verwenden. Diese Abfragen werden zur Verfügung gestellt, um Ihnen den Einstieg in das Abfragen Ihrer Google Ad Manager-Daten mit BigQuery zu erleichtern. Bei weiteren Fragen zur Nutzung dieser Berichte wenden Sie sich an einen technischen Mitarbeiter von Google Ad Manager.
Ersetzen Sie in jeder der folgenden Abfragen Variablen wie dataset durch Ihre Werte. Ersetzen Sie beispielsweise network_code durch Ihren Google Ad Manager-Netzwerkcode.
Impressionen und einzelne Nutzer nach Stadt
Die folgende SQL-Beispielabfrage analysiert die Anzahl von Impressionen und einzelnen Nutzern nach Stadt in den letzten 30 Tagen.
# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY) # END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY) SELECT City, _DATA_DATE AS Date, count(*) AS imps, count(distinct UserId) AS uniq_users FROM `dataset.NetworkImpressions_network_code` WHERE _DATA_DATE BETWEEN start_date AND end_date GROUP BY City, Date
Impressionen und einzelne Nutzer nach Werbebuchungstyp
Die folgende SQUL-Beispielabfrage analysiert die Anzahl von Impressionen und einzelnen Nutzern nach Werbebuchungstyp in den letzten 30 Tagen.
# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY) # END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY) SELECT MT.LineItemType AS LineItemType, DT._DATA_DATE AS Date, count(*) AS imps, count(distinct UserId) AS uniq_users FROM `dataset.NetworkImpressions_network_code` AS DT LEFT JOIN `dataset.MatchTableLineItem_network_code` AS MT ON DT.LineItemId = MT.Id WHERE DT._DATA_DATE BETWEEN start_date AND end_date GROUP BY LineItemType, Date ORDER BY Date desc, imps desc
Impressionen nach Anzeigenblock
Die folgende SQL-Beispielabfrage analysiert die Anzahl von Impressionen nach Anzeigenblock in den letzten 30 Tagen.
# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY) # END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY) SELECT MT.AdUnitCode AS AdUnitCode, DT.DATA_DATE AS Date, count(*) AS imps FROM `dataset.NetworkImpressions_network_code` AS DT LEFT JOIN `dataset.MatchTableAdUnit_network_code` AS MT ON DT.AdUnitId = MT.Id WHERE DT._DATA_DATE BETWEEN start_date AND end_date GROUP BY AdUnitCode, Date ORDER BY Date desc, imps desc
Impressionen nach Werbebuchung
Die folgende SQL-Beispielabfrage analysiert die Anzahl von Impressionen nach Werbebuchung in den letzten 30 Tagen.
# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY) # END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY) SELECT MT.Name AS LineItemName, DT._DATA_DATE AS Date, count(*) AS imps FROM `dataset.NetworkImpressions_network_code` AS DT LEFT JOIN `dataset.MatchTableLineItem_network_code` AS MT ON DT.LineItemId = MT.Id WHERE DT._DATA_DATE BETWEEN start_date AND end_date GROUP BY LineItemName, Date ORDER BY Date desc, imps desc