In Looker werden persistente abgeleitete Tabellen (PDTs) in das Scratch-Schema Ihrer Datenbank geschrieben. PDTs werden basierend auf ihrer Persistenzstrategie in Looker persistent gemacht und neu erstellt. Wenn die Neuerstellung einer PDT ausgelöst wird, erstellt Looker standardmäßig die ganze Tabelle neu.
Eine inkrementelle PDT ist eine PDT, die von Looker aufgebaut wird. Dabei werden neue Daten an die Tabelle angehängt, anstatt dass die ganze Tabelle neu erstellt wird:

Wenn Ihr Dialekt inkrementelle PDTs unterstützt, können Sie die folgenden Typen von PDTs in inkrementelle PDTs umwandeln:
Wenn Sie zum ersten Mal eine Abfrage mit einer inkrementellen PDT ausführen, erstellt Looker die ganze PDT, um die ersten Daten abzurufen. Bei einer großen Tabelle kann diese erste Erstellung sehr viel Zeit in Anspruch nehmen, wie im Falle jeder großen Tabelle. Nach dem Erstellen der ersten Tabelle sind weitere Erstellungen inkrementell und nehmen weniger Zeit in Anspruch, wenn die inkrementelle PDT strategisch eingestellt wurde.
Beachten Sie Folgendes bei inkrementellen PDTs:
- Inkrementelle PDTs werden nur für PDTs unterstützt, die eine triggerbasierte Persistenzstrategie (
datagroup_trigger,sql_trigger_valueoderinterval_trigger) verwenden. Inkrementelle PDTs werden nicht für PDTs unterstützt, die die Persistenzstrategiepersist_forverwenden. - Bei SQL-basierten PDTs muss die Tabellenabfrage mit dem Parameter
sqldefiniert werden, damit sie als inkrementelle PDT verwendet werden kann. SQL-basierte PDTs, die mit dem Parametersql_createodercreate_processdefiniert sind, können nicht inkrementell erstellt werden. Wie Sie in Beispiel 1 auf dieser Seite sehen, nutzt Looker einen INSERT- oder MERGE-Befehl, um die Inkremente für eine inkrementelle PDT zu erstellen. Die abgeleitete Tabelle kann nicht über benutzerdefinierte DDL-Anweisungen (Data Definition Language) definiert werden, da Looker nicht in der Lage wäre zu bestimmen, welche DDL-Anweisungen für das Erstellen eines akkuraten Inkrements erforderlich wären. - Die Quelltabelle der inkrementellen PDT muss für zeitbasierte Abfragen optimiert sein. Insbesondere muss die zeitbasierte Spalte, die für den Inkrementschlüssel verwendet wird, eine Optimierungsstrategie haben, z. B. Partitionierung, Sortierschlüssel, Indizes oder eine andere Optimierungsstrategie, die für Ihren Dialekt unterstützt wird. Eine Optimierung der Quelltabelle wird dringend empfohlen. Mit jeder Aktualisierung der inkrementellen Tabelle fragt Looker die Quelltabelle ab, um die neuesten Werte der zeitbasierten Spalte zu bestimmen, die für den Inkrementschlüssel verwendet wird. Wurde die Quelltabelle für diese Abfragen nicht optimiert, kann die Abfrage der neuesten Werte durch Looker langsam und teuer ausfallen.
- SQL-Fensterfunktionen werden in inkrementellen PDTs nicht direkt unterstützt. Wenn Sie eine Fensterfunktion mit einer inkrementellen PDT verwenden möchten, erstellen Sie die inkrementelle PDT als Basis- oder Zwischentabelle ohne die Fensterfunktion und verweisen Sie dann in einer separaten abgeleiteten Tabelle oder PDT, die die Fensterfunktion anwendet, auf diese inkrementelle PDT.
Inkrementelle PDT definieren
Mit den folgenden Parametern können Sie eine PDT in eine inkrementelle PDT umwandeln:
increment_key(erforderlich, um die PDT zu einer inkrementellen PDT zu machen): Definiert den Zeitraum, für den neue Datensätze abgefragt werden sollen.{% incrementcondition %}Liquid-Filter (erforderlich, um eine SQL-basierte PDT zu einer inkrementellen PDT zu machen; nicht zutreffend für LookML-basierte PDTs): Verbindet den inkrementellen Schlüssel mit der Datenbankzeitspalte, auf der der inkrementelle Schlüssel basiert. Weitere Informationen finden Sie auf der Dokumentationsseite zuincrement_key.increment_offset(optional): Eine Ganzzahl, die die Anzahl vorheriger Zeiträume angibt (in der Granularität des Inkrementschlüssels), die für jeden inkrementellen Aufbau neu erstellt werden. Der Parameterincrement_offseteignet sich im Fall spät eintreffender Daten, wenn vorherige Zeiträume neue Daten enthalten könnten, die beim ursprünglichen Erstellen und Anhängen an die PDT im entsprechenden Inkrement noch nicht enthalten waren.
Beispiele für das Erstellen inkrementeller PDTs aus persistenten nativen abgeleiteten Tabellen, persistenten SQL-basierten abgeleiteten Tabellen und zusammengefassten Tabellen finden Sie auf der Dokumentationsseite zum Parameter increment_key.
Hier ist ein einfaches Beispiel einer inkrementellen LookML-basierten PDT:
view: flights_lookml_incremental_pdt {
derived_table: {
indexes: ["id"]
increment_key: "departure_date"
increment_offset: 3
datagroup_trigger: flights_default_datagroup
distribution_style: all
explore_source: flights {
column: id {}
column: carrier {}
column: departure_date {}
}
}
dimension: id {
type: number
}
dimension: carrier {
type: string
}
dimension: departure_date {
type: date
}
}
Diese Tabelle wird vollständig erstellt, wenn zum ersten Mal eine Abfrage darin erfolgt. Danach wird die PDT in Inkrementen von einem Tag (increment_key: departure_date) neu erstellt, bis drei Tage zurück (increment_offset: 3).
Der Inkrementschlüssel basiert auf der Dimension departure_date, die eigentlich der Zeitraum date aus der Dimensionsgruppe departure ist. (Eine Übersicht über die Funktionsweise von Dimensionsgruppen finden Sie auf der Dokumentationsseite zum Parameter dimension_group.) Die Dimensionsgruppe und der Zeitraum werden beide in der Ansicht flights definiert, die die explore_source für diese PDT ist. So wird die Dimensionsgruppe departure in der Ansichtsdatei flights definiert:
...
dimension_group: departure {
type: time
timeframes: [
raw,
date,
week,
month,
year
]
sql: ${TABLE}.dep_time ;;
}
...
Interaktion von Inkrementparametern und Persistenzstrategie
Die Einstellungen increment_key und increment_offset einer PDT sind unabhängig von der Persistenzstrategie der PDT:
- Die Persistenzstrategie einer inkrementellen PDT bestimmt nur, wann die PDT inkrementiert. Der PDT-Builder ändert die inkrementelle PDT nur, wenn die Persistenzstrategie der Tabelle ausgelöst wird oder wenn die PDT manuell mit der Option Abgeleitete Tabellen neu erstellen und ausführen in einem Explore ausgelöst wird.
- Wenn die PDT inkrementiert, bestimmt der PDT-Generator, wann die neuesten Daten zuvor zur Tabelle hinzugefügt wurden, im Bezug auf das aktuellste Inkrement (der vom Parameter
increment_keybestimmte Zeitraum). Basierend darauf kürzt der PDT-Generator die Daten zum Beginn des jüngsten Zeitinkrements in der Tabelle und erstellt dann das neueste Inkrement von dort. - Hat die PDT einen
increment_offset-Parameter, erstellt der PDT-Generator auch die Anzahl der vorherigen Zeiträume neu, die imincrement_offset-Parameter angegeben sind. Die vorherigen Zeiträume reichen zurück beginnend am Anfang des aktuellsten Zeitinkrements (dem Zeitraum, der durch denincrement_key-Parameter definiert wird).
Die folgenden Beispielszenarien demonstrieren die Aktualisierung inkrementeller PDTs durch Zeigen der Interaktion von increment_key, increment_offset und Persistenzstrategie.
Beispiel 1
Dieses Beispiel verwendet eine PDT mit diesen Eigenschaften:
- Inkrementeller Schlüssel: Datum
- Inkrementeller Offset: 3
- Persistenzstrategie: wird ein Mal im Monat ausgelöst, am ersten Tag des Monats
So wird diese Tabelle aktualisiert:
- Bei einer monatlichen Persistenzstrategie wird die Tabelle automatisch ein Mal im Monat erstellt. Das bedeutet, dass etwa am 1. Juni die letzte Zeile der Tabelle am 1. Mai hinzugefügt worden ist.
- Da diese Tabelle einen auf dem Datum basierten Inkrementschlüssel verwendet, kürzt der PDT-Generator den 1. Mai zurück zum Beginn des Tages und erstellt die Daten für den 1. Mai neu bis zum aktuellen Tag, dem 1. Juni.
- Außerdem hat diese PDT einen inkrementellen Offset von
3. Der PDT-Generator erstellt also auch die Daten der vorherigen drei Zeiträume (Tage) vor dem 1. Mai neu. Es werden also Daten neu erstellt für den 28., 29. und 30. Mai und bis zum 1. Juni, dem aktuellen Tag.
Diesen SQL-Befehl führt der PDT-Generator am 1. Juni aus, um die Reihen der vorhandenen PDT zu bestimmen, die neu erstellt werden müssen:
## Example SQL for BigQuery:
SELECT FORMAT_TIMESTAMP('%F %T',TIMESTAMP_ADD(MAX(pdt_name),INTERVAL -3 DAY))
## Example SQL for other dialects:
SELECT CAST(DATE_ADD(MAX(pdt_name),INTERVAL -3 DAY) AS CHAR)
Und diesen SQL-Befehl führt der PDT-Generator am 1. Juni aus, um das neueste Inkrement zu erstellen:
## Example SQL for BigQuery:
MERGE INTO [pdt_name] USING (SELECT [columns]
WHERE created_at >= TIMESTAMP('4/28/21 12:00:00 AM'))
AS tmp_name ON FALSE
WHEN NOT MATCHED BY SOURCE AND created_date >= TIMESTAMP('4/28/21 12:00:00 AM')
THEN DELETE
WHEN NOT MATCHED THEN INSERT [columns]
## Example SQL for other dialects:
START TRANSACTION;
DELETE FROM [pdt_name]
WHERE created_date >= TIMESTAMP('4/28/21 12:00:00 AM');
INSERT INTO [pdt_name]
SELECT [columns]
FROM [source_table]
WHERE created_at >= TIMESTAMP('4/28/21 12:00:00 AM');
COMMIT;
Beispiel 2
Dieses Beispiel verwendet eine PDT mit diesen Eigenschaften:
- Persistenzstrategie: ein Mal am Tag ausgelöst
- Inkrementeller Schlüssel: Monat
- Inkrementeller Offset: 0
So wird diese Tabelle am 1. Juni aktualisiert:
- Bei einer täglichen Persistenzstrategie wird die Tabelle automatisch ein Mal im Tag erstellt. Am 1. Juni wird die letzte Zeile der Tabelle am 31. Mai hinzugefügt worden sein.
- Da diese Tabelle einen auf dem Monat basierten Inkrementschlüssel verwendet, kürzt der PDT-Generator den 31. Mai zurück zum Beginn des Monats und erstellt die Daten für den gesamten Mai neu bis zum aktuellen Tag, einschließlich des 1. Junis.
- Da diese PDT keinen inkrementellen Offset hat, werden keine vorherigen Zeiträume neu erstellt.
So wird diese Tabelle am 2. Juni aktualisiert:
- Am 2. Juni wird die letzte Zeile der Tabelle am 1. Juni hinzugefügt worden sein.
- Da der PDT-Generator bis zum Anfang des Monats Juni zurück kürzt und dann die Daten beginnend mit dem 1. Juni bis zum aktuellen Tag neu erstellt, werden nur die Daten für den 1. und 2. Juni neu erstellt.
- Da diese PDT keinen inkrementellen Offset hat, werden keine vorherigen Zeiträume neu erstellt.
Beispiel 3
Dieses Beispiel verwendet eine PDT mit diesen Eigenschaften:
- Inkrementeller Schlüssel: Monat
- Inkrementeller Offset: 3
- Persistenzstrategie: ein Mal am Tag ausgelöst
Dieses Szenario zeigt eine schlechte Einstellung für eine inkrementelle PDT, da es sich um eine täglich ausgelöste PDT mit einem Offset von drei Monaten handelt. Jeden Tag werden die Daten von mindestens drei Monaten neu erstellt, was eine sehr ineffiziente Nutzung einer inkrementellen PDT darstellt. Die Untersuchung dieses Szenarios ist jedoch interessant, um die Funktionsweise einer inkrementellen PDT zu verstehen.
So wird diese Tabelle am 1. Juni aktualisiert:
- Bei einer täglichen Persistenzstrategie wird die Tabelle automatisch ein Mal im Tag erstellt. Am 1. Juni etwa wird die letzte Zeile der Tabelle am 31. Mai hinzugefügt worden sein.
- Da diese Tabelle einen auf dem Monat basierten Inkrementschlüssel verwendet, kürzt der PDT-Generator den 31. Mai zurück zum Beginn des Monats und erstellt die Daten für den gesamten Mai neu bis zum aktuellen Tag, einschließlich des 1. Junis.
- Außerdem hat diese PDT einen inkrementellen Offset von
3. Das bedeutet, dass der PDT-Generator auch die Daten der vorherigen drei Zeiträume (Monate) vor dem Monat Mai neu erstellt. Das Ergebnis ist die Neuerstellung der Daten von Februar, März, April und bis zum aktuellen Tag, dem 1. Juni.
So wird diese Tabelle am 2. Juni aktualisiert:
- Am 2. Juni wird die letzte Zeile der Tabelle am 1. Juni hinzugefügt worden sein.
- Der PDT-Generator kürzt den Monat zurück zum 1. Juni und erstellt die Daten für den Monat Juni neu, einschließlich des 2. Junis.
- Durch den inkrementellen Offset werden außerdem die Daten der drei Monate vor Juni neu erstellt. Das Ergebnis ist die Neuerstellung der Daten von März, April, Mai und bis zum aktuellen Tag, dem 2. Juni.
Test einer inkrementellen PDT im Entwicklungsmodus
Bevor Sie eine neue inkrementelle PDT für Ihre Produktionsumgebung entwickeln, können Sie die PDT testen und sicherstellen, dass sie erstellt und inkrementiert. Für den Test einer inkrementellen PDT im Entwicklungsmodus:
Erstellen Sie ein Explore für die PDT:
- Verwenden Sie in einer zugehörigen Modelldatei den Parameter
include, um die Ansichtsdatei der PDT in die Modelldatei aufzunehmen. - Erstellen Sie in derselben Modelldatei mit dem
explore-Parameter ein Explore für die Ansicht der inkrementellen PDT.
include: "/views/e_faa_pdt.view" explore: e_faa_pdt {}- Verwenden Sie in einer zugehörigen Modelldatei den Parameter
Öffnen Sie die Explore der PDT. Wählen Sie dazu die Schaltfläche Dateiaktionen ansehen und dann den Namen eines Explores aus.

Wählen Sie im Explore einige Dimensionen oder Messwerte aus und klicken Sie auf Ausführen. Looker erstellt dann die gesamte PDT. Ist dies die erste Abfrage mit einer inkrementellen PDT, erstellt der PDT-Generator die gesamte PDT, um die ersten Daten abzurufen. Bei einer großen Tabelle kann diese erste Erstellung sehr viel Zeit in Anspruch nehmen, wie im Falle jeder großen Tabelle.
Mit den folgenden Möglichkeiten können Sie die Erstellung der ersten PDT bestätigen:
- Wenn Sie die Berechtigung
see_logshaben, können Sie im PDT-Ereignisprotokoll prüfen, ob die Tabelle erstellt wurde. Wenn Sie im PDT-Ereignisprotokoll keine PDT-Erstellungsereignisse sehen, prüfen Sie die Statusinformationen oben im Explore des PDT-Ereignisprotokolls. Wird dort „Aus Zwischenspeicher“ angezeigt, wählen Sie Zwischenspeicher leeren und aktualisieren, um aktuellere Informationen zu erhalten. - Außerdem können Sie in den Kommentaren der SQL-Registerkarte in der Leiste Daten des Explore klicken. Der Tab SQL zeigt die Abfrage und die Aktionen, die ausgeführt werden, wenn Sie die Abfrage im Explore ausführen. Wenn die Kommentare auf dem Tab SQL beispielsweise
lauten, wird diese Aktion ausgeführt, wenn Sie auf Ausführen klicken.-- generate derived table e_incremental_pdt
- Wenn Sie die Berechtigung
Nachdem Sie die PAT zum ersten Mal erstellt haben, können Sie über die Option Abgeleitete Tabellen neu erstellen und ausführen im Explore eine inkrementelle Erstellung der PAT auslösen.
Sie können mit denselben Methoden wie zuvor die inkrementelle Erstellung der PDT bestätigen:
- Wenn Sie die Berechtigung
see_logshaben, können Sie im PDT-Ereignisprotokoll diecreate increment complete-Ereignisse für die inkrementelle PDT aufrufen. Wird dieses Ereignis im PDT-Ereignisprotokoll nicht gezeigt und erscheint als Abfragestatus „Aus Zwischenspeicher“, wählen Sie Zwischenspeicher leeren und aktualisieren, um aktuellere Informationen zu erhalten. - Sehen Sie sich die Kommentare auf dem Tab SQL in der Leiste Daten des Explores an. In diesem Fall zeigen die Kommentare, dass die PDT inkrementiert wurde. Beispiel:
-- increment persistent derived table e_incremental_pdt to generation 2
- Wenn Sie die Berechtigung
Wenn Sie überprüft haben, dass die PDT korrekt erstellt und inkrementiert wird, und Sie den dedizierten Explore für die PDT nicht behalten möchten, können Sie die Parameter
exploreundincludeder PDT aus Ihrer Modelldatei entfernen oder auskommentieren.
Nach der Erstellung der PDT im Entwicklungsmodus wird dieselbe Tabelle für die Produktion genutzt, sobald Sie Ihre Änderungen bereitstellen, es sei denn, Sie führen weitere Änderungen an der Definition der Tabelle durch. Weitere Informationen finden Sie im Abschnitt Persistente Tabellen im Entwicklungsmodus auf der Dokumentationsseite Abgeleitete Tabellen in Looker.
Fehlerbehebung bei inkrementellen PDTs
In diesem Abschnitt werden einige häufige Probleme beschrieben, die bei der Verwendung inkrementeller PDTs auftreten können, sowie Schritte zur Fehlerbehebung und Behebung dieser Probleme.
Inkrementelle PDT kann nach Schemaänderung nicht erstellt werden
Wenn Ihre inkrementelle PDT eine SQL-basierte abgeleitete Tabelle ist und der Parameter sql einen Platzhalter wie SELECT * enthält, können Änderungen am zugrunde liegenden Datenbankschema (z. B. Hinzufügen oder Entfernen von Spalten oder Ändern des Datentyps einer Spalte) dazu führen, dass die PDT mit dem folgenden Fehler fehlschlägt:
SQL Error in incremental PDT: Query execution failed
Bearbeiten Sie die SELECT-Anweisung im Parameter sql, um stattdessen einzelne Spalten auszuwählen. Wenn Ihre SELECT-Klausel beispielsweise SELECT * lautet, ändern Sie sie in SELECT column1, column2, ....
Wenn sich Ihr Schema ändert und Sie Ihre inkrementelle PDT von Grund auf neu erstellen möchten, verwenden Sie den API-Aufruf start_pdt_build und fügen Sie den Parameter full_force_incremental hinzu.
Fensterfunktionen geben in einer inkrementellen PDT unerwartete Ergebnisse zurück
Die direkte Verwendung von SQL-Fensterfunktionen in einer inkrementellen PDT wird nicht unterstützt.
Da bei inkrementellen Builds nur die Zeilen für das letzte Zeitinkrement und alle konfigurierten increment_offset verarbeitet werden, kann das direkte Definieren einer Fensterfunktion in einer inkrementellen PDT (z. B. in einem derived_column- oder sql-Parameter) zu fehlenden Werten oder unerwarteten Berechnungen über Partitionsgrenzen hinweg führen, wenn die Tabelle inkrementiert wird.
Wenn Sie eine Fensterfunktion mit einer inkrementellen PDT verwenden möchten, definieren Sie die inkrementelle PDT als Basis- oder Zwischen-PDT ohne die Fensterfunktion. Verweisen Sie dann in einer separaten abgeleiteten Tabelle oder regulären PDT, die die Fensterfunktion anwendet, auf diese inkrementelle PDT.
Unterstützte Datenbankdialekte für inkrementelle PDTs
Damit Looker inkrementelle PDTs in Ihrem Looker-Projekt unterstützen kann, muss Ihr Datenbankdialekt Datendefinitionssprache (DDL)-Befehle unterstützen, mit denen Zeilen gelöscht und eingefügt werden können.
In der folgenden Tabelle ist zu sehen, welche Dialekte inkrementelle PDTs in der aktuellen Looker-Version unterstützen. Für Databricks werden inkrementelle PDTs nur in Databricks-Version 12.1 und höher unterstützt:
| Dialekt | Unterstützt? |
|---|---|
| Actian Avalanche | |
| Amazon Athena | |
| Amazon Aurora MySQL | |
| Amazon Redshift | |
| Amazon Redshift 2.1+ | |
| Amazon Redshift Serverless 2.1+ | |
| Apache Druid | |
| Apache Druid 0.13.x - 0.17.x | |
| Apache Druid 0.18+ | |
| Apache Hive 2.3+ | |
| Apache Hive 3.1.2+ | |
| Apache Spark 3+ | |
| ClickHouse | |
| ClickHouse 26+ | |
| Cloudera Impala 3.1+ | |
| Cloudera Impala 3.1+ with Native Driver | |
| Cloudera Impala with Native Driver | |
| DataVirtuality | |
| Databricks | |
| Denodo 7 | |
| Denodo 8 & 9 | |
| Dremio | |
| Dremio 11+ | |
| Dremio 26+ with Arrow Flight SQL | |
| Exasol | |
| Google BigQuery Legacy SQL | |
| Google BigQuery Standard SQL | |
| Google Cloud AlloyDB for PostgreSQL | |
| Google Cloud PostgreSQL | |
| Google Cloud SQL | |
| Google Spanner | |
| Greenplum | |
| HyperSQL | |
| IBM Netezza | |
| MariaDB | |
| Microsoft Azure PostgreSQL | |
| Microsoft Azure SQL Database | |
| Microsoft Azure Synapse Analytics | |
| Microsoft SQL Server 2008+ | |
| Microsoft SQL Server 2012+ | |
| Microsoft SQL Server 2016 | |
| Microsoft SQL Server 2017+ | |
| MongoBI | |
| MongoSQL | |
| MySQL | |
| MySQL 8.0.12+ | |
| Oracle | |
| Oracle ADWC | |
| PostgreSQL 9.5+ | |
| PostgreSQL pre-9.5 | |
| PrestoDB | |
| PrestoSQL | |
| SAP HANA | |
| SAP HANA 2+ | |
| SingleStore | |
| SingleStore 7+ | |
| Snowflake | |
| Teradata | |
| Trino | |
| Vector | |
| Vertica |