Di Looker, tabel turunan persisten (PDT) ditulis ke skema sementara database Anda. Looker mempertahankan dan membangun ulang PDT berdasarkan strategi persistensi-nya. Saat PDT dipicu untuk di-build ulang, Looker akan membangun ulang seluruh tabel secara default.
PDT inkremental adalah PDT yang dibuat Looker dengan menambahkan data baru ke tabel, bukan membangun ulang tabel secara keseluruhan:

Jika dialek Anda mendukung PDT inkremental, Anda dapat membuat jenis PDT berikut menjadi PDT inkremental:
Saat pertama kali Anda menjalankan kueri pada PDT inkremental, Looker akan membangun seluruh PDT untuk mendapatkan data awal. Jika tabelnya besar, build awal mungkin memerlukan waktu yang signifikan, seperti halnya membangun tabel besar. Setelah tabel awal dibuat, build berikutnya akan bersifat inkremental dan memerlukan waktu lebih singkat, jika PDT inkremental disiapkan secara strategis.
Perhatikan hal berikut untuk PDT inkremental:
- PDT inkremental hanya didukung untuk PDT yang menggunakan strategi persistensi berbasis pemicu (
datagroup_trigger,sql_trigger_value, atauinterval_trigger). PDT inkremental tidak didukung untuk PDT yang menggunakan strategi persistensipersist_for. - Untuk PDT berbasis SQL, kueri tabel harus ditentukan menggunakan parameter
sqluntuk digunakan sebagai PDT inkremental. PDT berbasis SQL yang ditentukan dengan parametersql_createatau parametercreate_processtidak dapat dibuat secara inkremental. Seperti yang dapat Anda lihat di Contoh 1 di halaman ini, Looker menggunakan perintah INSERT atau MERGE untuk membuat penambahan untuk PDT inkremental. Tabel turunan tidak dapat ditentukan menggunakan pernyataan Bahasa Definisi Data (DDL) kustom, karena Looker tidak akan dapat menentukan pernyataan DDL mana yang diperlukan untuk membuat penambahan yang akurat. - Tabel sumber PDT inkremental harus dioptimalkan untuk kueri berbasis waktu. Secara khusus, kolom berbasis waktu yang digunakan untuk kunci inkremental harus memiliki strategi pengoptimalan, seperti partisi, sortkey, indeks, atau strategi pengoptimalan apa pun yang didukung untuk dialek Anda. Pengoptimalan tabel sumber sangat direkomendasikan karena setiap kali tabel inkremental diperbarui, Looker akan mengkueri tabel sumber untuk menentukan nilai terbaru dari kolom berbasis waktu yang digunakan untuk kunci inkremental. Jika tabel sumber tidak dioptimalkan untuk kueri ini, kueri Looker untuk nilai terbaru mungkin akan lambat dan mahal.
- Fungsi jendela SQL tidak didukung secara langsung di PDT inkremental. Untuk menggunakan fungsi jendela dengan PDT inkremental, bangun PDT inkremental sebagai tabel dasar atau perantara tanpa fungsi jendela, lalu referensikan PDT inkremental tersebut dalam tabel turunan atau PDT terpisah yang menerapkan fungsi jendela.
Menentukan PDT inkremental
Anda dapat menggunakan parameter berikut untuk membuat PDT menjadi PDT inkremental:
increment_key(diperlukan untuk menjadikan PDT sebagai PDT inkremental): Menentukan jangka waktu untuk mengkueri data baru.{% incrementcondition %}Filter Liquid (diperlukan untuk membuat PDT berbasis SQL menjadi PDT inkremental; tidak berlaku untuk PDT berbasis LookML): Menghubungkan kunci inkremental ke kolom waktu database yang menjadi dasar kunci inkremental. Lihat halaman dokumentasiincrement_keyuntuk mengetahui informasi selengkapnya.increment_offset(opsional): Bilangan bulat yang menentukan jumlah jangka waktu sebelumnya (pada tingkat perincian kunci inkremental) yang di-build ulang untuk setiap build inkremental. Parameterincrement_offsetberguna jika ada data yang terlambat masuk, yang mana jangka waktu sebelumnya mungkin memiliki data baru yang tidak disertakan saat penambahan yang sesuai awalnya dibuat dan ditambahkan ke PDT.
Lihat halaman dokumentasi parameter increment_key untuk mengetahui contoh yang menunjukkan cara membuat PDT inkremental dari tabel turunan native persisten, tabel turunan berbasis SQL persisten, dan tabel gabungan.
Berikut adalah contoh sederhana file tampilan yang menentukan PDT berbasis LookML inkremental:
view: flights_lookml_incremental_pdt {
derived_table: {
indexes: ["id"]
increment_key: "departure_date"
increment_offset: 3
datagroup_trigger: flights_default_datagroup
distribution_style: all
explore_source: flights {
column: id {}
column: carrier {}
column: departure_date {}
}
}
dimension: id {
type: number
}
dimension: carrier {
type: string
}
dimension: departure_date {
type: date
}
}
Tabel ini akan dibuat secara keseluruhan saat kueri dijalankan untuk pertama kalinya. Setelah itu, PDT akan dibuat ulang secara bertahap dalam satu hari (increment_key: departure_date), kembali ke tiga hari (increment_offset: 3).
Kunci inkremen didasarkan pada dimensi departure_date, yang sebenarnya merupakan jangka waktu date dari grup dimensi departure. (Lihat halaman dokumentasi parameter dimension_group untuk ringkasan cara kerja grup dimensi.) Grup dimensi dan jangka waktu ditentukan dalam tabel virtual flights, yang merupakan explore_source untuk PDT ini. Berikut adalah cara grup dimensi departure ditentukan dalam file tampilan flights:
...
dimension_group: departure {
type: time
timeframes: [
raw,
date,
week,
month,
year
]
sql: ${TABLE}.dep_time ;;
}
...
Interaksi parameter inkremen dan strategi persistensi
Setelan increment_key dan increment_offset PDT tidak bergantung pada strategi persistensi PDT:
- Strategi persistensi PDT inkremental hanya menentukan kapan PDT bertambah. Builder PDT tidak mengubah PDT inkremental kecuali jika strategi persistensi tabel turunan dipicu, atau kecuali jika PDT dipicu secara manual dengan opsi Rebuild Derived Tables & Run di Eksplorasi.
- Saat PDT bertambah, builder PDT akan menentukan kapan data terbaru sebelumnya ditambahkan ke tabel, dalam hal penambahan waktu terbaru (jangka waktu yang ditentukan oleh parameter
increment_key). Berdasarkan hal tersebut, builder PDT akan memotong data ke awal penambahan waktu terbaru dalam tabel, lalu membuat penambahan terbaru dari sana. - Jika PDT memiliki parameter
increment_offset, builder PDT juga akan membangun ulang jumlah jangka waktu sebelumnya yang ditentukan dalam parameterincrement_offset. Jangka waktu sebelumnya dihitung mundur mulai dari awal penambahan waktu terbaru (jangka waktu yang ditentukan oleh parameterincrement_key).
Contoh skenario berikut mengilustrasikan cara PDT inkremental diperbarui, dengan menunjukkan interaksi increment_key, increment_offset, dan strategi persistensi.
Contoh 1
Contoh ini menggunakan PDT dengan properti berikut:
- Kunci penambahan: tanggal
- Increment offset: 3
- Strategi persistensi: dipicu sebulan sekali pada hari pertama setiap bulan
Berikut cara tabel ini akan diperbarui:
- Strategi persistensi bulanan berarti tabel dibuat secara otomatis sebulan sekali. Artinya, pada 1 Juni, misalnya, baris terakhir dalam tabel akan ditambahkan pada 1 Mei.
- Karena PDT ini memiliki kunci inkremental berdasarkan tanggal, pembuat PDT akan memotong 1 Mei kembali ke awal hari dan membuat ulang data untuk 1 Mei dan hingga hari ini, 1 Juni.
- Selain itu, PDT ini memiliki offset inkremental sebesar
3. Jadi, PDT builder juga membangun ulang data dari tiga jangka waktu (hari) sebelumnya sebelum 1 Mei. Hasilnya, data akan dibuat ulang untuk tanggal 28, 29, 30 April, dan hingga tanggal 1 Juni saat ini.
Dalam istilah SQL, berikut adalah perintah yang akan dijalankan oleh builder PDT pada 1 Juni untuk menentukan baris dari PDT yang ada yang harus dibuat ulang:
## Example SQL for BigQuery:
SELECT FORMAT_TIMESTAMP('%F %T',TIMESTAMP_ADD(MAX(pdt_name),INTERVAL -3 DAY))
## Example SQL for other dialects:
SELECT CAST(DATE_ADD(MAX(pdt_name),INTERVAL -3 DAY) AS CHAR)
Berikut adalah perintah SQL yang akan dijalankan oleh builder PDT pada 1 Juni untuk membuat inkremen terbaru:
## Example SQL for BigQuery:
MERGE INTO [pdt_name] USING (SELECT [columns]
WHERE created_at >= TIMESTAMP('4/28/21 12:00:00 AM'))
AS tmp_name ON FALSE
WHEN NOT MATCHED BY SOURCE AND created_date >= TIMESTAMP('4/28/21 12:00:00 AM')
THEN DELETE
WHEN NOT MATCHED THEN INSERT [columns]
## Example SQL for other dialects:
START TRANSACTION;
DELETE FROM [pdt_name]
WHERE created_date >= TIMESTAMP('4/28/21 12:00:00 AM');
INSERT INTO [pdt_name]
SELECT [columns]
FROM [source_table]
WHERE created_at >= TIMESTAMP('4/28/21 12:00:00 AM');
COMMIT;
Contoh 2
Contoh ini menggunakan PDT dengan properti berikut:
- Strategi persistensi: dipicu sekali sehari
- Kunci penambahan: bulan
- Increment offset: 0
Berikut adalah cara tabel ini akan diperbarui pada 1 Juni:
- Strategi persistensi harian berarti tabel dibuat secara otomatis sekali sehari. Pada 1 Juni, baris terakhir dalam tabel akan ditambahkan pada 31 Mei.
- Karena kunci inkremen didasarkan pada bulan, builder PDT akan memotong dari 31 Mei kembali ke awal bulan dan membangun ulang data untuk seluruh bulan Mei dan hingga hari ini, termasuk 1 Juni.
- Karena PDT ini tidak memiliki offset inkremental, tidak ada jangka waktu sebelumnya yang dibuat ulang.
Berikut adalah cara tabel ini akan diperbarui pada 2 Juni:
- Pada 2 Juni, baris terakhir pada tabel akan ditambahkan pada 1 Juni.
- Karena builder PDT akan memotong kembali ke awal bulan Juni, lalu membangun ulang data mulai 1 Juni hingga hari ini, data hanya akan dibangun ulang untuk 1 Juni dan 2 Juni.
- Karena PDT ini tidak memiliki offset inkremental, tidak ada jangka waktu sebelumnya yang dibuat ulang.
Contoh 3
Contoh ini menggunakan PDT dengan properti berikut:
- Kunci penambahan: bulan
- Increment offset: 3
- Strategi persistensi: dipicu sekali sehari
Skenario ini menggambarkan penyiapan yang buruk untuk PDT inkremental, karena merupakan PDT pemicu harian dengan offset tiga bulan. Artinya, data setidaknya tiga bulan akan dibuat ulang setiap hari, yang akan menjadi penggunaan PDT inkremental yang sangat tidak efisien. Namun, ini adalah skenario yang menarik untuk diperiksa sebagai cara memahami cara kerja PDT inkremental.
Berikut adalah cara tabel ini akan diperbarui pada 1 Juni:
- Strategi persistensi harian berarti tabel dibuat secara otomatis sekali sehari. Misalnya, pada 1 Juni, baris terakhir dalam tabel akan ditambahkan pada 31 Mei.
- Karena kunci inkremen didasarkan pada bulan, builder PDT akan memotong dari 31 Mei kembali ke awal bulan dan membangun ulang data untuk seluruh bulan Mei dan hingga hari ini, termasuk 1 Juni.
- Selain itu, PDT ini memiliki offset inkremental sebesar
3. Artinya, builder PDT juga akan membangun ulang data dari tiga jangka waktu (bulan) sebelumnya sebelum Mei. Hasilnya, data akan dibangun ulang dari Februari, Maret, April, dan hingga hari ini, 1 Juni.
Berikut adalah cara tabel ini akan diperbarui pada 2 Juni:
- Pada 2 Juni, baris terakhir dalam tabel akan ditambahkan pada 1 Juni.
- Builder PDT akan memotong bulan kembali ke 1 Juni dan membangun ulang data untuk bulan Juni, termasuk 2 Juni.
- Selain itu, karena offset inkremental, builder PDT akan membangun ulang data dari tiga bulan sebelumnya sebelum bulan Juni. Hasilnya, data akan dibuat ulang dari bulan Maret, April, Mei, dan hingga hari ini, 2 Juni.
Menguji PDT inkremental dalam Mode Pengembangan
Sebelum men-deploy PDT inkremental baru ke lingkungan produksi, Anda dapat menguji PDT untuk memastikan PDT tersebut di-build dan diinkrementasi. Untuk menguji PDT inkremental dalam Mode Pengembangan:
Buat Eksplorasi untuk PDT:
- Dalam file model terkait, gunakan parameter
includeuntuk menyertakan file tampilan PDT dalam file model. - Dalam file model yang sama, gunakan parameter
exploreuntuk membuat Eksplorasi untuk tampilan PDT inkremental.
include: "/views/e_faa_pdt.view" explore: e_faa_pdt {}- Dalam file model terkait, gunakan parameter
Buka Explore untuk PDT. Untuk melakukannya, pilih tombol See file actions, lalu pilih nama Explore.

Di Explore, pilih beberapa dimensi atau ukuran, lalu klik Run. Looker kemudian akan membangun seluruh PDT. Jika ini adalah kueri pertama yang Anda jalankan pada PDT inkremental, PDT builder akan membangun seluruh PDT untuk mendapatkan data awal. Jika tabelnya besar, build awal mungkin memerlukan waktu yang signifikan, seperti halnya membangun tabel besar.
Anda dapat memverifikasi bahwa PDT awal telah dibuat dengan cara berikut:
- Jika memiliki izin
see_logs, Anda dapat memverifikasi bahwa tabel telah dibuat dengan melihat di Log Peristiwa PDT. Jika Anda tidak melihat peristiwa pembuatan PDT di Log Peristiwa PDT, periksa informasi status di bagian atas Eksplorasi Log Peristiwa PDT. Jika tertulis "dari cache", Anda dapat memilih Hapus Cache & Muat Ulang untuk mendapatkan informasi yang lebih baru. - Atau, Anda dapat melihat komentar di tab SQL pada panel Data di Explore. Tab SQL menampilkan kueri dan tindakan yang akan dilakukan saat Anda menjalankan kueri di Eksplorasi. Misalnya, jika komentar di tab SQL bertuliskan
itulah tindakan yang akan dilakukan saat Anda mengklik Run.-- generate derived table e_incremental_pdt,
- Jika memiliki izin
Setelah Anda membuat build awal PDT, minta build inkremental PDT menggunakan opsi Rebuild Derived Tables & Run dari Explore.
Anda dapat menggunakan metode yang sama seperti sebelumnya untuk memverifikasi bahwa PDT dibuat secara inkremental:
- Jika memiliki izin
see_logs, Anda dapat menggunakan Log Peristiwa PDT untuk melihat peristiwacreate increment completeuntuk PDT inkremental. Jika Anda tidak melihat log peristiwa ini di PDT Event Log dan status kueri bertuliskan "from cache", pilih Clear Cache & Refresh untuk mendapatkan informasi yang lebih baru. - Lihat komentar di tab SQL pada panel Data di Explore. Dalam hal ini, komentar akan menunjukkan bahwa PDT telah ditingkatkan. Contoh:
-- increment persistent derived table e_incremental_pdt to generation 2
- Jika memiliki izin
Setelah memverifikasi bahwa PDT dibuat dan diinkrementasi dengan benar, jika Anda tidak ingin mempertahankan Eksplorasi khusus untuk PDT, Anda dapat menghapus atau menjadikan parameter
exploredanincludePDT sebagai komentar dari file model Anda.
Setelah PDT dibuat dalam Mode Pengembangan, tabel yang sama akan digunakan untuk produksi setelah Anda men-deploy perubahan, kecuali jika Anda membuat perubahan lebih lanjut pada definisi tabel. Lihat bagian Tabel yang dipertahankan dalam Mode Pengembangan di halaman dokumentasi Tabel turunan di Looker untuk mengetahui informasi selengkapnya.
Memecahkan masalah PDT inkremental
Bagian ini menjelaskan beberapa masalah umum yang mungkin Anda alami saat menggunakan PDT inkremental, serta langkah-langkah untuk memecahkan masalah dan menyelesaikan masalah tersebut.
PDT inkremental gagal dibuat setelah perubahan skema
Jika PDT inkremental Anda adalah tabel turunan berbasis SQL, dan parameter sql menyertakan karakter pengganti seperti SELECT *, perubahan pada skema database pokok (seperti penambahan kolom, penghapusan kolom, atau perubahan jenis data kolom) dapat menyebabkan PDT gagal dengan error berikut:
SQL Error in incremental PDT: Query execution failed
Untuk mengatasi masalah ini, edit pernyataan SELECT dalam parameter sql untuk memilih kolom satu per satu. Misalnya, jika klausa select Anda adalah SELECT *, ubah menjadi SELECT column1, column2, ....
Jika skema Anda berubah dan Anda ingin membuat ulang PDT inkremental dari awal, gunakan panggilan API start_pdt_build, dan sertakan parameter full_force_incremental.
Fungsi jendela menampilkan hasil yang tidak terduga dalam PDT inkremental
Penggunaan fungsi jendela SQL secara langsung dalam PDT inkremental tidak didukung.
Karena build inkremental hanya memproses baris untuk penambahan waktu terbaru
dan increment_offset yang dikonfigurasi,
menentukan fungsi jendela secara langsung dalam PDT inkremental (seperti dalam
parameter derived_column atau sql) dapat menyebabkan nilai yang hilang atau penghitungan yang tidak terduga
di seluruh batas partisi saat tabel bertambah.
Untuk menggunakan fungsi jendela dengan PDT inkremental, tentukan PDT inkremental sebagai PDT dasar atau perantara tanpa fungsi jendela, lalu referensikan PDT inkremental tersebut dalam tabel turunan terpisah atau PDT reguler yang menerapkan fungsi jendela.
Dialek database yang didukung untuk PDT inkremental
Agar Looker dapat mendukung PDT inkremental di project Looker Anda, dialek database Anda harus mendukung perintah Bahasa Definisi Data (DDL) yang memungkinkan penghapusan dan penyisipan baris.
Tabel berikut menunjukkan dialek yang mendukung PDT inkremental dalam rilis terbaru Looker (untuk Databricks, PDT Inkremental hanya didukung di Databricks versi 12.1 dan yang lebih tinggi):
| Dialek | Didukung? |
|---|---|
| Actian Avalanche | |
| Amazon Athena | |
| Amazon Aurora MySQL | |
| Amazon Redshift | |
| Amazon Redshift 2.1+ | |
| Amazon Redshift Serverless 2.1+ | |
| Apache Druid | |
| Apache Druid 0.13.x - 0.17.x | |
| Apache Druid 0.18+ | |
| Apache Hive 2.3+ | |
| Apache Hive 3.1.2+ | |
| Apache Spark 3+ | |
| ClickHouse | |
| ClickHouse 26+ | |
| Cloudera Impala 3.1+ | |
| Cloudera Impala 3.1+ with Native Driver | |
| Cloudera Impala with Native Driver | |
| DataVirtuality | |
| Databricks | |
| Denodo 7 | |
| Denodo 8 & 9 | |
| Dremio | |
| Dremio 11+ | |
| Dremio 26+ with Arrow Flight SQL | |
| Exasol | |
| Google BigQuery Legacy SQL | |
| Google BigQuery Standard SQL | |
| Google Cloud AlloyDB for PostgreSQL | |
| Google Cloud PostgreSQL | |
| Google Cloud SQL | |
| Google Spanner | |
| Greenplum | |
| HyperSQL | |
| IBM Netezza | |
| MariaDB | |
| Microsoft Azure PostgreSQL | |
| Microsoft Azure SQL Database | |
| Microsoft Azure Synapse Analytics | |
| Microsoft SQL Server 2008+ | |
| Microsoft SQL Server 2012+ | |
| Microsoft SQL Server 2016 | |
| Microsoft SQL Server 2017+ | |
| MongoBI | |
| MongoSQL | |
| MySQL | |
| MySQL 8.0.12+ | |
| Oracle | |
| Oracle ADWC | |
| PostgreSQL 9.5+ | |
| PostgreSQL pre-9.5 | |
| PrestoDB | |
| PrestoSQL | |
| SAP HANA | |
| SAP HANA 2+ | |
| SingleStore | |
| SingleStore 7+ | |
| Snowflake | |
| Teradata | |
| Trino | |
| Vector | |
| Vertica |