Mengonfigurasi kompilasi

Dokumen ini menunjukkan cara melakukan hal berikut di Dataform:

Sebelum memulai

  1. Di konsol Google Cloud , buka halaman Dataform.

    Buka Dataform

  2. Pilih atau buat repositori.

  3. Pilih atau buat ruang kerja pengembangan.

  4. Opsional: Untuk mengganti project Google Cloud default dalam konfigurasi rilis, berikan akses akun layanan kustom Anda dalam project yang ingin Anda gunakan.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menyelesaikan tugas dalam dokumen ini, minta administrator untuk memberi Anda peran IAM berikut:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk meningkatkan keamanan penjadwalan, lihat Menerapkan izin penjadwalan yang ditingkatkan.

Agar dapat memperbarui versi rilis konfigurasi rilis untuk repositori Dataform, Anda harus memberikan izin iam.serviceAccounts.actAs kepada agen layanan Dataform untuk setiap akun layanan kustom dalam konfigurasi alur kerja yang menggunakan konfigurasi rilis ini. Izin ini tersedia dalam peran Pengguna Akun Layanan (roles/iam.serviceAccountUser). Untuk mengetahui informasi selengkapnya, lihat Memberikan peran IAM yang diperlukan.

Pengantar siklus proses alur kerja di Dataform

Bagian ini menjelaskan siklus proses alur kerja di Dataform dan cara mengonfigurasi kompilasi dan eksekusi dalam Dataform.

Siklus proses alur kerja Dataform terdiri dari fase berikut:

Pengembangan
Anda mengembangkan alur kerja di ruang kerja Dataform.
Kompilasi

Dataform mengompilasi kode alur kerja di ruang kerja Anda ke SQL secara real time, sehingga membuat hasil kompilasi ruang kerja yang dapat Anda jalankan di BigQuery. Dataform menggunakan setelan yang Anda tentukan dalam file setelan alur kerja untuk membuat hasil kompilasi.

Kompilasi Dataform bersifat hermetis untuk memastikan konsistensi kompilasi, artinya kode yang sama akan dikompilasi ke hasil kompilasi SQL yang sama setiap saat. Dataform mengompilasi kode Anda di lingkungan sandbox tanpa akses internet. Tidak ada tindakan tambahan, seperti memanggil API eksternal, yang tersedia selama kompilasi.

Eksekusi

Dalam pemanggilan alur kerja, Dataform menjalankan hasil kompilasi ruang kerja di BigQuery.

Untuk menyesuaikan siklus proses alur kerja Dataform dengan kebutuhan Anda, Anda dapat mengonfigurasi hasil kompilasi untuk memengaruhi tempat dan cara Dataform menjalankan alur kerja Anda. Kemudian, Anda dapat memicu atau menjadwalkan eksekusi secara manual untuk memengaruhi kapan Dataform menjalankan seluruh alur kerja atau elemen yang dipilih.

Cara mengonfigurasi kompilasi Dataform

Secara default, Dataform menggunakan setelan dalam file setelan alur kerja untuk membuat hasil kompilasi. Anda dapat mengganti setelan default dengan penggantian kompilasi untuk membuat hasil kompilasi kustom. Anda kemudian dapat memicu eksekusi hasil kompilasi kustom secara manual, atau menjadwalkan eksekusi.

Dataform menyediakan opsi berikut untuk mengonfigurasi hasil kompilasi:

Penggantian kompilasi Workspace
Anda dapat mengonfigurasi penggantian kompilasi yang berlaku untuk semua ruang kerja dalam repositori. Anda dapat menggunakan penggantian kompilasi ruang kerja untuk membuat lingkungan pengembangan yang terisolasi.
Konfigurasi rilis
Anda dapat membuat konfigurasi rilis untuk mengonfigurasi template guna membuat hasil kompilasi repositori Dataform. Kemudian, Anda dapat membuat konfigurasi alur kerja untuk menjadwalkan eksekusi hasil kompilasi yang dibuat dalam konfigurasi rilis yang dipilih.
Penggantian kompilasi Dataform API
Anda dapat meneruskan permintaan API Dataform di terminal untuk membuat dan menjalankan satu hasil kompilasi dengan penggantian kompilasi.

Mengonfigurasi penggantian kompilasi ruang kerja

Dengan penggantian kompilasi ruang kerja, Anda dapat membuat penggantian kompilasi untuk semua ruang kerja di repositori Dataform. Anda dapat membuat satu konfigurasi penggantian kompilasi ruang kerja untuk setiap repositori.

Saat Anda memicu eksekusi secara manual di ruang kerja dalam repositori dengan penggantian kompilasi ruang kerja, Dataform akan menerapkan penggantian ini ke hasil kompilasi ruang kerja.

Anda dapat mengonfigurasi penggantian kompilasi ruang kerja berikut:

  • Google Cloud project tempat Dataform menjalankan konten ruang kerja
  • Awalan tabel
  • Akhiran skema

Anda dapat menggunakan penggantian kompilasi ruang kerja untuk membuat lingkungan pengembangan yang terisolasi dengan mengisolasi hasil kompilasi ruang kerja di BigQuery dengan penggantian kompilasi dinamis. Penggantian kompilasi awalan tabel dinamis dan akhiran skema berisi variabel ${workspaceName}. Saat Anda memicu eksekusi di ruang kerja, Dataform akan mengganti variabel ${workspaceName} dengan nama ruang kerja saat ini, sehingga membuat penggantian kompilasi yang unik untuk ruang kerja tersebut.

Perlu diingat bahwa Anda tidak dapat menjadwalkan eksekusi hasil kompilasi yang dibuat dengan penggantian kompilasi ruang kerja.

Membuat konfigurasi rilis

Dengan konfigurasi rilis, Anda dapat mengonfigurasi template setelan untuk membuat hasil kompilasi repositori.

Dalam konfigurasi rilis, Anda dapat mengonfigurasi penggantian kompilasi setelan alur kerja, variabel kompilasi, dan frekuensi pembuatan hasil kompilasi dari seluruh repositori Anda.

Dalam konfigurasi rilis, Anda dapat mengonfigurasi penggantian kompilasi berikut:

Anda dapat membuat beberapa konfigurasi rilis di repositori Dataform, satu untuk setiap tahap siklus proses pengembangan, sehingga membuat hasil kompilasi repositori yang terisolasi.

Selanjutnya, Anda dapat membuat konfigurasi alur kerja untuk menjadwalkan eksekusi hasil kompilasi yang dibuat dalam konfigurasi rilis yang dipilih.

Anda juga dapat memicu eksekusi hasil kompilasi dalam konfigurasi rilis yang dipilih secara manual.

Mengonfigurasi satu hasil kompilasi dengan penggantian kompilasi Dataform API

Dengan meneruskan permintaan API Dataform di terminal, Anda dapat mengonfigurasi penggantian kompilasi untuk satu hasil kompilasi.

Dalam permintaan compilationResults.create, Anda dapat membuat satu hasil kompilasi ruang kerja Dataform atau commitish Git yang ditentukan, yang dapat berupa cabang, tag, atau SHA commit.

Dalam objek CodeCompilationConfig permintaan compilationResults.create, Anda dapat mengonfigurasi penggantian kompilasi untuk permintaan kompilasi.

Anda dapat mengonfigurasi penggantian kompilasi Dataform API berikut:

Perlu diingat bahwa penggantian kompilasi Dataform API berlaku untuk satu hasil kompilasi dan satu eksekusi. Anda tidak dapat menggunakannya untuk menjadwalkan eksekusi Dataform.

Anda dapat menjalankan hasil kompilasi dalam permintaan workflowInvocations.create.

Cara mengonfigurasi eksekusi Dataform

Dataform menyediakan opsi berikut untuk mengonfigurasi eksekusi:

Eksekusi manual di ruang kerja
Anda dapat memicu eksekusi instan alur kerja secara manual di ruang kerja Dataform, di luar jadwal apa pun. Anda dapat menjalankan tindakan yang dipilih dalam alur kerja.
Konfigurasi alur kerja
Anda dapat menjadwalkan eksekusi hasil kompilasi yang dibuat dalam konfigurasi rilis yang dipilih. Anda dapat memilih tindakan alur kerja yang akan dijalankan, serta menetapkan frekuensi dan zona waktu eksekusi.

Memicu eksekusi instan di ruang kerja

Di ruang kerja Dataform, Anda dapat memicu eksekusi instan alur kerja secara manual di ruang kerja, di luar jadwal apa pun.

Anda dapat menjalankan elemen alur kerja berikut secara manual di ruang kerja Anda:

Jika repositori Anda berisi penggantian kompilasi ruang kerja, Anda dapat melihat penggantian kompilasi yang akan diterapkan Dataform ke hasil kompilasi ruang kerja.

Membuat konfigurasi alur kerja

Dengan konfigurasi alur kerja, Anda dapat menjadwalkan eksekusi hasil kompilasi dari konfigurasi rilis yang dipilih. Anda dapat membuat beberapa konfigurasi alur kerja di repositori Dataform.

Dalam konfigurasi alur kerja, Anda dapat mengonfigurasi setelan eksekusi berikut:

  • Konfigurasi rilis kompilasi yang diterapkan.
  • Pemilihan tindakan alur kerja yang akan dijalankan.
  • Jadwal dan zona waktu eksekusi.

Anda dapat memilih tindakan alur kerja berikut untuk dijalankan:

  • Semua tindakan
  • Tindakan yang dipilih
  • Tindakan dengan tag yang dipilih

Kemudian, selama eksekusi terjadwal konfigurasi alur kerja Anda, Dataform men-deploy pilihan tindakan Anda dari hasil kompilasi yang diterapkan ke BigQuery.

Konfigurasi rilis dan konfigurasi alur kerja Dataform memungkinkan Anda mengonfigurasi kompilasi dan menjadwalkan eksekusi dalam Dataform, tanpa perlu mengandalkan layanan tambahan.

Akhir masa berlaku resource siklus proses

Dataform menyimpan hasil kompilasi dan pemanggilan alur kerja selama jangka waktu tertentu.

Masa berlaku pemanggilan alur kerja

Pemanggilan alur kerja akan berakhir setelah 90 hari, atau saat Anda menghapusnya secara manual.

Dalam konfigurasi alur kerja, Anda dapat melihat daftar pemanggilan alur kerja terbaru yang dibuat oleh konfigurasi. Saat pemanggilan alur kerja yang dibuat oleh konfigurasi alur kerja berakhir, Dataform akan menghapus pemanggilan alur kerja tersebut dari daftar pemanggilan terbaru.

Masa berlaku hasil kompilasi

Masa berlaku hasil kompilasi bergantung pada apakah hasil tersebut dibuat di ruang kerja pengembangan, dalam konfigurasi rilis, atau oleh pemanggilan alur kerja.

Saat Anda mengembangkan alur kerja di ruang kerja Dataform, Dataform mengompilasi kode Anda menjadi hasil kompilasi secara real time untuk memberikan validasi kueri. Hasil kompilasi yang dibuat dengan cara ini akan berakhir masa berlakunya setelah 24 jam.

Dalam konfigurasi rilis, hasil kompilasi terbaru menjadi hasil kompilasi aktif. Hasil kompilasi baru akan menggantikan hasil kompilasi aktif saat ini. Dataform mempertahankan hasil kompilasi langsung hingga diganti dengan hasil kompilasi baru. Hasil kompilasi yang diganti akan berakhir masa berlakunya dalam waktu hingga 24 jam.

Dataform menghapus hasil kompilasi yang sudah tidak berlaku dari daftar hasil kompilasi sebelumnya di halaman Details konfigurasi rilis.

Dataform mempertahankan hasil kompilasi yang dibuat oleh pemanggilan alur kerja selama seluruh masa pemanggilan alur kerja, hingga 24 jam setelah pemanggilan alur kerja berakhir atau dihapus.

Membuat penggantian kompilasi ruang kerja

Bagian ini menunjukkan cara membuat penggantian kompilasi ruang kerja untuk mengisolasi tabel dan tampilan yang dibuat dari ruang kerja Dataform Anda di BigQuery. Anda dapat menggunakan penggantian kompilasi ruang kerja untuk membuat lingkungan pengembangan Dataform yang terisolasi.

Saat Anda mengembangkan kode alur kerja di ruang kerja Dataform, Dataform mengompilasi kode di ruang kerja Anda secara real-time untuk membuat hasil kompilasi ruang kerja. Dataform menggunakan setelan yang ditentukan dalam file setelan alur kerja untuk membuat hasil kompilasi ruang kerja. Kemudian, saat Anda memicu eksekusi di ruang kerja, Dataform akan menjalankan hasil kompilasi ruang kerja di BigQuery.

Untuk mengganti setelan default yang ditetapkan di setelan alur kerja untuk semua ruang kerja di repositori, Anda dapat membuat penggantian kompilasi ruang kerja.

Dengan penggantian kompilasi ruang kerja, Anda dapat mengganti setelan berikut untuk semua ruang kerja di repositori Anda:

Project

Project Google Cloud tempat Dataform menjalankan hasil kompilasi ruang kerja, yang ditetapkan di workflow_settings.yaml sebagai defaultProject atau di dataform.json sebagai defaultDatabase.

Awalan tabel

Awalan kustom yang ditambahkan ke semua nama tabel di semua ruang kerja dalam repositori.

Akhiran skema

Akhiran kustom yang ditambahkan ke skema tabel. Tetapkan sebagai defaultDataset di workflow_settings.yaml, defaultSchema di dataform.json, atau di parameter schema di blok config tabel.

Untuk membuat lingkungan pengembangan yang terisolasi, Anda dapat mengisolasi ruang kerja dengan penggantian kompilasi yang unik. Anda dapat mengubah awalan tabel dan penggantian kompilasi akhiran skema secara dinamis dengan variabel ${workspaceName}.

Saat Anda memicu eksekusi secara manual di ruang kerja, variabel ${workspaceName} memasukkan nama ruang kerja ke dalam penggantian kompilasi ruang kerja.

Saat Anda menetapkan ${workspaceName} sebagai awalan tabel, Dataform akan menambahkan nama ruang kerja ke nama semua tabel di ruang kerja. Setelah eksekusi, di BigQuery, Anda dapat mengidentifikasi ruang kerja asal tabel.

Saat Anda menetapkan ${workspaceName} sebagai akhiran skema, Dataform akan menambahkan nama ruang kerja ke defaultSchema, sehingga membuat skema kustom yang dikhususkan untuk ruang kerja tersebut. Setelah eksekusi, di BigQuery, Anda dapat menemukan semua tabel yang dijalankan dari ruang kerja tertentu dalam skema khusus.

Contoh penggantian kompilasi ruang kerja dinamis

Contoh berikut menunjukkan penggantian kompilasi ruang kerja dinamis yang diterapkan ke repositori yang berisi ruang kerja yang diberi nama sesuai dengan developer yang mengerjakan repositori: Sasha dan Kai.

Tujuan penggantian kompilasi ruang kerja dalam contoh ini adalah untuk membuat lingkungan pengembangan yang terisolasi bagi Sasha dan Kai.

Setelan default berikut ditetapkan di workflow_settings.yaml:

  • defaultProject : analytics
  • defaultDataset: dataform

Penggantian kompilasi ruang kerja berikut membuat awalan tabel dinamis dan akhiran skema untuk setiap ruang kerja di repositori:

  • ID Project Google Cloud: analytics_dev
  • Awalan tabel: ${workspaceName}
  • Akhiran skema: ${workspaceName}

Saat Sasha memicu eksekusi secara manual di ruang kerja Sasha, Dataform menjalankan kontennya dengan setelan berikut:

  • Google Cloud project: analytics_dev
  • Skema: dataform_sasha
  • Nama tabel: sasha_name, misalnya, sasha_orders

Saat Kai memicu eksekusi secara manual di ruang kerja Kai, Dataform menjalankan kontennya dengan setelan berikut:

  • Google Cloud project: analytics_dev
  • Skema: dataform_kai
  • Nama tabel: kai_name, misalnya, kai_orders

Membuat penggantian kompilasi ruang kerja

Untuk membuat penggantian kompilasi ruang kerja Dataform, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Settings.
  2. Klik Edit.
  3. Di panel Workspace compilation overrides, di kolom Google Cloud Project ID, masukkan ID project.
  4. Di kolom Table prefix, masukkan awalan untuk semua nama tabel.
    1. Opsional: Untuk membuat awalan tabel dinamis yang unik untuk setiap ruang kerja, masukkan ${workspaceName} sebagai awalan tabel.
  5. Di kolom Schema suffix, masukkan akhiran yang akan ditambahkan ke skema tabel atau tampilan yang dibuat.
    1. Opsional: Untuk membuat akhiran skema dinamis yang unik untuk setiap ruang kerja, masukkan ${workspaceName} sebagai akhiran tabel.
  6. Klik Simpan.

Dataform menerapkan penggantian kompilasi ruang kerja ke semua ruang kerja di repositori Anda.

Mengedit penggantian kompilasi ruang kerja

Untuk mengedit penggantian kompilasi ruang kerja Dataform, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Settings.
  2. Klik Edit.
  3. Edit penggantian kompilasi ruang kerja, lalu klik Save.

Menghapus penggantian kompilasi ruang kerja

Untuk menghapus penggantian kompilasi ruang kerja Dataform, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Settings.
  2. Klik Edit.
  3. Di panel Workspace compilation overrides, klik Clear all, lalu klik Save.

Mengonfigurasi penggantian kompilasi dengan Dataform API

Bagian ini menunjukkan cara membuat dan menjalankan hasil kompilasi dengan penggantian kompilasi menggunakan Dataform API.

Tentang penggantian kompilasi Dataform API

Untuk menjalankan alur kerja, Dataform mengompilasi kode Anda ke SQL untuk membuat hasil kompilasi. Kemudian, selama pemanggilan alur kerja, Dataform menjalankan hasil kompilasi di BigQuery.

Secara default, Dataform menggunakan setelan dalam file setelan alur kerja untuk membuat hasil kompilasi. Untuk mengisolasi data yang dijalankan pada berbagai tahap siklus proses pengembangan, Anda dapat mengganti setelan default dengan penggantian kompilasi.

Dengan meneruskan permintaan API Dataform di terminal, Anda dapat membuat dan menjalankan satu hasil kompilasi dengan penggantian kompilasi. Anda dapat membuat hasil kompilasi ruang kerja atau commitish Git yang dipilih, seperti cabang, tag, atau SHA commit.

Untuk membuat hasil kompilasi dengan penggantian kompilasi, Anda perlu mengajukan permintaan compilationResults.create Dataform API. Dalam permintaan, Anda harus menentukan sumber, yang harus berupa workspace atau commitish Git, agar Dataform dapat mengompilasi ke dalam hasil kompilasi. Dalam objek CodeCompilationConfig permintaan compilationResults.create, Anda dapat mengonfigurasi penggantian kompilasi.

Kemudian, Anda dapat menjalankan hasil kompilasi yang dibuat dalam permintaan workflowInvocations.create Dataform API.

Anda dapat mengonfigurasi penggantian kompilasi Dataform API berikut:

Google Cloud project

Project tempat Dataform menjalankan hasil kompilasi, yang ditetapkan dalam file workflow_settings.yaml sebagai properti defaultProject atau dalam file dataform.json sebagai properti defaultDatabase.

Awalan tabel

Awalan kustom yang ditambahkan ke semua nama tabel dalam hasil kompilasi.

Akhiran skema

Akhiran kustom yang ditambahkan ke skema tabel yang ditentukan dalam properti defaultDataset di file workflow_settings.yaml, properti defaultSchema di file dataform.json, atau dalam parameter schema di blok config tabel.

Nilai variabel kompilasi

Nilai variabel kompilasi yang akan digunakan dalam hasil kompilasi. Anda dapat menggunakan variabel kompilasi untuk menjalankan tabel secara bersyarat.

Sebagai alternatif untuk penggantian kompilasi Dataform API yang hanya dapat Anda gunakan untuk satu hasil kompilasi, Anda dapat mengonfigurasi penggantian kompilasi ruang kerja di konsol Google Cloud .

Untuk mempelajari cara alternatif mengonfigurasi penggantian kompilasi di Dataform, lihat Pengantar siklus proses alur kerja di Dataform.

Menetapkan sumber hasil kompilasi

Untuk mengajukan permintaan compilationResults.create Dataform API, Anda harus menentukan sumber untuk hasil kompilasi.

Anda dapat menetapkan ruang kerja Dataform atau cabang Git, tag Git, atau SHA commit Git sebagai sumber dalam permintaan compilationResults.create.

Menetapkan ruang kerja sebagai sumber hasil kompilasi

  • Dalam permintaan compilationResults.create, isi properti workspace dengan jalur ruang kerja Dataform yang dipilih dalam format berikut:

    {
"workspace": "projects/PROJECT_NAME/locations/LOCATION/repositories/REPOSITORY_NAME/workspaces/WORKSPACE_NAME"
}

    Ganti kode berikut:

    • PROJECT_NAME: nama project Google Cloud Anda.
    • LOCATION: lokasi repositori Dataform Anda, yang ditetapkan di setelan alur kerja.
    • REPOSITORY_NAME: nama repositori Dataform Anda.
    • WORKSPACE_NAME: nama ruang kerja Dataform Anda.

Contoh kode berikut menunjukkan properti workspace dalam permintaan compilationResults.create yang ditetapkan ke ruang kerja bernama "sales-test":

{
"workspace": "projects/analytics/locations/europe-west4/repositories/sales/workspaces/sales-test"
}

Menetapkan commitish Git sebagai sumber hasil kompilasi

  • Dalam permintaan compilationResults.create, isi properti gitCommitish dengan cabang Git, tag, atau SHA commit yang dipilih dalam format berikut:

    {
  "gitCommitish": "GIT_COMMITISH"
}

    Ganti GIT_COMMITISH dengan cabang Git, tag Git, atau SHA commit Git yang dipilih untuk hasil kompilasi.

Contoh kode berikut menunjukkan properti gitCommitish dalam permintaan compilationResults.create yang ditetapkan ke "staging":

{
  "gitCommitish": "staging"
}

Mengganti project default

Untuk membuat tabel staging atau produksi di project Google Cloud yang terpisah dari project yang digunakan untuk pengembangan, Anda dapat meneruskan project ID yang berbeda dalam objek CodeCompilationConfig dalam permintaan compilationResults.create Dataform API.

Meneruskan project ID default terpisah dalam permintaan compilationResults.create akan menggantikan project ID default yang dikonfigurasi dalam file setelan alur kerja, tetapi tidak menggantikan project ID yang dikonfigurasi dalam tabel individual.

  • Untuk mengganti project ID default, tetapkan properti defaultDatabase ke project ID yang dipilih di objek CodeCompilationConfig dalam format berikut:

    {
  "codeCompilationConfig": {
    "defaultDatabase": "PROJECT_NAME"
  }
}

    Ganti PROJECT_NAME dengan project ID yang ingin Anda tetapkan untuk hasil kompilasi.

Menambahkan awalan tabel

Untuk mengidentifikasi tabel dengan cepat dari hasil kompilasi, Anda dapat menambahkan awalan ke semua nama tabel dalam hasil kompilasi dengan meneruskan awalan tabel di objek CodeCompilationConfig dalam permintaan compilationResults.create Dataform API.

  • Untuk menambahkan awalan tabel, tetapkan properti tablePrefix di objek CodeCompilationConfig dalam format berikut:

    {
  "codeCompilationConfig": {
    "tablePrefix": "PREFIX",
  }
}

    Ganti PREFIX dengan awalan yang ingin Anda tambahkan, misalnya, staging.

    Misalnya, jika nama tabel Anda adalah table_name, Dataform akan membuat tabel dengan nama staging_table_name.

Menambahkan akhiran skema

Untuk memisahkan data pengembangan, staging, dan produksi, Anda dapat menambahkan akhiran ke skema dalam hasil kompilasi dengan meneruskan akhiran skema di objek CodeCompilationConfig dalam permintaan compilationResults.create Dataform API.

  • Untuk menambahkan akhiran skema, tetapkan properti schemaSuffix di objek CodeCompilationConfig dalam format berikut:

    {
  "codeCompilationConfig": {
    "schemaSuffix": "SUFFIX",
  }
}

    Ganti SUFFIX dengan akhiran yang ingin Anda tambahkan, misalnya, _staging.

    Misalnya, jika properti defaultDataset Anda dalam file workflow_settings.yaml ditetapkan ke dataform, Dataform akan membuat tabel dalam skema dataform_staging.

Menjalankan file yang dipilih secara bersyarat dengan variabel kompilasi

Untuk menjalankan tabel yang dipilih hanya dalam setelan eksekusi tertentu, Anda dapat membuat variabel kompilasi untuk setelan eksekusi, lalu meneruskan nilainya dalam objek CodeCompilationConfig di permintaan compilationResults.create Dataform API.

Untuk menjalankan tabel secara bersyarat dalam setelan eksekusi tertentu menggunakan Dataform API, ikuti langkah-langkah berikut:

  1. Buat variabel kompilasi dan tambahkan ke tabel yang dipilih.

  2. Tetapkan pasangan nilai kunci YOUR_VARIABLE dan VALUE di blok codeCompilationConfig permintaan kompilasi Dataform API dalam format berikut:

    {
  "codeCompilationConfig": {
    "vars": {
      "YOUR_VARIABLE": "VALUE"
    }
  }
}

  3. Ganti YOUR_VARIABLE dengan nama variabel Anda, misalnya executionSetting.

  4. Ganti VALUE dengan nilai variabel untuk hasil kompilasi ini yang memenuhi kondisi when yang ditetapkan dalam tabel yang dipilih.

Contoh kode berikut menunjukkan variabel executionSetting yang diteruskan ke permintaan kompilasi Dataform API:

{
  "gitCommitish": "staging",
  "codeCompilationConfig": {
    "vars": {
      "executionSetting": "staging"
    }
  }
}

Menjalankan hasil kompilasi dengan penggantian kompilasi

Contoh kode berikut menunjukkan ID hasil kompilasi yang diteruskan dalam permintaan workflowInvocations.create:

{
  "compilationResult": "projects/my-project-name/locations/europe-west4/repositories/my-repository-name/compilationResults/7646b4ed-ac8e-447f-93cf-63c43249ff11"
}

Membuat konfigurasi rilis

Bagian ini menunjukkan cara membuat konfigurasi rilis di Dataform untuk mengonfigurasi template setelan kompilasi, yang dapat Anda jalankan sesuai jadwal. Anda dapat menggunakan konfigurasi rilis untuk mengonfigurasi lingkungan eksekusi, misalnya, staging dan produksi.

Untuk menjalankan alur kerja di BigQuery, Dataform mengompilasi kode alur kerja SQL menjadi hasil kompilasi. Proses ini terjadi secara otomatis saat Anda mengembangkan alur kerja di ruang kerja Dataform.

Konfigurasi rilis memungkinkan Anda menyesuaikan hasil kompilasi. Anda dapat menggunakannya untuk membuat lingkungan eksekusi, misalnya, staging.

Setelan konfigurasi rilis

Dalam konfigurasi rilis, Anda dapat mengonfigurasi penggantian kompilasi setelan alur kerja, menetapkan variabel kompilasi, dan menetapkan frekuensi pembuatan hasil kompilasi.

Konfigurasi rilis Dataform berisi setelan kompilasi berikut:

Setelan rilis
ID rilis, commitish Git untuk hasil kompilasi, seperti cabang, tag, atau SHA commit, dan frekuensi pembuatan hasil kompilasi. Frekuensi adalah setelan opsional. Jika ditetapkan, frekuensi minimumnya adalah 1 jam.
Penggantian kompilasi
Penggantian Google Cloud project, awalan tabel, akhiran skema, dan variabel kompilasi yang ditentukan dalam setelan alur kerja.

Cara kerja konfigurasi rilis

Dataform membuat hasil kompilasi dari konfigurasi rilis pada frekuensi yang ditentukan, atau saat Anda memicu kompilasi. Frekuensi adalah setelan opsional dan tidak diperlukan untuk membuat konfigurasi rilis. Jika ditetapkan, frekuensi minimumnya adalah 1 jam. Anda dapat memicu kompilasi secara manual di halaman Release configuration details, atau memicu kompilasi dengan metode releaseConfigs Dataform API.

Selama kompilasi, Dataform mengambil kode dari commitish Git yang ditentukan di repositori Anda. Kemudian, Dataform mengompilasi kode dengan penggantian kompilasi yang diterapkan (jika ada), dan membuat hasil kompilasi. Hasil kompilasi terbaru yang dibuat untuk konfigurasi rilis adalah hasil kompilasi aktif.

Anda dapat menjadwalkan eksekusi hasil kompilasi dari konfigurasi rilis dalam konfigurasi alur kerja. Anda juga dapat menjalankan konfigurasi rilis yang dipilih di luar jadwal apa pun. Selama eksekusi konfigurasi alur kerja, Dataform menjalankan hasil kompilasi langsung dari konfigurasi rilis yang dipilih.

Membuat konfigurasi rilis

Untuk membuat konfigurasi rilis Dataform, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Di bagian Release configurations, klik Create.

  3. Di panel Create release configuration, konfigurasikan setelan rilis.

    1. Di kolom ID Rilis, masukkan ID unik untuk konfigurasi rilis.

      ID hanya boleh berisi angka, huruf, tanda hubung, dan garis bawah.

    2. Di kolom Git commitish, masukkan cabang, seperti main, tag, atau SHA commit untuk rilis.

      Di repositori Dataform yang tidak terhubung ke repositori jarak jauh, nilainya selalu main.

    3. Opsional: Di kolom Frequency, pilih frekuensi pembuatan hasil kompilasi.

      Jika ditetapkan, frekuensi minimumnya adalah 1 jam.

      Untuk menonaktifkan rilis otomatis, biarkan kolom Frequency kosong.

  4. Opsional: Di bagian Compilation overrides, konfigurasikan setelan kompilasi.

    1. Di kolom Google Cloud Project ID, masukkan ID projectGoogle Cloud tempat Anda ingin menyimpan hasil kompilasi.
    2. Di kolom Schema suffix, masukkan akhiran yang akan ditambahkan ke skema yang dikonfigurasi di setelan alur kerja.
    3. Di kolom Table prefix, masukkan awalan untuk semua nama tabel.

  5. Opsional: Di bagian Compilation variables, tetapkan variabel kompilasi.

    1. Klik Tambahkan variabel.
    2. Di kolom Key, masukkan variabel kompilasi.
    3. Di kolom Value, masukkan nilai untuk variabel kompilasi.
    4. Untuk menambahkan variabel kompilasi lain, klik Add variable.

  6. Klik Create.

Jika Anda mengganti project default, pastikan akun layanan kustom Anda memiliki akses ke project yang ditetapkan dalam konfigurasi rilis.

Misalnya, konfigurasi rilis berikut membuat hasil kompilasi production dari cabang main setiap jam, tanpa penggantian kompilasi:

  • ID rilis: production
  • Git commitish: main
  • Frequency: hourly
  • Tidak ada penggantian kompilasi

Melihat detail konfigurasi rilis

Anda dapat melihat detail konfigurasi rilis berikut:

  • Setelan rilis
    • Git commitish
    • Stempel waktu hasil kompilasi terbaru
    • Jadwal cron
    • Penggantian kompilasi
    • Variabel kompilasi
  • Hasil kompilasi live
    • Stempel waktu pembuatan
    • Git commitish
    • SHA commit
  • Hasil kompilasi sebelumnya

Untuk melihat detail konfigurasi rilis, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Pilih konfigurasi rilis.
  3. Di halaman Release configuration details, periksa detail konfigurasi rilis.

Tabel Scheduled compilation results menampilkan hasil kompilasi sebelumnya yang dibuat secara otomatis oleh konfigurasi rilis.

Tabel Manual/API compilation results menampilkan hasil kompilasi yang dibuat secara manual atau melalui panggilan ke Dataform API dari 1.000 hasil kompilasi terbaru di repositori.

Memicu kompilasi secara manual

Untuk membuat hasil kompilasi secara manual dari konfigurasi rilis yang dipilih, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Pilih konfigurasi rilis.
  3. Di halaman Release configuration details, klik New compilation.

Jika Anda menggunakan UI, hasil yang baru dikompilasi akan otomatis ditayangkan untuk konfigurasi rilis Anda. Jika menggunakan API, Anda harus membuat hasil kompilasi baru dari konfigurasi rilis, lalu memperbarui konfigurasi rilis untuk menetapkan kolom releaseCompilationResult dengan nilai baru ini.

Hasil kompilasi manual ditampilkan di tabel Manual/API compilation results di halaman Release configuration details.

Memicu eksekusi konfigurasi rilis

Untuk memicu eksekusi hasil kompilasi langsung dalam konfigurasi rilis yang dipilih ke BigQuery, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Di bagian Release configurations, klik Start execution.
  3. Di panel Execute manual workflow, di daftar Release configuration, pilih konfigurasi rilis.
  4. Pilih tindakan alur kerja yang akan dijalankan:
    1. Untuk menjalankan seluruh alur kerja, klik All actions.
    2. Untuk menjalankan tindakan yang dipilih dalam alur kerja, klik Selection of actions, lalu pilih tindakan.
    3. Untuk menjalankan tindakan dengan tag yang dipilih, klik Selection of tags, lalu pilih tag.
  5. Opsional: Untuk menjalankan tindakan atau tag yang dipilih dan dependensinya, pilih opsi Sertakan dependensi.
  6. Opsional: Untuk menjalankan tindakan atau tag yang dipilih dan dependensinya, pilih opsi Include dependents.

  7. Opsional: Untuk membuat ulang semua tabel dari awal, pilih opsi Run with full refresh.

    Tanpa opsi ini, Dataform akan memperbarui tabel inkremental tanpa membangunnya ulang dari awal.

  8. Klik Start execution.

Mengedit konfigurasi rilis

Untuk mengedit konfigurasi rilis, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Di samping konfigurasi rilis yang ingin Anda edit, klik menu More, lalu klik Edit.
  3. Di panel Edit release configuration, edit setelan konfigurasi rilis, lalu klik Save.

Menghapus konfigurasi rilis

Untuk menghapus konfigurasi rilis, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Di samping konfigurasi rilis yang ingin Anda hapus, klik menu More, lalu klik Delete.
  3. Pada dialog Delete release configuration, klik Delete.

Langkah berikutnya