Memicu eksekusi secara manual

Dokumen ini menunjukkan cara memicu eksekusi seluruh alur kerja atau hanya elemen yang dipilih dalam alur kerja secara manual.

Anda dapat memicu operasi untuk elemen alur kerja berikut:

  • Semua tindakan dalam alur kerja Anda
  • Tindakan yang dipilih
  • Tindakan dengan tag yang dipilih

Sebelum memulai

  1. Di konsol Google Cloud , buka halaman Dataform.

    Buka halaman Dataform

  2. Pilih atau buat repositori.

  3. Pilih atau buat ruang kerja pengembangan.

  4. Kembangkan alur kerja Anda.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk memicu operasi secara manual, minta administrator untuk memberi Anda peran IAM berikut:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Menjalankan semua tindakan dalam alur kerja Anda secara manual

Untuk memicu eksekusi semua tindakan dalam alur kerja Anda secara manual, ikuti langkah-langkah berikut:

  1. Buka ruang kerja pengembangan.
  2. Klik Start execution.
  3. Klik Tindakan > Beberapa tindakan.

  4. Di bagian Authentication, beri otorisasi eksekusi dengan kredensial pengguna Akun Google Anda atau akun layanan.

    • Untuk menggunakan kredensial pengguna Akun Google Anda, pilih Execute with user credentials.

      Opsional: Di bagian Extended access options, pilih cakupan tambahan yang diperlukan alur kerja Anda:

      • Knowledge Catalog: Mengizinkan Google Cloud update metadata Knowledge Catalog.
      • Google Drive: Mengizinkan akses hanya baca ke file Google Drive.
      • Bigtable: Mengizinkan akses hanya baca ke data Google Bigtable.

    • Untuk menggunakan akun layanan kustom, pilih Execute with selected service account, lalu pilih akun layanan kustom.

  5. Pilih Semua tindakan.

  6. Opsional: Untuk membuat ulang semua tabel dari awal, pilih opsi Run with full refresh. Tanpa opsi ini, Dataform akan memperbarui tabel inkremental tanpa membangunnya kembali dari awal.

  7. Opsional: Tetapkan prioritas tugas kueri BigQuery dengan opsi Execute as interactive job with high priority (default). Secara default, BigQuery menjalankan kueri sebagai tugas kueri interaktif, yang dimaksudkan untuk mulai berjalan secepat mungkin. Jika opsi ini tidak dicentang, kueri akan dijalankan sebagai tugas kueri batch, yang memiliki prioritas lebih rendah.

  8. Opsional: Untuk membatasi jumlah tindakan yang dapat berjalan secara serentak selama eksekusi, pilih Batasi tindakan serentak, dan di Tindakan serentak maksimum, masukkan bilangan bulat antara 1 dan 5000.

    Jika jumlah tindakan siap melebihi batas yang dikonfigurasi, Dataform akan menempatkan tindakan siap yang tersisa dalam antrean hingga slot serentak tersedia.

    Batas tindakan serentak tidak didukung saat menjalankan pengujian unit.

  9. Klik Start execution. Jika memilih Execute with user credentials untuk metode autentikasi, Anda harus memberikan otorisasi ke Akun Google Anda.

Menjalankan tindakan yang dipilih secara manual

Untuk memicu eksekusi tindakan yang dipilih secara manual, ikuti langkah-langkah berikut:

  1. Buka ruang kerja pengembangan Anda.

  2. Klik Start execution, lalu lakukan salah satu tindakan berikut:

    • Klik Tindakan, lalu pilih tindakan yang ingin Anda jalankan.
    • Klik Tindakan > Beberapa tindakan.

  3. Di bagian Authentication, beri otorisasi eksekusi dengan kredensial pengguna Akun Google Anda atau akun layanan.

    • Untuk menggunakan kredensial pengguna Akun Google Anda, pilih Execute with user credentials.

      Opsional: Di bagian Extended access options, pilih layanan tambahan yang diperlukan alur kerja Anda:

      • Knowledge Catalog: Mengizinkan Google Cloud update metadata Knowledge Catalog.
      • Google Drive: Mengizinkan akses hanya baca ke file Google Drive.
      • Bigtable: Mengizinkan akses hanya baca ke data Google Bigtable.

    • Untuk menggunakan akun layanan kustom, pilih Execute with selected service account, lalu pilih akun layanan kustom.

  4. Pastikan Selection of actions dipilih.

  5. Di menu Select actions to execute, pilih tindakan yang ingin Anda jalankan.

  6. Opsional: Untuk menjalankan tindakan yang dipilih dan dependensinya, pilih opsi Sertakan dependensi.

  7. Opsional: Untuk menjalankan tindakan yang dipilih dan tindakan yang bergantung padanya, pilih opsi Include dependents.

  8. Opsional: Untuk membuat ulang semua tabel dari awal, pilih opsi Run with full refresh.

  9. Opsional: Tetapkan prioritas tugas kueri BigQuery dengan opsi Execute as interactive job with high priority (default). Secara default, BigQuery menjalankan kueri sebagai tugas kueri interaktif, yang dimaksudkan untuk mulai berjalan secepat mungkin. Jika opsi ini tidak dicentang, kueri akan dijalankan sebagai tugas kueri batch, yang memiliki prioritas lebih rendah.

  10. Opsional: Untuk membatasi jumlah tindakan yang dapat berjalan secara serentak selama eksekusi, pilih Batasi tindakan serentak, dan di Tindakan serentak maksimum, masukkan bilangan bulat antara 1 dan 5000.

    Jika jumlah tindakan siap melebihi batas yang dikonfigurasi, Dataform akan menempatkan tindakan siap yang tersisa dalam antrean hingga slot serentak tersedia.

    Batas tindakan serentak tidak didukung saat menjalankan pengujian unit.

  11. Klik Start execution. Jika Anda memilih Execute with my user credentials untuk metode autentikasi, Anda harus memberikan otorisasi ke Akun Google Anda.

Menjalankan tindakan secara manual dengan tag yang dipilih

Untuk memicu eksekusi tindakan secara manual dengan tag yang dipilih, ikuti langkah-langkah berikut:

  1. Buka ruang kerja pengembangan Anda.

  2. Klik Start execution, lalu lakukan salah satu tindakan berikut:

    • Klik Tag, lalu pilih tag yang ingin Anda jalankan.
    • Klik Tag > Beberapa tag.

  3. Di bagian Authentication, beri otorisasi eksekusi dengan kredensial pengguna Akun Google Anda atau akun layanan.

    • Untuk menggunakan kredensial pengguna Akun Google Anda, pilih Execute with user credentials.

      Opsional: Di bagian Extended access options, pilih layanan tambahan yang diperlukan alur kerja Anda:

      • Knowledge Catalog: Mengizinkan Google Cloud update metadata Knowledge Catalog.
      • Google Drive: Mengizinkan akses hanya baca ke file Google Drive.
      • Bigtable: Mengizinkan akses hanya baca ke data Google Bigtable.

    • Untuk menggunakan akun layanan kustom, pilih Execute with selected service account, lalu pilih akun layanan kustom.

  4. Pastikan Selection of tags dipilih.

  5. Di menu Pilih tag yang akan dijalankan, pilih tag yang ingin Anda jalankan.

  6. Opsional: Untuk menjalankan tindakan dengan tag yang dipilih dan dependensinya, pilih opsi Sertakan dependensi.

  7. Opsional: Untuk menjalankan tindakan dengan tag yang dipilih dan tindakan yang bergantung padanya, pilih opsi Include dependents.

  8. Opsional: Untuk membuat ulang semua tabel dari awal, pilih opsi Run with full refresh. Tanpa opsi ini, Dataform akan memperbarui tabel inkremental tanpa membangunnya kembali dari awal.

  9. Opsional: Tetapkan prioritas tugas kueri BigQuery dengan opsi Execute as interactive job with high priority (default). Secara default, BigQuery menjalankan kueri sebagai tugas kueri interaktif, yang dimaksudkan untuk mulai berjalan secepat mungkin. Jika opsi ini tidak dicentang, kueri akan dijalankan sebagai tugas kueri batch, yang memiliki prioritas lebih rendah.

  10. Opsional: Untuk membatasi jumlah tindakan yang dapat berjalan secara serentak selama eksekusi, pilih Batasi tindakan serentak, dan di Tindakan serentak maksimum, masukkan bilangan bulat antara 1 dan 5000.

    Jika jumlah tindakan siap melebihi batas yang dikonfigurasi, Dataform akan menempatkan tindakan siap yang tersisa dalam antrean hingga slot serentak tersedia.

    Batas tindakan serentak tidak didukung saat menjalankan pengujian unit.

  11. Klik Start execution. Jika Anda memilih Execute with my user credentials untuk metode autentikasi, Anda harus memberikan otorisasi ke Akun Google Anda.

Memberi otorisasi pada Akun Google Anda

Untuk mengautentikasi resource dengan kredensial pengguna Akun Google Anda, Anda harus memberikan izin secara manual agar pipeline BigQuery mendapatkan token akses untuk Akun Google Anda dan mengakses data sumber atas nama Anda. Anda dapat memberikan persetujuan manual dengan antarmuka dialog OAuth. Jika Anda memilih Opsi akses yang diperluas, Anda harus memberikan akses ke layanan tersebut—misalnya, Google Drive atau Knowledge Catalog.

Anda hanya perlu memberikan izin ke pipeline BigQuery satu kali.

Untuk mencabut izin yang telah Anda berikan, ikuti langkah-langkah berikut:

  1. Buka halaman Akun Google Anda.
  2. Klik BigQuery Pipelines.
  3. Klik Hapus akses.

Membatasi tindakan serentak

Secara default, Dataform menjalankan semua tindakan yang dependensi upstream-nya terpenuhi secara paralel. Jika alur kerja berisi banyak tindakan independen, menjalankan semuanya secara bersamaan dapat menyebabkan error pembatasan kapasitas BigQuery, menghabiskan kuota project, atau menghabiskan slot BigQuery.

Untuk mengontrol pertentangan resource tanpa menimbulkan dependensi buatan antara tindakan independen di SQLX, Anda dapat mengonfigurasi batas tindakan serentak maksimum pada eksekusi manual atau pada jadwal konfigurasi alur kerja.

Saat Anda mengonfigurasi batas tindakan serentak, Dataform mulai menjalankan tindakan yang siap secara bersamaan hingga batas yang ditetapkan. Tindakan tambahan yang dependensi upstream-nya terpenuhi akan memasuki status QUEUED. Saat tindakan yang berjalan selesai dan slot konkurensi tersedia, Dataform akan memulai tindakan yang diantrekan di slot yang tersedia hingga semua tindakan selesai. Jika eksekusi alur kerja gagal atau dibatalkan saat tindakan sedang dalam antrean, tindakan yang sedang dalam antrean akan dilewati.

Batas ini berlaku per pemanggilan alur kerja. Setiap eksekusi melacak tindakan yang berjalan secara independen.

Batas tindakan serentak tidak didukung saat menjalankan pengujian unit.

Langkah berikutnya