Membuat pipeline

Anda dapat membuat pipeline di BigQuery, yang memungkinkan Anda mengorkestrasi dan mengotomatiskan alur kerja seperti menjadwalkan kueri SQL, notebook, dan tugas persiapan data untuk dijalankan secara berurutan.

Sebelum memulai

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Verify that billing is enabled for your Google Cloud project.

3. Enable the BigQuery, Dataform, and Vertex AI APIs, if any are not already enabled.

   Roles required to enable APIs

   To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

   Enable the APIs

Persyaratan Kontrol Layanan VPC

Jika Anda menggunakan Kontrol Layanan VPC untuk melindungi pipeline, Anda harus mengetahui bahwa eksekusi pipeline didukung oleh Dataform. Saat Anda mengonfigurasi Kontrol Layanan VPC untuk operasi terjadwal, pastikan persyaratan berikut terpenuhi:

• Anda harus menetapkan Layanan Kebijakan Organisasi dataform.restrictGitRemotes.
• Dataform dan BigQuery harus dibatasi oleh perimeter layanan Kontrol Layanan VPC yang sama.
• Agar pengguna dapat melakukan autentikasi dengan kredensial pengguna untuk Akun Google mereka saat menjadwalkan atau memicu operasi secara manual, Anda harus menambahkan identitas pengguna mereka ke aturan ingress Anda. Untuk mengetahui informasi selengkapnya, lihat Memperbarui kebijakan ingress dan egress untuk perimeter layanan dan Referensi aturan ingress.

Untuk mengetahui langkah-langkah konfigurasi mendetail dan pertimbangan keamanan, lihat Mengonfigurasi Kontrol Layanan VPC untuk Dataform.

Peran yang diperlukan untuk pipeline

Untuk mendapatkan izin yang Anda perlukan untuk membuat pipeline, minta administrator untuk memberi Anda peran IAM berikut:

• Untuk membuat pipeline: Code Creator (roles/dataform.codeCreator) pada project
• Untuk mengedit dan menjalankan pipeline: Dataform Editor (roles/dataform.editor) pada project
• Untuk membuat pipeline di folder pengguna:
  • Code Creator (roles/dataform.codeCreator) di project
  • Pemilik Kode (roles/dataform.codeOwner) pada folder
  • Editor Kode (roles/dataform.codeEditor) pada folder
• Untuk membuat pipeline di folder tim:
  • Kontributor Folder Tim (roles/dataform.teamFolderContributor) di folder tim
  • Pemilik Folder Tim (roles/dataform.teamFolderOwner) pada folder tim
• Untuk menghubungkan repositori Git untuk folder Git: Developer Connect OAuth User (roles/developerconnect.oauthUser) pada project

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang IAM Dataform, lihat Mengontrol akses dengan IAM.

Untuk mengetahui informasi selengkapnya tentang peran untuk folder, lihat Membuat dan mengelola folder.

Untuk mengetahui informasi selengkapnya tentang peran untuk repositori Git, lihat Mengelola kode dengan repositori Git BigQuery Studio.

Catatan: Saat Anda membuat pipeline, BigQuery akan memberi Anda peran Dataform Admin (roles/dataform.admin) di pipeline tersebut. Semua pengguna dengan peran Admin Dataform yang diberikan pada project Google Cloud memiliki akses pemilik ke semua pipeline yang dibuat dalam project. Untuk mengganti perilaku ini, lihat Memberikan peran tertentu saat pembuatan resource.

Peran yang diperlukan untuk opsi notebook

Untuk mendapatkan izin yang diperlukan guna memilih template runtime di opsi notebook, minta administrator untuk memberi Anda peran IAM Notebook Runtime User (roles/aiplatform.notebookRuntimeUser) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Jika tidak memiliki peran ini, Anda dapat memilih spesifikasi runtime notebook default.

Pertimbangan keamanan untuk pipeline

Karena aset kode di BigQuery didukung oleh Dataform, Anda harus mempertimbangkan implikasi keamanan berikut bagi pengguna yang memiliki akses ke aset ini:

• Visibilitas untuk aset kode diatur oleh izin Dataform level project. Pengguna dengan izin dataform.repositories.list—yang disertakan dalam peran BigQuery standar seperti BigQuery Job User, BigQuery Studio User, dan BigQuery User—dapat melihat semua aset kode di panel Explorer dari project Google Cloud , terlepas dari apakah mereka membuat aset ini atau aset ini dibagikan kepada mereka. Untuk membatasi visibilitas, Anda dapat membuat peran khusus yang mengecualikan izin dataform.repositories.list.
• Setiap secret yang dibagikan kepada agen layanan Dataform berpotensi diakses oleh pengguna yang dapat mengedit aset ini. Untuk mengamankan kredensial Anda, batasi akses pembuatan dan pengeditan kepada pengguna tepercaya, serta batasi secret yang dapat diakses oleh agen layanan Dataform. Untuk mengetahui informasi selengkapnya, lihat Akses secret selama penginstalan paket.

Untuk mengetahui informasi selengkapnya, lihat Pertimbangan keamanan untuk izin Dataform.

Menetapkan region default untuk aset kode

Semua aset kode baru di project Google Cloud Anda menggunakan region default. Setelah aset dibuat, Anda tidak dapat mengubah regionnya.

Penting: Jika Anda mengubah region saat membuat aset kode, region tersebut akan menjadi default untuk semua aset kode berikutnya. Aset kode yang ada tidak terpengaruh.

Untuk menetapkan region default bagi aset kode baru, lakukan hal berikut:

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Files untuk membuka file browser:

   

3. Di samping nama project, klik View files panel actions > Switch code region.

4. Pilih region kode yang ingin Anda gunakan sebagai default.

5. Klik Simpan.

Untuk mengetahui daftar region yang didukung, lihat Lokasi BigQuery Studio.

Membuat pipeline

Anda dapat membuat dan menyimpan pipeline dengan cara berikut:

• Dalam folder: atur pipeline di dalam folder pribadi atau tim di panel Files di BigQuery Studio.
• Di folder Git BigQuery Studio (Pratinjau): hosting, kontrol versi, dan kelola beberapa pipeline independen atau pipeline level root dalam folder dengan repositori Git yang terhubung menggunakan Developer Connect.
• Dari bilah tab editor: buat pipeline dari menu + di editor kueri.
• Dari halaman Pipelines & Connections (Pratinjau): buat pipeline menggunakan alur kerja yang disederhanakan dan khusus BigQuery.

Membuat pipeline dalam folder

Anda dapat membuat dan mengatur pipeline langsung di dalam folder pengguna pribadi atau folder tim bersama di BigQuery Studio. Untuk mengetahui informasi selengkapnya tentang folder, lihat Mengatur aset kode dengan folder.

Untuk membuat pipeline dalam folder, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Files untuk membuka file browser.

   Jika Anda tidak melihat panel kiri, klik Luaskan panel kiri untuk membuka panel.

3. Lakukan salah satu tindakan berikut untuk membuat pipeline:

   • Pilih folder pengguna atau folder tim tempat Anda ingin menempatkan pipeline, klik tombol + (Create) di toolbar, lalu pilih Pipeline.
   • Di hierarki file, klik View actions di samping nama folder, pilih Create > Pipeline.
   • Buka folder untuk melihat kontennya di panel utama, lalu klik Create Pipeline.

4. Dalam dialog pembuatan, masukkan nama untuk pipeline.

5. Klik Create. Folder pipeline baru akan muncul di hierarki file dengan ikon Pipeline.

6. Klik folder pipeline untuk membuka Pipeline Viewer, lalu konfigurasikan setelan pipeline.

Membuat pipeline di repositori Git

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Catatan: Untuk memberikan masukan atau meminta dukungan terkait fitur ini, kirim email ke [e-mail].

Anda dapat membuat dan mengelola pipeline langsung dalam folder yang terintegrasi dengan Git di BigQuery Studio. Folder Git mewakili repositori GitHub atau GitLab jarak jauh yang terhubung ke BigQuery Studio menggunakan Developer Connect. Anda dapat menghosting dan mengatur beberapa pipeline independen dalam satu repositori Git. Pipeline repositori Git mendukung deployment Dataform untuk penjadwalan, konfigurasi rilis, dan orkestrasi multi-lingkungan.

Untuk membuat pipeline di folder Git, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Jika Anda belum menghubungkan repositori Git, buat dan hubungkan repositori Git BigQuery Studio.

3. Di panel kiri, klik Files untuk membuka file browser.

4. Di hierarki file, temukan folder repositori Git yang terhubung atau direktori bertingkat di dalamnya.

5. Klik View actions di samping nama folder, lalu pilih Create > Pipeline.

6. Dalam dialog, masukkan nama pipeline, lalu klik Save.

   Direktori pipeline baru dibuat, diinisialisasi dengan file default:

   • workflow_settings.yaml: Konfigurasi pipeline.
   • definitions/actions.yaml: Definisi tugas kosong.

7. Klik direktori pipeline di file browser untuk membuka Pipeline Viewer.

Catatan: Jika repositori Git jarak jauh Anda berisi konfigurasi pipeline (workflow_settings.yaml) di direktori root repositori, BigQuery Studio akan otomatis mengenali repositori tersebut sebagai Pipeline Tingkat Root.Folder repositori Git itu sendiri menampilkan ikon Pipeline. Saat Anda mengklik folder repositori Git, Pipeline Viewer akan terbuka, menampilkan DAG yang dikompilasi untuk seluruh repositori. Anda tidak perlu membuat direktori pipeline bertingkat.

Membuat pipeline dari bilah tab editor

Untuk membuat pipeline dari bilah tab editor, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di bilah tab panel editor, klik panah di samping tanda +, lalu klik Pipeline.

3. Opsional: Untuk mengganti nama pipeline, klik nama pipeline, lalu ketik nama baru.

4. Konfigurasikan setelan pipeline.

Membuat pipeline dari halaman Pipelines & Connections

Anda dapat menggunakan halaman Pipelines & Connections BigQuery di konsol Google Cloud untuk membuat pipeline Dataform yang menggunakan alur kerja yang disederhanakan dan khusus BigQuery. Fitur ini berada dalam pratinjau.

Untuk mengetahui petunjuk cara membuat pipeline dari halaman Pipelines & Connections BigQuery, lihat Membuat aset integrasi data.

Mengonfigurasi setelan pipeline

Untuk mengonfigurasi setelan pipeline, buka pipeline di Pipeline Viewer, klik tab Settings, lalu konfigurasikan bagian berikut:

1. Di bagian Authentication, pilih untuk mengizinkan pipeline dengan kredensial pengguna untuk Akun Google Anda atau akun layanan.

   • Untuk menggunakan kredensial pengguna Akun Google Anda, pilih Run with my user credentials.

     Opsional: Di bagian Extended access options, pilih layanan tambahan yang diperlukan pipeline Anda:

     • Knowledge Catalog: Mengizinkan update metadata Google Cloud Knowledge Catalog.
     • Google Drive: Mengizinkan akses hanya baca ke file Google Drive.

     • Bigtable: Mengizinkan akses hanya baca ke data Google Bigtable.

       Catatan: Mengautentikasi operasi berbasis API dengan kredensial pengguna tidak didukung. Untuk menjalankan semua tugas dalam pipeline menggunakan Dataform API, Anda harus mengonfigurasi pipeline untuk menggunakan akun layanan.

   • Untuk menggunakan akun layanan, pilih Run with selected service account, lalu pilih akun layanan. Jika Anda perlu membuat akun layanan, klik New service account.

2. Di bagian Processing location, pilih lokasi pemrosesan untuk pipeline.

   • Untuk mengaktifkan pemilihan lokasi otomatis, pilih Automatic location selection. Opsi ini memilih lokasi berdasarkan set data yang direferensikan dalam permintaan. Proses seleksinya adalah sebagai berikut:

     • Jika kueri Anda mereferensikan set data dari lokasi yang sama, BigQuery akan menggunakan lokasi tersebut.
     • Jika kueri Anda mereferensikan set data dari dua atau beberapa lokasi yang berbeda, akan terjadi error. Untuk mengetahui detail tentang batasan ini, lihat Replikasi set data lintas region.
     • Jika kueri Anda tidak mereferensikan set data apa pun, BigQuery akan ditetapkan secara default ke multi-region US.

   • Untuk memilih region tertentu, pilih Region, lalu pilih region di menu Region. Atau, Anda dapat menggunakan variabel sistem @@location dalam kueri Anda. Untuk mengetahui informasi selengkapnya, lihat Menentukan lokasi.

   • Untuk memilih multi-region, pilih Multi-region, lalu pilih multi-region di menu Multi-region.

   Lokasi pemrosesan pipeline tidak harus sama dengan lokasi penyimpanan default Anda untuk aset kode.

Opsi SQLX

Untuk mengonfigurasi setelan SQLX untuk pipeline Anda, lakukan hal berikut di bagian opsi SQLX:

1. Di kolom Default project, masukkan nama projectGoogle Cloud yang ada. Nilai ini digunakan untuk defaultProject dalam file workflow_settings.yaml dan untuk defaultDatabase dalam file dataform.json. Project default digunakan oleh tugas pipeline selama eksekusinya.

   Catatan: Nama project tidak divalidasi, sehingga Anda dapat memasukkan string yang tidak kosong. Namun, jika project tidak ada, eksekusi pipeline akan gagal.

2. Opsional: Di kolom Default dataset, telusuri dan pilih set data yang ada. Daftar set data yang tersedia difilter berdasarkan project dan lokasi pemrosesan yang dipilih. Nilai ini digunakan untuk defaultDataset dalam file workflow_settings.yaml. Set data default digunakan oleh tugas pipeline selama eksekusinya.

   Catatan: Menetapkan set data default, lalu mengubah region pipeline akan membatalkan pilihan set data. Mengubah project juga dapat membatalkan pilihan set data. Jika set data tertentu tidak ada dalam project yang dipilih, set data tersebut akan dibuat.

Opsi notebook

Untuk menambahkan notebook ke pipeline, lakukan hal berikut di bagian Notebook options:

1. Di kolom Runtime template, terima runtime notebook default, atau telusuri dan pilih runtime yang ada.

   • Untuk melihat spesifikasi runtime default, klik panah di sampingnya.
   • Untuk membuat runtime baru, lihat Membuat template runtime.
   Catatan: Template runtime notebook harus berada di region yang sama dengan pipeline yang menentukannya.
   Catatan: Jika Anda menggunakan runtime default untuk notebook di pipeline BigQuery, Anda tidak dapat mengubah jaringan instance runtime Gemini Enterprise Agent Platform. Runtime dibatasi ke jaringan default, dan memilih jaringan lain tidak didukung. Jika Anda menggunakan template runtime kustom, runtime akan menggunakan jaringan dan subnetwork yang dikonfigurasi dalam template. Jika project Anda menerapkan kebijakan organisasi compute.requireShieldedVm, pastikan template runtime kustom Anda mengaktifkan Booting Aman untuk menghindari kegagalan pembuatan VM.

2. Di kolom Cloud Storage bucket, klik Browse dan pilih atau buat bucket Cloud Storage untuk menyimpan output notebook di pipeline Anda.

3. Ikuti langkah-langkah di bagian Menambahkan akun utama ke kebijakan level bucket untuk menambahkan akun layanan Dataform kustom Anda sebagai akun utama ke bucket Cloud Storage yang akan Anda gunakan untuk menyimpan output eksekusi pipeline terjadwal, dan berikan peran Storage Admin (roles/storage.admin) ke akun utama ini.

   Akun layanan Dataform kustom yang dipilih harus diberi peran IAM Storage Admin di bucket yang dipilih.

Menambahkan tugas pipeline

Anda dapat menambahkan beberapa tugas ke pipeline yang mengeksekusi aset kode dalam urutan tertentu.

Aset kode yang didukung di dalam pipeline meliputi:

• Kueri SQL
• Notebook
• Persiapan data
• Tabel dan Tampilan (tugas SQLX)

Konvensi penamaan tugas

Saat Anda memberi nama tugas pipeline, ikuti konvensi penamaan berikut:

• Nama tugas hanya boleh berisi huruf (a-z, A-Z), angka (0-9), garis bawah (_), dan tanda hubung (-).
• Nama tugas harus diawali dengan huruf, angka, atau garis bawah.
• Titik (.) dilarang dalam nama tugas. Saat memberi nama atau mengganti nama tugas, jangan sertakan ekstensi file seperti .sql atau .py. Jika nama tugas berisi titik, tombol Run akan dinonaktifkan.
• Nama tugas dapat berisi karakter dengan total hingga 1.024 byte UTF-8.
• Nama tugas harus unik dalam container pipeline.
• Nama tugas peka huruf besar/kecil.

Tambahkan tugas

Untuk menambahkan tugas ke pipeline, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik  Explorer:

   

   Jika Anda tidak melihat panel kiri, klik  Luaskan panel kiri untuk membuka panel.

3. Di panel Explorer, luaskan project Anda, klik Pipelines, lalu pilih pipeline.

4. Untuk menambahkan aset kode, pilih salah satu opsi berikut:

Kueri SQL

Anda dapat membuat kueri baru atau mengimpor kueri yang sudah ada.

1. Lakukan salah satu hal berikut:

   • Klik Add task, lalu pilih Query. Anda dapat membuat kueri baru atau mengimpor kueri yang sudah ada.

   • Saat menggunakan pipeline di folder atau folder Git, klik kanan folder pipeline di panel Files, lalu pilih Create Query.

   • Saat menggunakan pipeline di folder atau folder Git, klik tombol Add task di Pipeline Viewer.

2. Opsional: Di panel Query task details, di menu Run after, pilih tugas yang akan mendahului kueri Anda.

Membuat kueri baru

1. Klik menu panah di samping Edit Query, lalu pilih In context atau In new tab.

2. Telusuri kueri yang ada.

3. Pilih nama kueri, lalu tekan Enter.

4. Klik Simpan.

5. Opsional: Untuk mengganti nama kueri, klik nama kueri di panel pipeline, klik Edit Query, klik nama kueri yang ada di bagian atas layar, lalu ketik nama baru.

Mengimpor kueri yang ada

1. Klik menu panah di samping Edit Query, lalu klik Import a copy.

2. Telusuri kueri yang ada untuk diimpor atau pilih kueri yang ada dari panel penelusuran. Saat Anda mengimpor kueri, kueri asli tidak akan berubah karena file sumber kueri disalin ke dalam pipeline.

3. Klik Edit untuk membuka kueri yang diimpor.

4. Klik Simpan.

Notebook

Anda dapat membuat notebook baru atau mengimpor notebook yang sudah ada. Untuk mengubah setelan template runtime notebook, lihat Opsi notebook.

1. Lakukan salah satu hal berikut:

   • Klik Add task, lalu pilih Notebook.

   • Saat menggunakan pipeline di folder atau folder Git, klik kanan folder pipeline di panel Files, lalu pilih Create Notebook.

   • Saat menggunakan pipeline di folder atau folder Git, klik tombol Add task di Pipeline Viewer.

   1. Opsional: Di panel Notebook task details, di menu Run after, pilih tugas yang akan mendahului notebook Anda.

   Membuat notebook baru

2. Klik menu panah di samping Edit Notebook dan pilih In context atau In new tab.

3. Telusuri notebook yang ada.

4. Pilih nama notebook, lalu tekan Enter.

5. Klik Simpan.

6. Opsional: Untuk mengganti nama notebook, klik nama notebook di panel pipeline, klik Edit Notebook, klik nama notebook yang ada di bagian atas layar, lalu ketik nama baru.

Mengimpor notebook yang sudah ada

1. Klik menu panah di samping Edit Notebook, lalu klik Import a copy.

2. Telusuri notebook yang ada untuk diimpor atau pilih notebook yang ada dari panel penelusuran. Saat Anda mengimpor notebook, notebook asli tidak akan berubah karena file sumber notebook disalin ke dalam pipeline.

3. Untuk membuka notebook yang diimpor, klik Edit.

4. Klik Simpan.

Persiapan data

Anda dapat membuat persiapan data baru atau mengimpor persiapan data yang sudah ada.

1. Lakukan salah satu hal berikut:

   • Klik Add task, lalu pilih Data preparation.

   • Saat menggunakan pipeline di folder atau folder Git, klik kanan folder pipeline di panel Files, lalu pilih Create Data preparation.

   • Saat menggunakan pipeline di folder atau folder Git, klik tombol Add task di Pipeline Viewer.

2. Opsional: Di panel Data preparation task details, di menu Run after, pilih tugas yang akan mendahului persiapan data Anda.

Membuat persiapan data baru

1. Klik menu panah di samping Edit Data preparation dan pilih In context atau In new tab.

2. Telusuri persiapan data yang ada.

3. Pilih nama penyiapan data, lalu tekan Enter.

4. Klik Simpan.

5. Opsional: Untuk mengganti nama persiapan data, klik nama persiapan data di panel pipeline, klik Edit Data preparation, klik nama di bagian atas layar, lalu masukkan nama baru.

Mengimpor persiapan data yang ada

1. Klik menu drop-down panah di samping Edit Data preparation, lalu klik Import a copy.

2. Telusuri persiapan data yang ada untuk diimpor atau pilih persiapan data yang ada dari panel penelusuran. Saat Anda mengimpor persiapan data, file aslinya tidak akan berubah karena file sumber persiapan data disalin ke dalam pipeline.

3. Untuk membuka persiapan data yang diimpor, klik Edit.

4. Klik Simpan.

Tabel

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Catatan: Untuk memberikan masukan atau meminta dukungan, hubungi [e-mail].

1. Lakukan salah satu hal berikut:

• Klik Add task, lalu pilih Table.

• Saat menggunakan pipeline di folder atau folder Git, klik kanan folder pipeline di panel Files, lalu pilih Create Table.

• Saat menggunakan pipeline di folder atau folder Git, klik tombol Add task di Pipeline Viewer.

1. Di panel Create new, pilih Table atau Incremental table.

2. Verifikasi project default untuk tabel, atau pilih project baru.

3. Verifikasi set data default untuk tabel, atau pilih set data baru.

4. Masukkan nama untuk tabel.

5. Di panel detail tugas tabel, klik Open untuk membuka tugas.

6. Konfigurasikan tugas menggunakan setelan di Details > Configuration atau di blok config pada editor kode untuk tabel.

Untuk perubahan metadata, gunakan tab Konfigurasi. Tab ini memungkinkan Anda mengedit nilai tertentu dalam blok config dari editor kode, seperti string atau array, yang diformat seperti objek JavaScript. Menggunakan tab ini akan membantu Anda menghindari error sintaksis dan memverifikasi bahwa setelan Anda sudah benar.

Opsional: Di menu Run after, pilih tugas yang akan mendahului tabel Anda.

Anda juga dapat menentukan metadata untuk tugas pipeline di blok config di editor. Untuk mengetahui informasi selengkapnya, lihat Membuat tabel.

Editor akan memvalidasi kode Anda dan menampilkan status validasi.

Catatan: Jika Anda menggunakan fungsi JavaScript sebagai nilai dalam blok config, Anda tidak dapat mengedit fungsi JavaScript di tab Configuration.

1. Gunakan kunci metadata untuk menentukan informasi untuk Knowledge Catalog. Proses pengayaan ini mendukung konstruksi metadata berikut:

• Ringkasan: dokumentasi dan teks ringkasan untuk entri.
• Aspek umum: detail semantik seperti sistem tabel dan informasi jenis.

Contoh konfigurasi berikut menunjukkan cara menambahkan ringkasan dan aspek metadata generik ke konfigurasi tabel untuk Knowledge Catalog:

       ```javascript
       config {
       type: "table",
       metadata: {
          overview: "This table provides standardized trip data.",
          extraProperties: {
             generic: {
                   system: "BigQuery",
                   type: "fact table"
             }
             }
       }
       }
       ```

1. Di Details > Compiled queries, lihat SQL yang dikompilasi dari kode SQLX.

2. Klik Run untuk menjalankan SQL di pipeline Anda.

3. Di Query results, periksa pratinjau data.

Lihat

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Catatan: Untuk memberikan masukan atau meminta dukungan, hubungi [e-mail].

1. Lakukan salah satu hal berikut:

   • Klik Add task, lalu pilih View.

   • Saat menggunakan pipeline di folder atau folder Git, klik kanan folder pipeline di panel Files, lalu pilih Create View.

   • Saat menggunakan pipeline di folder atau folder Git, klik tombol Add task di Pipeline Viewer.

2. Di panel Create new, pilih View atau Tampilan terwujud.

3. Verifikasi project default untuk tampilan, atau pilih project baru.

4. Verifikasi set data default untuk tampilan, atau pilih set data baru.

5. Masukkan nama untuk tampilan.

6. Di panel lihat detail tugas, klik Buka untuk membuka tugas.

7. Konfigurasikan tugas menggunakan setelan di Details > Configuration atau di blok config editor kode untuk tampilan.

Untuk perubahan metadata, gunakan tab Konfigurasi. Tab ini memungkinkan Anda mengedit nilai tertentu dalam blok config dari editor kode, seperti string atau array, yang diformat seperti objek JavaScript. Menggunakan tab ini akan membantu Anda menghindari error sintaksis dan memverifikasi bahwa setelan Anda sudah benar.

Opsional: Di menu Run after, pilih tugas yang akan mendahului tampilan Anda.

Anda juga dapat menentukan metadata untuk tugas pipeline di blok config di editor. Untuk mengetahui informasi selengkapnya, lihat Membuat tampilan dengan Dataform core.

Editor akan memvalidasi kode Anda dan menampilkan status validasi.

Catatan: Jika Anda menggunakan fungsi JavaScript sebagai nilai dalam blok config, Anda tidak dapat mengedit fungsi JavaScript di tab Configuration.

1. Gunakan kunci metadata untuk menentukan informasi untuk Knowledge Catalog. Proses pengayaan ini mendukung konstruksi metadata berikut:

• Ringkasan: dokumentasi dan teks ringkasan untuk entri.
• Aspek umum: detail semantik seperti sistem tabel dan informasi jenis.

Contoh konfigurasi berikut menunjukkan cara menambahkan ringkasan dan aspek metadata generik ke konfigurasi tabel untuk Knowledge Catalog:

       ```javascript
       config {
       type: "view",
       metadata: {
          overview: "This view provides standardized trip data.",
          extraProperties: {
             generic: {
                   system: "BigQuery",
                   type: "view"
             }
             }
       }
       }
       ```

1. Di Details > Compiled queries, lihat SQL yang dikompilasi dari kode SQLX.

2. Klik Run untuk menjalankan SQL di pipeline Anda.

3. Di Query results, periksa pratinjau data.

Mendeklarasikan sumber

1. Klik Add task, lalu pilih Declare source.

2. Di panel Declare source, verifikasi project default untuk sumber data, atau pilih project baru.

3. Verifikasi set data default untuk sumber data, atau pilih set data baru.

4. Di kolom Table / View, pilih tabel atau tampilan yang ingin Anda gunakan sebagai sumber data.

5. Klik Create.

6. Di panel detail tugas deklarasikan sumber, klik Open untuk membuka tugas.

7. Konfigurasikan sumber data menggunakan setelan di Details > Configuration atau di blok config di editor kode.

   Untuk informasi selengkapnya tentang cara mengonfigurasi sumber data, lihat Mendeklarasikan sumber data.

   Editor akan memvalidasi kode Anda dan menampilkan status validasi.

Pengujian data pernyataan

1. Klik Add task, lalu pilih Uji kualitas data.

2. Di panel Create new, verifikasi project default untuk pengujian kualitas data, atau pilih project baru.

3. Verifikasi set data default untuk pengujian kualitas data, atau pilih set data baru.

4. Di kolom Table, masukkan nama untuk pengujian kualitas data.

5. Klik Create.

6. Di panel detail tugas pengujian kualitas data, klik Open untuk membuka tugas.

7. Konfigurasikan pernyataan untuk pengujian menggunakan setelan di Details > Configuration atau di blok config di editor kode.

   Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi pernyataan, lihat Menguji kualitas data.

   Opsional: Di menu Run after, pilih tugas yang akan mendahului pengujian kualitas data Anda dalam urutan pipeline.

   Editor akan memvalidasi kode Anda dan menampilkan status validasi.

8. Klik Run untuk menjalankan pengujian kualitas data sebagai bagian dari urutan pipeline Anda.

Pengujian unit

1. Klik Add task, lalu pilih pengujian unit.

2. Di kolom Action to test, pilih tabel atau tampilan yang ingin Anda uji.

3. Di kolom BigQuery Unit test, masukkan nama untuk pengujian unit.

4. Klik Create.

5. Di panel detail tugas, klik Open untuk membuka pengujian unit.

6. Konfigurasi input dan baris output yang diharapkan untuk pengujian unit.

   Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi pengujian unit, lihat Menguji kualitas data.

7. Opsional: Untuk memastikan bahwa input dan output sesuai dengan yang Anda harapkan, klik Run task dan pilih pernyataan yang diharapkan atau yang sebenarnya.

8. Klik Run untuk menjalankan pengujian kualitas data sebagai bagian dari urutan pipeline Anda.

Mengedit tugas pipeline

Untuk mengedit tugas pipeline, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik  Explorer:

   

   Jika Anda tidak melihat panel kiri, klik  Luaskan panel kiri untuk membuka panel.

3. Di panel Explorer, luaskan project Anda, klik Pipelines, lalu pilih pipeline.

4. Klik tugas yang dipilih.

5. Untuk mengubah tugas sebelumnya, di menu Run after, pilih tugas yang akan mendahului tugas Anda.

6. Untuk mengedit konten tugas yang dipilih, klik Edit.

7. Di tab baru yang terbuka, edit konten tugas, lalu simpan perubahan pada tugas.

Menghapus tugas pipeline

Untuk menghapus tugas dari pipeline, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik  Explorer:

   

   Jika Anda tidak melihat panel kiri, klik  Luaskan panel kiri untuk membuka panel.

3. Di panel Explorer, luaskan project Anda, klik Pipelines, lalu pilih pipeline.

4. Klik tugas yang dipilih.

5. Di panel Task details, klik Delete Delete.

Membagikan pipeline

Penting: Jika Anda meningkatkan keamanan dengan menetapkan kolom enable_private_workspace (Pratinjau) ke true dalam metode Dataform API projects.locations.updateConfig, hanya pembuat pipeline yang dapat membaca dan menulis kode di pipeline tersebut. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan ruang kerja pribadi.

Catatan: Anda dapat membagikan pipeline, tetapi tidak dapat membagikan tugas dalam pipeline.

Untuk membagikan pipeline, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik  Explorer:

   

   Jika Anda tidak melihat panel kiri, klik  Luaskan panel kiri untuk membuka panel.

3. Di panel Explorer, luaskan project Anda, klik Pipelines, lalu pilih pipeline.

4. Klik Share, lalu pilih Manage permissions.

5. Klik Tambahkan pengguna/grup.

6. Di kolom New principals, masukkan nama setidaknya satu pengguna atau grup.

7. Untuk Assign Roles, pilih peran.

8. Klik Simpan.

Membagikan link ke pipeline

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik  Explorer:

   

   Jika Anda tidak melihat panel kiri, klik  Luaskan panel kiri untuk membuka panel.

3. Di panel Explorer, luaskan project Anda, klik Pipelines, lalu pilih pipeline.

4. Klik Bagikan, lalu pilih Bagikan link. URL untuk pipeline Anda disalin ke papan klip komputer Anda.

Menjalankan pipeline

Saat menjalankan pipeline, Anda dapat memilih untuk menjalankan semua tugas dalam pipeline, memilih tugas tertentu secara manual untuk dijalankan, menjalankan tugas dengan tag yang dipilih, atau menjalankan pengujian unit.

Menjalankan semua tugas dalam pipeline

Untuk menjalankan versi pipeline saat ini secara manual, pilih salah satu opsi berikut:

Konsol

Untuk menjalankan semua tugas dalam pipeline, lakukan hal berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik  Explorer:

   

   Jika Anda tidak melihat panel kiri, klik  Luaskan panel kiri untuk membuka panel.

3. Di panel Explorer, luaskan project Anda, klik Pipelines, lalu pilih pipeline.

4. Klik  Run > Run all tasks. Jika Anda memilih Run with my user credentials untuk autentikasi, Anda harus memberikan otorisasi ke Akun Google Anda.

5. Opsional: Untuk memeriksa operasi, lihat operasi manual sebelumnya.

API

Catatan: Dataform API tidak mendukung kredensial pengguna untuk menjalankan pipeline. Anda harus memilih akun layanan di bagian Authentication pada setelan pipeline untuk menggunakan API.

Untuk menjalankan pipeline secara manual, kompilasi ruang kerja default dan gunakan hasil kompilasi untuk membuat pemanggilan alur kerja.

1. Untuk membuat hasil kompilasi untuk ruang kerja default, gunakan metode projects.locations.repositories.compilationResults.create.

   Jalankan permintaan API dengan informasi berikut:

   curl -X POST \
      -H "Authorization: Bearer $(gcloud auth print-access-token)" \
      -H "Content-Type: application/json" \
      -d '{
         "workspace": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/default"
      }' \
      "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults"
   

   Ganti kode berikut:

   • LOCATION: region Google Cloud untuk repositori Anda, misalnya, us-central1. Anda dapat menemukan lokasi repositori di konsol Google Cloud dengan membuka panel Explorer, memilih pipeline, membuka tab Settings, dan mengklik Open pipeline in Dataform. Lokasi berada di URL dalam format /locations/LOCATION/.
   • PROJECT_ID: ID unik project Google Cloud Anda.
   • REPOSITORY_ID: ID unik untuk repositori Dataform Anda, misalnya, my-secure-repo. Anda dapat menemukan ID repositori di konsol Google Cloud dengan membuka panel Explorer, memilih pipeline, membuka tab Settings, dan melihat kolom Dataform repository ID.

2. Dalam isi respons, temukan kolom name dan salin nilainya, misalnya, projects/my-project/locations/us-central1/repositories/my-repo/compilationResults/12345-67890.

3. Picu proses pipeline menggunakan metode projects.locations.repositories.workflowInvocations.create.

   Jalankan permintaan API dengan informasi berikut:

   curl -X POST \
      -H "Authorization: Bearer $(gcloud auth print-access-token)" \
      -H "Content-Type: application/json" \
      -d '{
         "compilationResult": "COMPILATION_RESULT"
      }' \
      "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations"
   

   Ganti kode berikut:

   • COMPILATION_RESULT: nama resource lengkap hasil kompilasi yang Anda salin di langkah sebelumnya.
   • LOCATION: region Google Cloud untuk repositori Anda, misalnya, us-central1.
   • PROJECT_ID: ID unik project Google Cloud Anda.
   • REPOSITORY_ID: ID unik untuk repositori Dataform Anda, misalnya, my-secure-repo.

Menjalankan tugas yang dipilih dalam pipeline

Untuk menjalankan tugas yang dipilih dalam pipeline, lakukan hal berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik  Explorer:

   

   Jika Anda tidak melihat panel kiri, klik  Luaskan panel kiri untuk membuka panel.

3. Di panel Explorer, luaskan project Anda, klik Pipelines, lalu pilih pipeline.

4. Klik  Run > Select tasks to run.

5. Di panel Run, di bagian Authentication, beri otorisasi eksekusi dengan kredensial pengguna untuk Akun Google atau akun layanan Anda.

   • Untuk menggunakan kredensial pengguna untuk Akun Google Anda, pilih Run with user credentials.

     Optional: In the **Extended access options** section, select the
     additional services that your pipeline requires:
     
     - **Knowledge Catalog**: Allows Google Cloud Knowledge Catalog metadata updates.
     - **Google Drive**: Allows read-only access to Google Drive files.
     - **Bigtable**: Allows read-only access to Google
       Bigtable data.
     

   • Untuk menggunakan akun layanan kustom, pilih Run with selected service account, lalu pilih akun layanan kustom.

     Catatan: Untuk melihat akun layanan di menu, Anda harus memiliki izin iam.serviceAccounts.list di level project, yang tersedia dalam peran Lihat Akun Layanan (roles/iam.serviceAccountViewer). Jika tidak memiliki izin ini, Anda dapat memilih akun layanan dengan mengklik Masukkan secara manual dan memasukkan ID akun layanan.

     Jika Anda perlu membuat akun layanan, klik New service account.

6. Pastikan Selection of tasks dipilih.

7. Di menu Select tasks to run, telusuri tugas tertentu dan pilih tugas yang ingin Anda jalankan.

   Tabel Tasks mencantumkan tugas yang telah Anda pilih. Klik nama tugas untuk membukanya langsung di editor SQL.

8. Opsional: Konfigurasikan opsi eksekusi berikut:

   • Include dependencies: pilih opsi ini untuk menjalankan tugas yang dipilih dan dependensinya.
   • Sertakan dependensi: pilih opsi ini untuk menjalankan tugas yang dipilih dan dependensi downstream transitifnya.
   • Run with full refresh: pilih opsi ini untuk membangun ulang semua tabel dari awal.
   • Run as interactive job with high priority (default): pilih opsi ini untuk menetapkan prioritas tugas kueri BigQuery. Secara default, BigQuery menjalankan kueri sebagai tugas kueri interaktif, yang dimaksudkan untuk mulai berjalan secepat mungkin. Jika opsi ini tidak dicentang, kueri akan dijalankan sebagai tugas kueri batch, yang memiliki prioritas lebih rendah.

9. Klik Run. Jika Anda memilih Run with user credentials untuk metode autentikasi, Anda harus memberikan otorisasi ke Akun Google Anda (Pratinjau).

10. Opsional: Untuk memeriksa operasi, lihat operasi manual sebelumnya.

Menjalankan tugas dengan tag yang dipilih dalam pipeline

Untuk menjalankan tugas dengan tag yang dipilih dalam pipeline, lakukan hal berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik  Explorer:

   

   Jika Anda tidak melihat panel kiri, klik  Luaskan panel kiri untuk membuka panel.

3. Di panel Explorer, luaskan project Anda, klik Pipelines, lalu pilih pipeline.

4. Klik  Run > Run by tag, lalu lakukan salah satu hal berikut:

   • Klik tag yang ingin Anda jalankan.
   • Klik  Select tags to run.

5. Di panel Run, di bagian Authentication, beri otorisasi eksekusi dengan kredensial pengguna untuk Akun Google atau akun layanan Anda.

   • Untuk menggunakan kredensial pengguna untuk Akun Google Anda, pilih Run with user credentials.

     Optional: In the **Extended access options** section, select the
     additional services that your pipeline requires:
     
     - **Knowledge Catalog**: Allows Google Cloud Knowledge Catalog metadata updates.
     - **Google Drive**: Allows read-only access to Google Drive files.
     - **Bigtable**: Allows read-only access to Google
       Bigtable data.
     

   • Untuk menggunakan akun layanan kustom, pilih Run with selected service account, lalu pilih akun layanan kustom.

     Catatan: Untuk melihat akun layanan di menu, Anda harus memiliki izin iam.serviceAccounts.list di level project, yang tersedia dalam peran Lihat Akun Layanan (roles/iam.serviceAccountViewer). Jika tidak memiliki izin ini, Anda dapat memilih akun layanan dengan mengklik Masukkan secara manual dan memasukkan ID akun layanan.

     Jika Anda perlu membuat akun layanan, klik New service account.

6. Pastikan Selection of tags dipilih.

7. Di menu Pilih tag untuk dijalankan, telusuri tag tertentu dan pilih tag yang ingin Anda jalankan.

   Tabel Tasks mencantumkan tugas yang telah Anda pilih. Klik nama tugas untuk membukanya langsung di editor SQL.

8. Opsional: Konfigurasikan opsi eksekusi berikut:

   • Include dependencies: pilih opsi ini untuk menjalankan tugas yang dipilih dan dependensinya.
   • Sertakan dependensi: pilih opsi ini untuk menjalankan tugas yang dipilih dan dependensi downstream transitifnya.
   • Run with full refresh: pilih opsi ini untuk membangun ulang semua tabel dari awal.
   • Run as interactive job with high priority (default): pilih opsi ini untuk menetapkan prioritas tugas kueri BigQuery. Secara default, BigQuery menjalankan kueri sebagai tugas kueri interaktif, yang dimaksudkan untuk mulai berjalan secepat mungkin. Jika opsi ini tidak dicentang, kueri akan dijalankan sebagai tugas kueri batch, yang memiliki prioritas lebih rendah.

9. Klik Run. Jika Anda memilih Run with user credentials untuk metode autentikasi, Anda harus memberikan otorisasi ke Akun Google Anda (Pratinjau).

10. Opsional: Untuk memeriksa operasi, lihat operasi manual sebelumnya.

Menjalankan pengujian unit dalam pipeline

Anda menentukan pengujian unit di Dataform dengan membuat file pengujian .sqlx di direktori definitions/ repositori Anda. Setelah membuat pengujian unit di Dataform, Anda dapat menjalankannya langsung di pipeline BigQuery untuk memvalidasi logika transformasi SQL Anda terhadap set data tiruan.

Untuk menjalankan pengujian unit di pipeline, lakukan hal berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik  Explorer:

   

   Jika Anda tidak melihat panel kiri, klik  Luaskan panel kiri untuk membuka panel.

3. Di panel Explorer, luaskan project Anda, klik Pipelines, lalu pilih pipeline.

4. Klik  Run.

5. Di panel Run, di bagian Authentication, beri otorisasi eksekusi dengan kredensial pengguna untuk Akun Google Anda atau akun layanan:

   • Untuk menggunakan kredensial pengguna untuk Akun Google Anda (Pratinjau), pilih Run with user credentials.

     Optional: In the **Extended access options** section, select the
     additional services that your pipeline requires:
     
     - **Knowledge Catalog**: Allows Google Cloud Knowledge Catalog metadata updates.
     - **Google Drive**: Allows read-only access to Google Drive files.
     - **Bigtable**: Allows read-only access to Google
       Bigtable data.
     

   • Untuk menggunakan akun layanan kustom, pilih Run with selected service account, lalu pilih akun layanan kustom.

     Untuk melihat akun layanan di menu, Anda harus memiliki izin iam.serviceAccounts.list di level project, yang tersedia dalam peran Lihat Akun Layanan (roles/iam.serviceAccountViewer). Jika tidak memiliki izin ini, Anda dapat memilih akun layanan dengan mengklik Masukkan secara manual dan memasukkan ID akun layanan.

     Jika Anda perlu membuat akun layanan, klik New service account.

6. Di bagian Execution mode, pilih Unit tests.

7. Pilih salah satu opsi cakupan eksekusi berikut:

   • Pilih pengujian unit: telusuri dan pilih pengujian unit tertentu dari pipeline Anda.
   • Select unit test tags: memfilter dan menjalankan pengujian unit yang diberi tag tertentu.
   • All Unit Tests: menjalankan semua pengujian unit yang ditentukan dalam pipeline.

8. Opsional: Di bagian Execution options, centang kotak Execute as interactive job with high priority untuk segera menjalankan pengujian unit, dengan memprioritaskan kecepatan eksekusi.

   Jika Anda tidak mencentang kotak Execute as interactive job with high priority, Dataform akan menjalankan pengujian unit menggunakan resource batch secara default, dengan memprioritaskan penghematan biaya komputasi.

9. Klik Run. Jika Anda memilih Run with user credentials untuk metode autentikasi, Anda harus memberikan otorisasi ke Akun Google Anda (Pratinjau).

10. Opsional: Untuk memeriksa operasi, lihat operasi manual sebelumnya.

Memberi otorisasi pada Akun Google Anda

Untuk mengautentikasi resource dengan kredensial pengguna Akun Google Anda, Anda harus memberikan izin secara manual agar pipeline BigQuery mendapatkan token akses untuk Akun Google Anda dan mengakses data sumber atas nama Anda. Anda dapat memberikan persetujuan manual dengan antarmuka dialog OAuth. Jika Anda memilih Opsi akses yang diperluas, Anda harus memberikan akses ke layanan tersebut—misalnya, Google Drive atau Knowledge Catalog.

Catatan: Kebijakan Akses Kontekstual (CAA)—termasuk kebijakan berbasis IP, berbasis geolokasi, dan kepatuhan perangkat—tidak didukung saat menjalankan atau menjadwalkan pipeline BigQuery dengan kredensial pengguna untuk Akun Google, karena permintaan token berasal dari infrastruktur Google. Kebijakan CAA memblokir eksekusi ini kecuali jika client ID OAuth Dataform dikecualikan dari kebijakan.

Anda hanya perlu memberikan izin ke pipeline BigQuery satu kali.

Untuk mencabut izin yang telah Anda berikan, ikuti langkah-langkah berikut:

1. Buka halaman Akun Google Anda.
2. Klik BigQuery Pipelines.
3. Klik Hapus akses.

Peringatan: Mencabut izin akses akan mencegah proses pipeline di masa mendatang yang dimiliki Akun Google ini di semua region.

Jika pipeline Anda berisi notebook, Anda juga harus memberikan izin secara manual agar Colab Enterprise mendapatkan token akses untuk Akun Google Anda dan mengakses data sumber atas nama Anda. Anda hanya perlu memberikan izin sekali. Anda dapat mencabut izin ini di halaman Akun Google.

Langkah berikutnya

• Pelajari lebih lanjut pipeline BigQuery.
• Pelajari cara mengelola pipeline.
• Pelajari cara menjadwalkan pipeline.
• Pelajari cara mengelola kode dengan repositori Git BigQuery Studio.
• Pelajari cara mengatur aset kode dengan folder.
• Pelajari cara menguji kualitas data dengan pengujian unit.