Menggunakan Agen Data Engineering untuk membangun dan memodifikasi pipeline data

Agen Data Engineering di BigQuery dan Dataform memungkinkan Anda membangun, mengubah, dan mengelola pipeline data untuk memuat dan memproses data di BigQuery. Anda dapat menggunakan perintah bahasa alami untuk membuat pipeline data dari berbagai sumber data atau menyesuaikan pipeline data yang ada agar sesuai dengan kebutuhan data engineering Anda.

Agen ini menghasilkan dan mengatur kode pipeline data langsung dalam repositori Dataform dan beroperasi di ruang kerja Dataform, sehingga pipeline Dataform otomatis tersedia untuk agen. Anda juga dapat berinteraksi dengan agen menggunakan Data Engineering Agent API, yang menggunakan protokol A2A. Untuk contoh perintah yang dapat Anda gunakan, lihat Contoh perintah.

Agen Data Engineering didukung oleh Gemini untuk Google Cloud dan mendukung fungsi AI dan ML BigQuery untuk membangun pengayaan AI batch, penelusuran semantik, dan pipeline machine learning di Dataform. Untuk mengetahui informasi selengkapnya, lihat Dukungan AI dan ML BigQuery.

Batasan

Agen Data Engineering memiliki batasan berikut:

• Agen Data Engineering tidak mendukung perintah bahasa alami untuk jenis file berikut:
  • Notebook
  • Persiapan data
• Agen Data Engineering tidak dapat menjalankan pipeline. Anda harus meninjau dan menjalankan atau menjadwalkan pipeline.
• Agen Data Engineering tidak dapat menelusuri link web atau URL apa pun yang diberikan melalui petunjuk atau perintah langsung.
• Saat mengimpor file dalam file petunjuk agen, sintaksis impor @ hanya mendukung jalur yang diawali dengan ./, /, atau huruf.
• Fitur pratinjau data hanya didukung untuk tabel, deklarasi, atau kueri dengan flag hasOutput yang ditetapkan ke true.
• Agen Data Engineering tunduk pada batasan umum teknologi AI.
• Saat membuat pipeline di tabel eksternal Apache Iceberg yang dikelola oleh katalog runtime Lakehouse (sebelumnya BigLake metastore), semua batasan katalog runtime Lakehouse berlaku. Terutama, agen tidak dapat menghasilkan mutasi tulis (seperti INSERT, UPDATE, DELETE, atau MERGE) atau pernyataan DDL (seperti CREATE TABLE atau DROP TABLE) pada tabel Iceberg. Untuk mengetahui informasi selengkapnya, lihat Konsep endpoint katalog REST Apache Iceberg.

Sebelum memulai

Sebelum menggunakan Agen Data Engineering, lakukan langkah-langkah di bagian ini.

Mengaktifkan Gemini di BigQuery

Pastikan Gemini in BigQuery diaktifkan untuk projectGoogle Cloud Anda. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan Gemini di BigQuery.

Mengaktifkan API yang diperlukan

Catatan: Jika Anda tidak memiliki izin untuk mengaktifkan API, minta administrator project untuk mengaktifkan API untuk Anda dari dasbor API & Layanan. Atau, administrator project Anda dapat memberi Anda peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang memungkinkan Anda mengelola API untuk project saat ini.

console

Aktifkan API berikut di konsol Google Cloud untuk project Google Cloud yang Anda gunakan dengan Conversational Analytics API, jika belum diaktifkan.

Mengaktifkan Gemini Data Analytics API

Mengaktifkan Gemini for Google Cloud API

Mengaktifkan BigQuery API

Tips: Setelah Anda mengaktifkan API, muat ulang halaman konsol Google Cloud untuk mengonfirmasi bahwa API tersebut telah diaktifkan.

gcloud

Untuk mengaktifkan Gemini Data Analytics API, Gemini for Google Cloud API, dan BigQuery API, jika belum diaktifkan, gunakan Google Cloud CLI dan jalankan perintah gcloud services enable berikut:

gcloud services enable geminidataanalytics.googleapis.com --project=PROJECT_ID
gcloud services enable cloudaicompanion.googleapis.com --project=PROJECT_ID
gcloud services enable bigquery.googleapis.com --project=PROJECT_ID

Ganti PROJECT_ID dengan project ID Google Cloud Anda.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menggunakan Agen Data Engineering, minta administrator untuk memberi Anda peran IAM berikut pada project:

• Dataform Code Editor (roles/dataform.codeEditor)
• BigQuery Job User (roles/bigquery.jobUser)
• Gemini Data Analytics Stateless Chat User (roles/geminidataanalytics.dataAgentStatelessUser)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran yang telah ditetapkan ini berisi izin geminidataanalytics.locations.useDataEngineeringAgent, yang diperlukan untuk menggunakan Agen Data Engineering.

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui detail tentang peran yang diperlukan untuk mengkueri tabel Apache Iceberg, lihat Peran yang diperlukan untuk dukungan Apache Iceberg Lakehouse.

Prasyarat integrasi Knowledge Catalog

Untuk mendapatkan izin yang diperlukan untuk mengintegrasikan Agen Data Engineering dengan Knowledge Catalog, minta administrator untuk memberi Anda peran IAM Dataplex Catalog Editor (roles/dataplex.catalogEditor) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran yang telah ditetapkan ini berisi izin geminidataanalytics.locations.useDataEngineeringAgent, yang diperlukan untuk mengintegrasikan Agen Data Engineering dengan Knowledge Catalog.

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Jika Anda menggunakan akun layanan kustom untuk menjalankan pipeline, Anda harus memberikan peran Dataplex Catalog Editor (roles/dataplex.catalogEditor) pada project atau grup entri @bigquery. Selain itu, Anda harus mengaktifkan Dataplex API.

Mengenkripsi data dengan kunci Cloud Key Management Service

Anda dapat mengenkripsi data di tingkat set data atau project dengan kunci Cloud Key Management Service default yang dikelola pelanggan di BigQuery. Untuk mengetahui informasi selengkapnya, lihat Menetapkan kunci default set data dan Menetapkan kunci default project.

Anda dapat mengenkripsi kode pipeline di level project dengan menetapkan kunci Cloud Key Management Service Dataform default.

Mengonfigurasi perimeter Kontrol Layanan VPC

Jika menggunakan Kontrol Layanan VPC, Anda harus mengonfigurasi perimeter untuk melindungi Dataform, BigQuery, dan Conversational Analytics API. Untuk mengetahui informasi selengkapnya, lihat Dataform, BigQuery, dan Conversational Analytics API.

Membuat pipeline data dengan Agen Data Engineering

Untuk menggunakan Agen Data Engineering di BigQuery, pilih salah satu opsi berikut:

Pipeline BigQuery

Anda dapat menggunakan Agen Data Engineering di antarmuka pipeline BigQuery dengan melakukan hal berikut:

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, klik arrow_drop_down Create new > Pipeline.

3. Di antarmuka pipeline, klik Ask agent.

4. Di kolom Ask agent, masukkan perintah bahasa alami untuk membuat pipeline data—misalnya:

     Create dimension tables for a taxi trips star schema from
     new_york_taxi_trips.tlc_green_trips_2022. Generate surrogate keys and all
     the descriptive attributes.
   

   Setelah Anda memasukkan perintah, klik Kirim.

5. Agen Data Engineering membuat pipeline data berdasarkan perintah Anda.

Agen Data Engineering membuat draf usulan pipeline data. Anda dapat mengklik node pipeline untuk meninjau kueri SQLX yang dihasilkan. Untuk menerapkan pipeline data yang disarankan agen, klik Apply.

Dataform

Anda dapat menggunakan Agen Data Engineering di Dataform dengan melakukan hal berikut:

1. Buka Dataform.

   Buka Dataform

2. Pilih repositori.

3. Pilih atau buat ruang kerja pengembangan.

4. Di ruang kerja, klik Ask Agent.

5. Di perintah Ask agent yang muncul, masukkan perintah bahasa alami untuk membuat pipeline data—misalnya:

     Create dimension tables for a taxi trips star schema from
     new_york_taxi_trips.tlc_green_trips_2022. Generate surrogate keys and all
     the descriptive attributes.
   

   Setelah Anda memasukkan perintah, klik Kirim.

Setelah perintah Anda dikirim, Agen Data Engineering akan membuat pipeline data dan mengubah file SQLX Dataform berdasarkan perintah Anda. Agen akan menerapkan perubahan ini langsung ke file ruang kerja Anda.

Mengedit pipeline data

Untuk mengedit pipeline data, klik Ask agent, lalu masukkan perintah yang menyarankan perubahan pada pipeline data.

Tinjau perubahan yang diusulkan oleh Agen Data Engineering, lalu klik Terapkan untuk menerapkan perubahan.

Anda juga dapat mengedit kueri SQLX secara manual dengan memilih node pipeline, lalu mengklik Open.

Meninjau pipeline data

Anda dapat mengklik node pipeline di pipeline data yang dibuat oleh Agen Data Engineering untuk meninjaunya.

• Tab Configuration menampilkan kueri SQLX yang dihasilkan yang terkait dengan node.
• Tab Pratinjau data menampilkan tabel input dan output file. Anda dapat melihat pratinjau transformasi data melalui node ini dengan mengklik Run task untuk menjalankan tugas dengan atau tanpa dependensi.

Memecahkan masalah error pipeline data

Jika Anda mengalami error saat membuat pipeline data, selesaikan semua prasyarat untuk menjalankan Agen Data Engineering.

Error dalam pipeline Anda muncul sebagai operasi eksekusi yang gagal di tab Executions. Untuk menggunakan Agen Data Engineering guna menjalankan analisis akar masalah dan mendapatkan rekomendasi pemecahan masalah, lakukan hal berikut:

1. Di tab Executions, klik status eksekusi yang gagal, lalu klik Investigate.

   

   Panel Ask agent akan terbuka dengan permintaan yang meminta agen untuk melakukan analisis penyebab utama untuk operasi yang gagal.

2. Tinjau laporan pemecahan masalah dari agen.

Laporan pemecahan masalah mencakup informasi selengkapnya tentang error dalam proses pembuatan pipeline. Anda dapat meminta agen untuk memperbaiki error pipeline ini berdasarkan laporan.

Membuat petunjuk agen

Petunjuk agen adalah petunjuk natural language untuk Agen Data Engineering yang memungkinkan Anda menyimpan petunjuk persisten sehingga agen mengikuti serangkaian aturan kustom yang telah ditetapkan sebelumnya. Gunakan petunjuk agen jika Anda ingin hasil agen konsisten di seluruh organisasi—misalnya, dengan konvensi penamaan atau untuk menerapkan panduan gaya.

Anda dapat membuat file konteks GEMINI.MD sebagai file petunjuk agen untuk Agen Data Engineering. Anda dapat membuat file petunjuk agen untuk digunakan di ruang kerja lokal, atau Anda dapat menggunakan file petunjuk yang sama di beberapa pipeline data dengan repositori eksternal.

Untuk membuat petunjuk agen, lakukan hal berikut:

1. Di bagian Ask agent, klik Pipeline instructions.
2. Di panel Instructions for pipeline, klik Create instructions file.

3. Dalam file GEMINI.MD yang muncul, masukkan petunjuk Anda dalam bahasa alami.

   Contoh berikut menunjukkan file petunjuk agen dengan beberapa aturan:

     1. All event-specific tables MUST be prefixed with `cs_event_`.
     2. The primary key for any player activity table is a composite key of `player_id` and `event_timestamp_micros`.
     3. Filter out any player actions where `mana_spent` is greater than `max_mana_pool`. This is considered a data anomaly.
   

4. Klik Simpan.

Untuk mengetahui informasi tentang cara terbaik menyusun file petunjuk agen, lihat Praktik terbaik dengan file petunjuk agen.

Memuat petunjuk agen dari repositori eksternal

Untuk menggunakan kembali serangkaian petunjuk agen di beberapa pipeline data, tautkan repositori eksternal:

1. Di bagian Ask agent, klik Pipeline instructions.
2. Di bagian External repository, pilih Use instructions from external repository.
3. Di kolom yang disediakan, tentukan repositori yang berisi petunjuk agen yang ingin Anda gunakan dengan pipeline data.
4. Klik Simpan.

Dukungan AI dan ML BigQuery

Agen Data Engineering mendukung banyak fungsi dan pernyataan objek, ML, dan AI BigQuery dalam pipeline SQLX Dataform yang dihasilkan dan dalam file petunjuk agen (GEMINI.MD) yang Anda buat, termasuk berikut ini:

• AI.FORECAST
• AI.DETECT_ANOMALIES
• AI.CAUSAL_EFFECT
• AI.EVALUATE
• AI.KEY_DRIVERS
• AI.GENERATE
• AI.GENERATE_TABLE
• AI.GENERATE_EMBEDDING
• AI.IF
• AI.SCORE
• AI.CLASSIFY
• AI.SEARCH
• AI.SIMILARITY
• AI.AGG
• CREATE MODEL (termasuk LOGISTIC_REG, KMEANS, CONTRIBUTION_ANALYSIS, model jarak jauh (REMOTE WITH CONNECTION), dan klausa TRANSFORM)
• CREATE TABLE dengan pembuatan embedding otonom (AI.EMBED)
• ML.PREDICT
• ML.EVALUATE
• ML.CORRELATION
• ML.DETECT_CHANGE_POINTS
• ML.GET_INSIGHTS
• ML.SEASONALITY
• ML.TREND
• ML.VALIDATE_DATA_DRIFT
• VECTOR_SEARCH
• OBJ.GET_ACCESS_URL

Untuk menjalankan pipeline Dataform yang berisi fungsi AI generatif atau model jarak jauh, akun layanan atau pengguna yang menjalankan pipeline harus memiliki izin yang diperlukan untuk menjalankan kueri AI generatif. Saat Agen Data Engineering membuat pernyataan DDL seperti CREATE MODEL atau CREATE TABLE dengan pembuatan embedding otonom, agen tersebut akan mengonfigurasinya sebagai tindakan operations Dataform (type: "operations") dengan hasOutput: true sehingga node pipeline downstream dapat mereferensikannya menggunakan ${ref("RESOURCE_NAME")}. Agen hanya menggunakan fungsi AI.SEARCH pada tabel yang mengaktifkan pembuatan embedding otonom.

Saat menggunakan fungsi ObjectRef, pengguna juga harus memiliki akses yang didelegasikan ke bucket Cloud Storage yang mendasarinya. Untuk mengetahui informasi selengkapnya, lihat Akses yang didelegasikan.

Untuk mengetahui informasi selengkapnya tentang fungsi AI dan ML di BigQuery, lihat Pengantar AI di BigQuery.

Kasus penggunaan

Untuk mengaktifkan fungsi AI dan ML yang didukung di pipeline data Anda, gunakan fungsi tersebut dengan cara berikut:

• Minta Agen Data Engineering untuk membangun atau mengubah pipeline—misalnya, jika Anda adalah data engineer yang membangun pipeline ELT terjadwal yang memperkaya teks mentah, mengekstrak kolom terstruktur dari dokumen tidak terstruktur, atau memberi skor pada data baru—agen akan membuat file SQLX Dataform dan grafik dependensi yang sesuai.

• Tentukan aturan pipeline persisten dalam file petunjuk agen (GEMINI.MD)—misalnya, untuk menstandarkan endpoint model, ID koneksi, atau nilai minimum anomali default di seluruh pipeline organisasi Anda.

Tabel berikut menunjukkan contoh perintah yang mengaktifkan penggunaan fungsi AI atau ML untuk pipeline data batch:

Kasus penggunaan	Contoh penggunaan	Set data publik
Peringkasan teks batch (AI.GENERATE)	"Buat tabel staging dari bigquery-public-data.bbc_news.fulltext untuk artikel 'olahraga' dan tambahkan kolom yang meringkas kolom isi dalam 1-2 kalimat."	bigquery-public-data.bbc_news.fulltext
Ekstraksi skema terstruktur (AI.GENERATE_TABLE)	"Buat tabel pipeline yang mengekstrak skema terstruktur (company_name STRING, key_topic STRING, is_earnings_related BOOL) dari kolom isi artikel bisnis di bigquery-public-data.bbc_news.fulltext."	bigquery-public-data.bbc_news.fulltext
Pengayaan objek multimodal (OBJ.GET_ACCESS_URL)	"Buat tabel objek eksternal di bucket gambar produk Cloud Storage dan buat tabel downstream yang menghasilkan array image_description dan entities untuk setiap gambar menggunakan OBJ.GET_ACCESS_URL."	Tabel objek Cloud Storage (misalnya, gs://cloud-samples-data/bigquery/tutorials/cymbal-pets/images/*.png)
Pemfilteran data semantik (AI.IF)	"Buat tabel artikel teknologi yang telah dibersihkan dari bigquery-public-data.bbc_news.fulltext, dengan memfilter untuk hanya mempertahankan baris yang membahas terobosan dalam kecerdasan buatan."	bigquery-public-data.bbc_news.fulltext
Pemberian skor sentimen batch (AI.SCORE)	"Buat tabel yang diperkaya dari bigquery-public-data.bbc_news.fulltext untuk kategori hiburan dengan kolom sentiment_score numerik yang menilai tingkat sentimen positif."	bigquery-public-data.bbc_news.fulltext
Klasifikasi taksonomi otomatis (AI.CLASSIFY)	"Dengan menggunakan ulasan film di bigquery-public-data.imdb.reviews, kategorikan setiap ulasan secara otomatis ke dalam tingkat taksonomi editorial kami untuk Arketipe Narasi (misalnya, 'Studi Karakter', 'Tontonan Aksi', 'Thriller Psikologis') dan Suasana Menonton (misalnya, 'Gelap & Menegangkan', 'Menggembirakan', 'Mencekam'). Tulis hasilnya bersama dengan metadata film ke dalam tabel yang diseleksi."	bigquery-public-data.imdb.reviews
Rollup semantik yang dikelompokkan (AI.AGG)	"Untuk setiap film di bigquery-public-data.imdb.reviews, gabungkan semua masukan audiens dari ratusan ulasan menjadi ringkasan eksekutif gabungan yang menyoroti penerimaan kritis konsensus, pujian teratas, dan keluhan penonton yang berulang. Kelompokkan hasilnya berdasarkan movie_id dan judul bersama dengan metrik seperti jumlah total ulasan dan rating rata-rata untuk menghasilkan tabel kecerdasan tingkat film yang terpadu bagi eksekutif studio dan tim pemasaran."	bigquery-public-data.imdb.reviews
Pembuatan embedding batch (AI.GENERATE_EMBEDDING)	"Buat node pipeline yang menghasilkan embedding vektor untuk kolom ulasan di bigquery-public-data.imdb.reviews dan mewujudkannya ke dalam tabel fitur."	bigquery-public-data.imdb.reviews
Embedding otonom dan penelusuran semantik (AI.EMBED, AI.SEARCH)	"Buat tabel ulasan film dengan pembuatan embedding otonom yang diaktifkan di kolom ulasan, dan buat tabel pelaporan downstream yang menemukan 10 ulasan teratas yang cocok dengan 'tension-building psychological thriller'."	bigquery-public-data.imdb.reviews
Perkiraan permintaan terjadwal (AI.FORECAST)	"Buat tabel pelaporan harian yang memperkirakan jumlah perjalanan berbagi sepeda per hari selama 30 hari ke depan dari bigquery-public-data.san_francisco_bikeshare.bikeshare_trips."	bigquery-public-data.san_francisco_bikeshare.bikeshare_trips
Deteksi anomali pipeline (AI.DETECT_ANOMALIES)	"Buat tabel pemantauan yang mendeteksi anomali volume perjalanan harian pada tahun 2018 menggunakan tahun 2017 sebagai dasar pengukuran historis dari bigquery-public-data.san_francisco_bikeshare.bikeshare_trips."	bigquery-public-data.san_francisco_bikeshare.bikeshare_trips
Pelaporan pendorong utama otomatis (AI.KEY_DRIVERS)	"Buat tabel pelaporan yang mengidentifikasi pendorong utama perubahan volume perjalanan antara tahun 2017 dan 2018 menggunakan bigquery-public-data.austin_bikeshare.bikeshare_trips."	bigquery-public-data.austin_bikeshare.bikeshare_trips
Deteksi titik perubahan (ML.DETECT_CHANGE_POINTS)	"Buat tabel yang mendeteksi titik perubahan struktural dalam volume perjalanan harian dari bigquery-public-data.san_francisco_bikeshare.bikeshare_trips."	bigquery-public-data.san_francisco_bikeshare.bikeshare_trips
Pelatihan model dengan pra-pemrosesan, evaluasi & penskoran batch (CREATE MODEL, TRANSFORM, ML.EVALUATE, ML.PREDICT)	"Buat pipeline Dataform di bigquery-public-data.ml_datasets.census_adult_income yang melatih model regresi logistik dengan klausa TRANSFORM untuk memprediksi income_bracket, mengevaluasi model dalam tabel evaluasi, dan menghasilkan prediksi batch ke tabel penskoran."	bigquery-public-data.ml_datasets.census_adult_income
Segmentasi pelanggan (CREATE MODEL dengan KMEANS)	"Buat pipeline yang melatih model pengelompokan K-means pada pengukuran fisik penguin dari bigquery-public-data.ml_datasets.penguins dan menetapkan ID cluster ke tabel output yang tersegmentasi."	bigquery-public-data.ml_datasets.penguins
Validasi pergeseran data otomatis (ML.VALIDATE_DATA_DRIFT)	"Tambahkan tabel pemantauan ke pipeline yang memvalidasi pergeseran fitur antara tabel perjalanan dasar pengukuran tahun 2017 dan tabel perjalanan inferensi tahun 2018 dari bigquery-public-data.san_francisco_bikeshare.bikeshare_trips."	bigquery-public-data.san_francisco_bikeshare.bikeshare_trips

Contoh perintah

Bagian berikut memberikan contoh perintah yang dapat Anda gunakan dengan Agen Data Engineering untuk mengembangkan pipeline data Anda.

Menggabungkan data yang ada ke dalam tabel baru

Dengan perintah ini, Agen Data Engineering menggunakan skema dan sampel untuk menyimpulkan pengelompokan data berdasarkan kunci. Agen biasanya menyiapkan konfigurasi tabel baru dengan deskripsi tabel dan kolom.

  Create a daily sales report from the
  bigquery-public-data.thelook_ecommerce.order_items table into a
  reporting.daily_sales_aggregation table.

Membuat kolom turunan baru dan menambahkan pemeriksaan kualitas data ke tabel baru

Perintah ini menunjukkan cara menambahkan tabel dan kolom, serta menentukan pemeriksaan kualitas ke tabel secara bersamaan:

  Create a new table named staging.products from
  bigquery-public-data.thelook_ecommerce.products and add a calculated column
  named gross_profit, which is the retail_price minus the cost.


  Also, add the following assertions: ID must not be null and must be unique.
  The retail_price must be greater than or equal to the cost. The department
  column can only contain 'Men' or 'Women'.

Membuat UDF sebagai bagian dari definisi model

Agen Data Engineering juga dapat menyiapkan DDL untuk membuat fungsi yang ditentukan pengguna (UDF). Meskipun agen tidak akan benar-benar membuat UDF, Anda dapat membuat UDF dengan menjalankan pipeline data. UDF ini dapat digunakan dalam definisi model di pipeline data Anda.

  Create a user-defined function (UDF) named get_age_group that takes an integer
  age as input and returns a string representing the age group ('Gen Z',
  'Millennial', 'Gen X', 'Baby Boomer').


  Use this UDF on the age column from the
  bigquery-public-data.thelook_ecommerce.users table to create a new view called
  reporting.user_age_demographics that includes user_id, age, and the calculated
  age_group.

Memperkaya data tidak terstruktur dan menjalankan prediksi ML batch dalam pipeline

Perintah ini menunjukkan cara menggabungkan rekayasa fitur perilaku, pemodelan klasifikasi BigQuery ML, dan personalisasi AI generatif di seluruh node pipeline Dataform yang saling terhubung:

  Create a multi-step Dataform pipeline using
  bigquery-public-data.thelook_ecommerce.users and bigquery-public-data.thelook_ecommerce.orders:

  1. Create a staging table on a sample of customers to engineer retention
     features (tenure, lifetime spend, recency) and label churn based on
     inactivity over the past 90 days.
  2. Train a BigQuery ML logistic regression model on those behavioral features
     to predict churn risk.
  3. Create a final table that scores customer churn probabilities and drafts
     personalized, 3-sentence win-back emails with purchase-tailored discounts
     for the 20 customers at highest risk of churning.

Praktik terbaik

Untuk meningkatkan hasil saat bekerja dengan Agen Data Engineering dan Dataform, sebaiknya lakukan hal berikut:

Gunakan petunjuk agen untuk permintaan umum. Jika Anda biasanya menerapkan teknik tertentu, atau jika Anda sering melakukan koreksi yang sama pada agen, gunakan petunjuk agen sebagai lokasi terpusat untuk menyimpan petunjuk dan permintaan umum.

Manfaatkan rencana agen. Rencana agen dapat membantu menguraikan tugas pipeline yang kompleks. Rencana agen juga dapat menunjukkan asumsi dan niat agen, jadi sebaiknya tinjau rencana tersebut untuk memastikan agen diberikan konteks yang benar.

Setelah meninjau rencana, Anda dapat mengedit rencana dengan memberikan masukan dan perubahan kepada Agen Data Engineering. Contoh:

In the plan, ensure that all of the intermediate tables are views.

Dalam beberapa kasus, sebaiknya minta agen untuk membuat rencana yang tidak memerlukan persetujuan eksplisit Anda. Tindakan membuat rencana agen memaksa Agen Data Engineering untuk menguraikan tindakannya, yang sering kali menghasilkan hasil yang lebih baik. Anda dapat memaksa agen untuk membuat rencana dan menjalankannya secara otomatis. Contoh:

Create a plan for a pipeline that finds the
top N pick up and drop off locations in NYC. You have my explicit pre-approval
to go ahead and execute this plan.

Tulis dengan jelas. Nyatakan permintaan Anda dengan jelas dan hindari penggunaan kata-kata yang tidak jelas. Jika memungkinkan, berikan sumber data sumber dan tujuan saat memberikan perintah, seperti yang ditunjukkan dalam contoh berikut:

  Extract data from the sales.customers table in the us_west_1 region, and load
  it into the reporting.dim_customers table in BigQuery. Match the schema of the
  destination table.

Berikan permintaan langsung dan tercakup. Ajukan pertanyaan satu per satu, dan buat perintah tetap ringkas. Untuk perintah dengan lebih dari satu pertanyaan, perinci setiap bagian pertanyaan yang berbeda untuk meningkatkan kejelasan, seperti yang ditunjukkan dalam contoh berikut:

  1. Create a new table named staging.events_cleaned. Use raw.events as the
     source. This new table should filter out any records where the user_agent
     matches the pattern '%bot%'. All original columns should be included.

  2. Next, create a table named analytics.user_sessions. Use
     staging.events_cleaned as the source. This table should calculate the
     duration for each session by grouping by session_id and finding the
     difference between the MAX(event_timestamp) and MIN(event_timestamp).

Berikan petunjuk yang jelas dan tekankan istilah-istilah penting. Anda dapat menambahkan penekanan pada istilah atau konsep utama dalam perintah dan memberi label persyaratan tertentu sebagai penting, seperti yang ditunjukkan dalam contoh berikut:

  When creating the staging.customers table, it is *VERY IMPORTANT* that you
  transform the email column from the source table bronze.raw_customers.
  Coalesce any NULL values in the email column to an empty string ''.

Tentukan urutan operasi. Untuk tugas yang berurutan, susun perintah Anda dalam daftar, dengan item yang tercantum dibagi menjadi langkah-langkah kecil yang terfokus, seperti yang ditunjukkan dalam contoh berikut:

  Create a pipeline with the following steps:
  1. Extract data from the ecomm.orders table.
  2. Join the extracted data with the marts.customers table on customer_id.
  3. Load the final result into the reporting.customer_orders table.

Sempurnakan dan lakukan iterasi. Terus coba berbagai frasa dan pendekatan untuk melihat mana yang memberikan hasil terbaik. Jika agen menghasilkan SQL yang tidak valid atau kesalahan lainnya, pandu agen dengan contoh atau dokumentasi publik.

  The previous query was incorrect because it removed the timestamp. Please
  correct the SQL. Use the TIMESTAMP_TRUNC function to truncate the
  event_timestamp to the nearest hour, instead of casting it as a DATE. For
  example: TIMESTAMP_TRUNC(event_timestamp, HOUR).