Membuat prediksi dengan model jarak jauh di Gemini Enterprise Agent Platform

Dalam tutorial ini, Anda akan mendaftarkan endpoint Gemini Enterprise Agent Platform sebagai model jarak jauh di BigQuery. Kemudian, Anda menggunakan fungsi ML.PREDICT untuk membuat prediksi menggunakan model jarak jauh.

Anda dapat menggunakan model jarak jauh jika model terlalu besar untuk diimpor ke BigQuery. Model ini juga berguna saat Anda ingin memiliki satu titik inferensi untuk kasus penggunaan online, batch, dan batch mikro.

Catatan: Untuk versi tutorial ini yang menggunakan Python di notebook BigQuery, lihat Tutorial Model Jarak Jauh BQML di GitHub.

Tujuan

• Mengimpor model TensorFlow yang telah dilatih sebelumnya ke Model Registry Gemini Enterprise Agent Platform.
• Men-deploy model ke endpoint Gemini Enterprise Agent Platform.
• Membuat koneksi resource Cloud.
• Gunakan pernyataan CREATE MODEL untuk membuat model jarak jauh di BigQuery.
• Gunakan fungsi ML.PREDICT untuk membuat prediksi dengan model jarak jauh.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen Google Cloudyang dapat ditagih berikut:

• BigQuery
• BigQuery ML
• Gemini Enterprise Agent Platform

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Pengguna Google Cloud baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Setelah menyelesaikan tugas yang dijelaskan dalam dokumen ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk mengetahui informasi selengkapnya, baca bagian Pembersihan.

Sebelum memulai

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Pastikan penagihan diaktifkan untuk project Google Cloud Anda.

3. Aktifkan BigQuery, Vertex AI, Cloud Storage, dan BigQuery Connection API, jika belum diaktifkan.

   Peran yang diperlukan untuk mengaktifkan API

   Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

   Aktifkan API

4. Pastikan Anda memiliki izin yang diperlukan untuk melakukan tugas dalam dokumen ini.

Peran yang diperlukan

Jika Anda membuat project baru, Anda adalah pemilik project, dan Anda diberi semua izin IAM yang diperlukan untuk menyelesaikan tutorial ini.

Jika Anda menggunakan project yang sudah ada, lakukan hal berikut.

Pastikan Anda memiliki peran berikut di project:

• BigQuery Studio Admin (roles/bigquery.studioAdmin)
• Agent Platform User (roles/aiplatform.user)
• BigQuery Connection Admin (roles/bigquery.connectionAdmin)

Memeriksa peran

1. Di konsol Google Cloud , buka halaman IAM.

   Buka IAM
2. Pilih project.

3. Di kolom Principal, temukan semua baris yang mengidentifikasi Anda atau grup yang mencakup Anda. Untuk mengetahui grup tempat Anda disertakan, hubungi administrator Anda.

4. Untuk semua baris yang menentukan atau menyertakan Anda, periksa kolom Peran untuk melihat apakah daftar peran menyertakan peran yang diperlukan.

Memberikan peran

1. Di konsol Google Cloud , buka halaman IAM.

   Buka IAM
2. Pilih project.
3. Klik Grant access.

4. Di kolom New principals, masukkan ID pengguna Anda. Biasanya, ini adalah ID untuk pengguna dalam workforce identity pool. Untuk mengetahui detailnya, baca bagian Merepresentasikan pengguna workforce pool dalam kebijakan IAM, atau hubungi administrator Anda.

5. Klik Select a role, lalu telusuri peran.
6. Untuk memberikan peran tambahan, klik Add another role, lalu tambahkan tiap peran tambahan.
7. Klik Simpan.

Untuk mengetahui informasi selengkapnya tentang izin IAM di BigQuery, lihat Izin BigQuery.

Mengimpor model ke Model Registry Gemini Enterprise Agent Platform

Dalam tutorial ini, Anda akan menggunakan model TensorFlow terlatih yang tersedia di Cloud Storage di gs://cloud-samples-data/bigquery/ml/remote_model_tutorial/. Bucket Cloud Storage berada di lokasi multi-region US.

Model ini adalah model TensorFlow yang bernama saved_model.pb. Model ini adalah model analisis sentimen yang disesuaikan, yang dibuat dengan menyesuaikan model BERT dengan ulasan film IMDB dalam teks biasa. Model ini menggunakan input teks dari ulasan film dan menampilkan skor sentimen antara nol dan satu. Saat mengimpor model ke Model Registry, Anda menggunakan container TensorFlow bawaan.

Catatan: Untuk tutorial tentang cara membuat model contoh, lihat Mengklasifikasikan teks dengan BERT dalam dokumentasi TensorFlow.

Ikuti langkah-langkah berikut untuk mengimpor model.

1. Di konsol Google Cloud , buka halaman Model Registry Gemini Enterprise Agent Platform.

   Buka Model Registry

2. Klik Import.

3. Untuk Step one: Name and region, lakukan hal berikut:

   1. Pilih Import as new model.

   2. Untuk Name, masukkan bert_sentiment.

   3. Untuk Description, masukkan BQML tutorial model.

   4. Untuk Region, pilih us-central1. Anda harus memilih region yang berbasis di AS karena bucket Cloud Storage berada di lokasi multi-region US.

   5. Klik Lanjutkan.

4. Untuk Langkah dua: Setelan model, lakukan tindakan berikut:

   1. Pilih Import model artifacts into a new prebuilt container.

   2. Di bagian Prebuilt container settings, lakukan hal berikut:

      1. Untuk Model framework, pilih TensorFlow.

      2. Untuk Model framework version, pilih 2.15.

      3. Untuk Accelerator type, pilih GPU.

      4. Untuk Model artifact location, masukkan gs://cloud-samples-data/bigquery/ml/remote_model_tutorial/.

      5. Biarkan nilai default untuk semua opsi lainnya, lalu klik Import.

Setelah impor selesai, model Anda akan muncul di halaman Model Registry.

Men-deploy model ke endpoint Gemini Enterprise Agent Platform

Ikuti langkah-langkah berikut untuk men-deploy model ke endpoint.

1. Di konsol Google Cloud , buka halaman Model Registry Gemini Enterprise Agent Platform.

   Buka Model Registry

2. Di kolom Name, klik bert_sentiment.

3. Klik tab Deploy & Test.

4. Klik Deploy to endpoint.

5. Untuk langkah pertama, Define your endpoint, lakukan hal berikut:

   1. Klik Create new endpoint.

   2. Untuk Endpoint name, masukkan bert sentiment endpoint.

   3. Biarkan nilai default lainnya dan klik Continue.

6. Untuk langkah kedua, Model settings, lakukan hal berikut:

   1. Di bagian Compute settings, untuk Minimum number of compute nodes, masukkan 1. Ini adalah jumlah node yang harus selalu tersedia untuk model.

      Catatan: Dalam produksi, Anda harus menetapkan jumlah maksimum node komputasi. Opsi ini mengaktifkan kemampuan penskalaan otomatis di Gemini Enterprise Agent Platform, dan memungkinkan endpoint memproses lebih banyak permintaan saat tabel BigQuery Anda memiliki banyak baris.

   2. Di bagian Advanced scaling options, untuk Machine type, pilih Standard (n1-standard-2). Karena Anda memilih GPU sebagai jenis akselerator saat mengimpor model, setelah Anda memilih jenis mesin, jenis akselerator dan jumlah akselerator akan ditetapkan secara otomatis.

   3. Biarkan nilai default lainnya, lalu klik Deploy.

      Saat model di-deploy ke endpoint, statusnya akan berubah menjadi Active.

   4. Salin ID endpoint numerik di kolom ID dan nilai di kolom Region. Anda akan membutuhkannya nanti.

Membuat set data

Untuk membuat set data BigQuery, pilih salah satu opsi berikut:

Konsol

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer:

   

   Jika Anda tidak melihat panel kiri, klik Luaskan panel kiri untuk membuka panel.

3. Di Explorer, luaskan project Anda, lalu klik Datasets.

4. Di halaman Datasets, klik Create dataset.

5. Di panel Create dataset, lakukan tindakan berikut:

   • Untuk Dataset ID, masukkan bqml_tutorial.

   • Untuk lokasi data, pilih US.

   Jangan ubah setelan default yang tersisa.

6. Klik Create dataset.

bq

Untuk membuat set data baru, gunakan perintah bq mk --dataset.

1. Buat set data bernama bqml_tutorial dengan lokasi data yang ditetapkan ke US:

   bq mk --dataset \
     --location=US \
     --description "BigQuery ML tutorial dataset." \
     bqml_tutorial

2. Pastikan set data telah dibuat:

   bq ls

API

Panggil metode datasets.insert dengan resource set data yang ditentukan:

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Membuat koneksi resource BigQuery Cloud

Anda harus memiliki koneksi resource Cloud untuk terhubung ke endpoint Gemini Enterprise Agent Platform.

Konsol

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer:

   

   Jika Anda tidak melihat panel kiri, klik Luaskan panel kiri untuk membuka panel.

3. Di panel Penjelajah, klik Tambahkan data.

   Dialog Add data akan terbuka.

4. Di panel Filter By, di bagian Data Source Type, pilih Databases.

   Atau, di kolom Search for data sources, Anda dapat memasukkan Vertex AI.

5. Di bagian Featured data sources, klik Vertex AI.

6. Klik kartu solusi Model AI Vertex AI: BigQuery Federation.

7. Dalam daftar Connection type, pilih Vertex AI remote models, fungsi jarak jauh dan BigLake (Cloud Resource).

8. Di kolom Connection ID, masukkan bqml_tutorial.

9. Pastikan Multi-region—US dipilih.

10. Klik Create connection.

11. Di bagian bawah jendela, klik Go to connection. Atau, di panel Explorer, klik Connections, lalu klik us.bqml_tutorial.

12. Di panel Connection info, salin ID akun layanan. Anda memerlukan ID ini saat mengonfigurasi izin untuk koneksi. Saat Anda membuat resource koneksi, BigQuery akan membuat akun layanan sistem unik dan mengaitkannya dengan koneksi.

bq

1. Buat koneksi:

   bq mk --connection --location=US --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE bqml_tutorial

   Ganti PROJECT_ID dengan project IDGoogle Cloud Anda. Parameter --project_id akan mengganti project default.

   Saat Anda membuat resource koneksi, BigQuery akan membuat akun layanan sistem unik dan mengaitkannya dengan koneksi.

   Pemecahan masalah: Jika Anda mendapatkan error koneksi berikut, update Google Cloud SDK:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Ambil dan salin ID akun layanan untuk digunakan pada langkah berikutnya:

   bq show --connection PROJECT_ID.us.bqml_tutorial

   Outputnya mirip dengan hal berikut ini:

   name                          properties
   1234.REGION.CONNECTION_ID {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel."}
   

Menyiapkan akses koneksi

Berikan peran Agent Platform User ke akun layanan koneksi resource Cloud. Anda harus memberikan peran ini dalam project yang sama tempat Anda membuat endpoint model jarak jauh.

Catatan: Jika koneksi berada di project yang berbeda, error ini akan ditampilkan: bqcx-1234567890-xxxx@gcp-sa-bigquery-condel. does not have the permission to access resource.

Untuk memberikan peran, ikuti langkah-langkah berikut:

1. Buka halaman IAM & Admin.

   Buka IAM & Admin

2. Klik Berikan Akses.

3. Di kolom New principals, masukkan ID akun layanan koneksi resource Cloud yang Anda salin sebelumnya.

4. Di kolom Select a role, pilih Vertex AI, lalu pilih Agent Platform User.

5. Klik Simpan.

Membuat model jarak jauh BigQuery ML

Anda membuat model jarak jauh BigQuery ML menggunakan pernyataan CREATE MODEL dengan klausa REMOTE WITH CONNECTION. Untuk mengetahui informasi selengkapnya tentang pernyataan CREATE MODEL, lihat Pernyataan CREATE MODEL untuk model jarak jauh melalui model kustom.

Anda membuat model di lokasi multi-region US. Dalam set data multi-region BigQuery (US, EU), Anda hanya dapat membuat model jarak jauh yang terhubung ke endpoint yang di-deploy di region dalam lokasi multi-region yang sama (US, EU).

Saat membuat model jarak jauh, Anda memerlukan ID endpoint yang dibuat saat Anda men-deploy model ke Gemini Enterprise Agent Platform. Selain itu, nama dan jenis kolom input dan output harus sama persis dengan input dan output model Gemini Enterprise Agent Platform. Dalam contoh ini, inputnya adalah teks STRING, dan outputnya adalah ARRAY dari jenis FLOAT64.

Konsol

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Untuk Create new, klik Kueri SQL.

3. Di editor kueri, masukkan pernyataan CREATE MODEL ini, lalu klik Run:

   CREATE OR REPLACE MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`
   INPUT (text STRING)
   OUTPUT(scores ARRAY<FLOAT64>)
   REMOTE WITH CONNECTION `PROJECT_ID.us.bqml_tutorial`
   OPTIONS(ENDPOINT = 'https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/endpoints/ENDPOINT_ID')

   Ganti kode berikut:

   • PROJECT_ID: nama project Anda.
   • ENDPOINT_ID: ID endpoint yang Anda salin sebelumnya.

   Setelah operasi selesai, Anda akan melihat pesan yang mirip dengan Successfully created model named bert_sentiment.

   Model baru Anda akan muncul di panel Resource. Model ditunjukkan dengan ikon model: .

   Jika Anda memilih model baru di panel Resources, informasi tentang model akan muncul di bawah editor kueri.

bq

1. Buat model jarak jauh dengan memasukkan pernyataan CREATE MODEL berikut:

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`
   INPUT (text STRING)
   OUTPUT(scores ARRAY<FLOAT64>)
   REMOTE WITH CONNECTION `PROJECT_ID.us.bqml_tutorial`
   OPTIONS(ENDPOINT = 'https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/endpoints/ENDPOINT_ID')"

   Ganti kode berikut:

   • PROJECT_ID: nama project Anda.
   • ENDPOINT_ID: ID endpoint yang Anda salin sebelumnya.

2. Setelah membuat model, pastikan model tersebut muncul di set data:

   bq ls -m bqml_tutorial

   Outputnya mirip dengan hal berikut ini:

   Id               Model Type   Labels    Creation Time
   ---------------- ------------ -------- -----------------
   bert_sentiment                         28 Jan 17:39:43

Mendapatkan prediksi menggunakan ML.PREDICT

Anda menggunakan fungsi ML.PREDICT untuk mendapatkan prediksi sentimen dari model jarak jauh. Inputnya adalah kolom teks (review) yang berisi ulasan film dari tabel bigquery-public-data.imdb.reviews.

Dalam contoh ini, 10.000 data dipilih dan dikirim untuk prediksi. Model jarak jauh ditetapkan secara default ke ukuran batch 128 instance untuk permintaan.

Konsol

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di bagian Create new, klik Kueri SQL.

3. Di editor kueri, masukkan kueri ini yang menggunakan fungsi ML.PREDICT, lalu klik Run.

   SELECT *
   FROM ML.PREDICT (
       MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`,
       (
           SELECT review as text
           FROM `bigquery-public-data.imdb.reviews`
           LIMIT 10000
       )
   )

   Hasil kueri akan terlihat seperti berikut:

   

bq

Masukkan perintah berikut untuk menjalankan kueri yang menggunakan ML.PREDICT.

bq query --use_legacy_sql=false \
'SELECT *
FROM ML.PREDICT (
MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`,
  (
    SELECT review as text
    FROM `bigquery-public-data.imdb.reviews`
    LIMIT 10000
  )
)'

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Menghapus project

Konsol

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di konsol Google Cloud , buka halaman Manage resources.

   Buka Kelola resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

gcloud

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

Menghapus project Google Cloud :

gcloud projects delete PROJECT_ID

Menghapus resource satu per satu

Atau, untuk menghapus setiap resource yang digunakan dalam tutorial ini:

1. Hapus model.

2. Opsional: Hapus set data.

3. Batalkan deployment model dan hapus endpoint.

4. Hapus model dari Model Registry.

5. Hapus koneksi resource Cloud.

Langkah berikutnya

• Untuk ringkasan BigQuery ML, lihat Pengantar AI dan ML di BigQuery ML.
• Untuk mengetahui informasi selengkapnya tentang penggunaan pernyataan CREATE MODEL untuk model jarak jauh, lihat Pernyataan CREATE MODEL untuk model jarak jauh di atas model kustom.
• Untuk mengetahui informasi selengkapnya tentang cara menggunakan notebook BigQuery, lihat Pengantar notebook.
• Untuk mengetahui informasi selengkapnya tentang region dan multi-region BigQuery, lihat halaman Lokasi yang didukung.
• Untuk mempelajari lebih lanjut cara mengimpor model di Gemini Enterprise Agent Platform Model Registry, lihat Mengimpor model ke Gemini Enterprise Agent Platform.
• Untuk mempelajari lebih lanjut pembuatan versi model di Model Registry Gemini Enterprise Agent Platform, lihat Pembuatan versi model dengan Model Registry.
• Untuk mengetahui informasi tentang cara menggunakan Kontrol Layanan VPC Gemini Enterprise Agent Platform, lihat Kontrol Layanan VPC dengan Gemini Enterprise Agent Platform.