Membuat model ML di BigQuery ML menggunakan konsol Google Cloud

Dokumen ini menunjukkan cara menggunakan konsol Google Cloud untuk membuat model BigQuery ML.

Peran yang diperlukan

• Untuk membuat model dan menjalankan inferensi, Anda harus diberi peran berikut:

  • BigQuery Data Editor (roles/bigquery.dataEditor)
  • BigQuery User (roles/bigquery.user)

Sebelum memulai

1. Di konsol Google Cloud , pada halaman pemilih project, pilih atau buat project Google Cloud .

   Peran yang diperlukan untuk memilih atau membuat project

   • Memilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project apa pun yang perannya telah diberikan kepada Anda.
   • Membuat project: Untuk membuat project, Anda memerlukan peran Project Creator (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.
   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang akan menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

2. Pastikan penagihan diaktifkan untuk project Google Cloud Anda.

3. Aktifkan BigQuery API dan BigQuery Connection API, jika belum diaktifkan.

   Peran yang diperlukan untuk mengaktifkan API

   Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

   Aktifkan API

Prasyarat khusus model

Sebelum membuat model, pastikan Anda telah memenuhi semua prasyarat untuk jenis model yang Anda buat:

• Jika ingin menggunakan kueri untuk memilih data pelatihan untuk model, Anda harus menyediakan kueri tersebut sebagai kueri tersimpan.

• Model faktorisasi matriks memerlukan pemesanan. Untuk informasi selengkapnya, lihat Harga.

• Model jarak jauh berikut memerlukan koneksi resource Cloud:

  • Model jarak jauh melalui Gemini Enterprise Agent Platform dan model partner
  • Model jarak jauh dibandingkan model terbuka
  • Model jarak jauh melalui layanan Cloud AI
  • Model jarak jauh dibandingkan model kustom di Gemini Enterprise Agent Platform

  Akun layanan koneksi juga harus diberi peran tertentu, bergantung pada jenis model jarak jauh.

• Untuk mengimpor model, Anda harus mengupload model tersebut ke bucket Cloud Storage.

Membuat set data

Buat set data BigQuery untuk menampung resource Anda:

Konsol

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer:

   

   Jika Anda tidak melihat panel kiri, klik Luaskan panel kiri untuk membuka panel.

3. Di panel Explorer, klik nama project Anda.

4. Klik View actions > Create dataset.

5. Di halaman Create dataset, lakukan hal berikut:

   1. Untuk Dataset ID, ketik nama untuk set data.

   2. Untuk Location type, pilih Region atau Multi-region.

      • Jika Anda memilih Region, pilih lokasi dari daftar Region.
      • Jika Anda memilih Multi-region, pilih US atau Europe dari daftar Multi-region.

   3. Klik Create dataset.

bq

1. Untuk membuat set data baru, gunakan perintah bq mk dengan flag --location:

   bq --location=LOCATION mk -d DATASET_ID

   Ganti kode berikut:

   • LOCATION: lokasi set data.
   • DATASET_ID: ID set data yang Anda buat.

2. Pastikan set data telah dibuat:

   bq ls

Membuat model yang dilatih secara internal atau eksternal

Gunakan prosedur ini untuk membuat jenis model berikut:

• Model deret waktu:

  • ARIMA_PLUS
  • ARIMA_PLUS_XREG

• Analisis kontribusi: Analisis kontribusi

• Klasifikasi:

  • Regresi logistik
  • Klasifikasi boosted tree
  • Klasifikasi hutan acak
  • Klasifikasi Deep Neural Network (DNN)
  • Klasifikasi wide-and-deep
  • Klasifikasi AutoML

• Regresi:

  • Regresi linear
  • Regresi hierarki yang ditingkatkan
  • Regresi hutan acak
  • Regresi Deep Neural Network (DNN)
  • Regresi wide-and-deep
  • Regresi AutoML

• Pengelompokan: K-means

• Rekomendasi: Faktorisasi matriks

• Pengurangan dimensi:

  • Analisis komponen utama (PCA)
  • Autoencoder

Model ini memiliki kumpulan opsi yang berbeda sesuai dengan jenisnya. Meskipun penyesuaian otomatis BigQuery ML berfungsi dengan baik dalam sebagian besar kasus, Anda dapat memilih untuk menyesuaikan model secara manual sebagai bagian dari prosedur. Jika Anda ingin melakukannya, lihat dokumentasi untuk jenis model tertentu guna mempelajari lebih lanjut opsi model.

Untuk membuat model:

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer:

   

   Jika Anda tidak melihat panel kiri, klik Luaskan panel kiri untuk membuka panel.

3. Di panel Explorer, klik Datasets, lalu klik set data yang Anda buat.

4. Klik View actions di samping set data, lalu klik Create BQML Model.

   Panel Create new model akan terbuka.

5. Untuk Model name, ketik nama untuk model.

6. Jika Anda ingin membuat kueri tersimpan yang berisi pernyataan CREATE MODEL untuk model, pilih Save Query .

   1. Untuk Query name, ketik nama untuk kueri tersimpan.
   2. Untuk Region, pilih region untuk kueri tersimpan.

7. Klik Lanjutkan.

8. Di bagian Creation method, pilih Train a Model in BigQuery.

9. Di bagian Modeling objective, pilih tujuan pemodelan untuk model.

10. Klik Lanjutkan.

11. Di halaman Model options, pilih jenis model. Jenis model yang dapat Anda pilih bervariasi berdasarkan tujuan pemodelan yang Anda pilih.

12. Di bagian data pelatihan, lakukan salah satu hal berikut:

    • Pilih Table/View untuk mendapatkan data pelatihan dari tabel atau tampilan, lalu pilih project, set data, dan nama tampilan atau tabel.
    • Pilih Query untuk mendapatkan data pelatihan dari kueri tersimpan, lalu pilih kueri tersimpan.

13. Di Selected input label columns, pilih kolom dari tabel, tampilan, atau kueri yang ingin Anda gunakan sebagai input ke model.

14. Jika ada bagian Required options, tentukan informasi kolom yang diminta:

    • Untuk model klasifikasi dan regresi, untuk INPUT_LABEL_COLS, pilih kolom yang berisi data label.

    • Untuk model faktorisasi matriks, pilih hal berikut:

      • Untuk RATING_COL, pilih kolom yang berisi data rating.
      • Untuk USER_COL, pilih kolom yang berisi data pengguna.
      • Untuk ITEM_COL, pilih kolom yang berisi data item.

    • Untuk model perkiraan deret waktu, pilih opsi berikut:

      • Untuk TIME_SERIES_TIMESTAMP_COL, pilih kolom yang berisi titik waktu yang akan digunakan saat melatih model.
      • Untuk TIME_SERIES_DATA_COL, pilih kolom yang berisi data yang akan diperkirakan.

15. Opsional: Di bagian Optional, tentukan nilai untuk argumen penyesuaian model tambahan. Argumen yang tersedia bervariasi berdasarkan jenis model yang Anda buat.

16. Opsional: Jika ada bagian Hyperparameter tuning, Anda dapat menentukan opsi NUM_TRIALS untuk mengaktifkan [penyesuaian hyperparameter](/bigquery/docs/hyperparameter-tuning-tutorial untuk model Anda. Argumen yang tersedia untuk penyesuaian hyperparameter bervariasi berdasarkan jenis model yang Anda buat.

17. Klik Create model.

18. Setelah pembuatan model selesai, klik Go to model untuk melihat detail model.

Membuat model jarak jauh di atas model terlatih

Gunakan prosedur ini untuk membuat jenis model jarak jauh berikut:

• Model melalui Agent Platform atau model partner
• Model di atas model terbuka

Untuk membuat model:

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer:

   

3. Di panel Explorer, klik Datasets, lalu klik set data yang Anda buat.

4. Klik View actions di samping set data, lalu klik Create BQML Model.

   Panel Create new model akan terbuka.

5. Untuk Model name, ketik nama untuk model.

6. Jika Anda ingin membuat kueri tersimpan yang berisi pernyataan CREATE MODEL untuk model, pilih Save Query .

   1. Untuk Query name, ketik nama untuk kueri tersimpan.
   2. Untuk Region, pilih region untuk kueri tersimpan.

7. Klik Lanjutkan.

8. Di bagian Creation method, pilih Connect to Vertex AI LLM service and Cloud AI services.

9. Di halaman Model options, pilih Google and Partner Models atau Open Models untuk jenis model, sesuai dengan kasus penggunaan Anda.

10. Di bagian Remote connection, lakukan salah satu hal berikut:

    • Jika Anda telah mengonfigurasi koneksi default, atau jika Anda memiliki peran BigQuery Admin dan Project IAM Admin, pilih Default connection.

    • Jika Anda belum mengonfigurasi koneksi default, atau jika Anda tidak memiliki peran yang sesuai, pilih koneksi resource Cloud.

      1. Untuk Project, pilih project yang berisi koneksi yang ingin Anda gunakan.
      2. Untuk Location, pilih lokasi yang digunakan oleh koneksi.

      3. Untuk Connection, pilih koneksi yang akan digunakan untuk model jarak jauh, atau pilih Create new connection untuk membuat koneksi baru.

         Penting: Jika Anda membuat koneksi baru, Anda harus memberikan peran yang sesuai ke akun layanan koneksi sebelum melanjutkan. Untuk mengetahui informasi selengkapnya tentang peran yang harus diberikan, lihat dokumentasi referensi untuk jenis model jarak jauh yang Anda buat.

11. Di bagian Required options, lakukan salah satu langkah berikut:

    • Untuk model jarak jauh di model Google dan model partner, tentukan endpoint yang akan digunakan. Ini adalah nama model, misalnya gemini-3.5-flash. Untuk mengetahui informasi selengkapnya tentang model yang didukung, lihat ENDPOINT.
    • Untuk model jarak jauh di atas model terbuka, salin dan tempel di endpoint yang akan digunakan. Ini adalah endpoint publik bersama dari model yang di-deploy ke Agent Platform, dalam format https://location-aiplatform.googleapis.com/v1/projects/project/locations/location/endpoints/endpoint_id. Untuk informasi selengkapnya, lihat ENDPOINT.

12. Klik Create model.

13. Setelah pembuatan model selesai, klik Go to model untuk melihat detail model.

Membuat model jarak jauh di atas model kustom

Gunakan prosedur ini untuk membuat model jarak jauh di atas model kustom yang di-deploy ke Gemini Enterprise Agent Platform.

Untuk membuat model:

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer:

   

3. Di panel Explorer, klik Datasets, lalu klik set data yang Anda buat.

4. Klik View actions di samping set data, lalu klik Create BQML Model.

   Panel Create new model akan terbuka.

5. Untuk Model name, ketik nama untuk model.

6. Jika Anda ingin membuat kueri tersimpan yang berisi pernyataan CREATE MODEL untuk model, pilih Save Query .

   1. Untuk Query name, ketik nama untuk kueri tersimpan.
   2. Untuk Region, pilih region untuk kueri tersimpan.

7. Klik Lanjutkan.

8. Di bagian Creation method, pilih Connect to user managed Vertex AI endpoints.

9. Di bagian Remote connection pada halaman Model options, lakukan salah satu tindakan berikut:

   • Jika Anda telah mengonfigurasi koneksi default, atau jika Anda memiliki peran BigQuery Admin dan Project IAM Admin, pilih Default connection.

   • Jika Anda belum mengonfigurasi koneksi default, atau jika Anda tidak memiliki peran yang sesuai, pilih koneksi resource Cloud.

     1. Untuk Project, pilih project yang berisi koneksi yang ingin Anda gunakan.
     2. Untuk Location, pilih lokasi yang digunakan oleh koneksi.

     3. Untuk Connection, pilih koneksi yang akan digunakan untuk model jarak jauh, atau pilih Create new connection untuk membuat koneksi baru.

        Penting: Jika Anda membuat koneksi baru, Anda harus memberikan peran yang sesuai ke akun layanan koneksi sebelum melanjutkan. Untuk mengetahui informasi selengkapnya tentang peran yang harus diberikan, lihat dokumentasi referensi untuk jenis model jarak jauh yang Anda buat.

10. Di bagian Required options, tentukan endpoint yang akan digunakan. Ini adalah endpoint publik bersama dari model yang di-deploy ke Agent Platform, dalam format https://location-aiplatform.googleapis.com/v1/projects/project/locations/location/endpoints/endpoint_id. Untuk informasi selengkapnya, lihat ENDPOINT.

11. Klik Create model.

12. Setelah pembuatan model selesai, klik Go to model untuk melihat detail model.

Membuat model jarak jauh melalui layanan Cloud AI

Gunakan prosedur ini untuk membuat model jarak jauh di layanan Cloud AI.

Untuk membuat model:

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer:

   

3. Di panel Explorer, klik Datasets, lalu klik set data yang Anda buat.

4. Klik View actions di samping set data, lalu klik Create BQML Model.

   Panel Create new model akan terbuka.

5. Untuk Model name, ketik nama untuk model.

6. Jika Anda ingin membuat kueri tersimpan yang berisi pernyataan CREATE MODEL untuk model, pilih Save Query .

   1. Untuk Query name, ketik nama untuk kueri tersimpan.
   2. Untuk Region, pilih region untuk kueri tersimpan.

7. Klik Lanjutkan.

8. Di bagian Creation method, pilih Connect to Vertex AI LLM service and Cloud AI services.

9. Di halaman Model options, pilih Cloud AI Services.

10. Di bagian Remote connection, lakukan salah satu langkah berikut:

    • Jika Anda telah mengonfigurasi koneksi default, atau jika Anda memiliki peran BigQuery Admin dan Project IAM Admin, pilih Default connection.

    • Jika Anda belum mengonfigurasi koneksi default, atau jika Anda tidak memiliki peran yang sesuai, pilih koneksi resource Cloud.

      1. Untuk Project, pilih project yang berisi koneksi yang ingin Anda gunakan.
      2. Untuk Location, pilih lokasi yang digunakan oleh koneksi.

      3. Untuk Connection, pilih koneksi yang akan digunakan untuk model jarak jauh, atau pilih Create new connection untuk membuat koneksi baru.

         Penting: Jika Anda membuat koneksi baru, Anda harus memberikan peran yang sesuai ke akun layanan koneksi sebelum melanjutkan. Untuk mengetahui informasi selengkapnya tentang peran yang harus diberikan, lihat dokumentasi referensi untuk jenis model jarak jauh yang Anda buat.

11. Di bagian Required options, pilih jenis layanan Cloud AI yang akan digunakan.

12. Di bagian Optional, tentukan informasi pemroses dokumen jika Anda menggunakan layanan CLOUD_AI_DOCUMENT_V1. Secara opsional, Anda dapat menentukan informasi pengenal ucapan jika menggunakan layanan CLOUD_AI_SPEECH_TO_TEXT_V2.

13. Klik Create model.

14. Setelah pembuatan model selesai, klik Go to model untuk melihat detail model.

Membuat model yang diimpor

Gunakan prosedur ini untuk membuat model BigQuery ML dengan mengimpor jenis model berikut:

• ONNX
• TensorFlow
• TensorFlow Lite
• XGBoost

Untuk membuat model:

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer:

   

3. Di panel Explorer, klik Datasets, lalu klik set data yang Anda buat.

4. Klik View actions di samping set data, lalu klik Create BQML Model.

   Panel Create new model akan terbuka.

5. Untuk Model name, ketik nama untuk model.

6. Jika Anda ingin membuat kueri tersimpan yang berisi pernyataan CREATE MODEL untuk model, pilih Save Query .

   1. Untuk Query name, ketik nama untuk kueri tersimpan.
   2. Untuk Region, pilih region untuk kueri tersimpan.

7. Klik Lanjutkan.

8. Di bagian Creation method, pilih Import model.

9. Di halaman Model options, pilih jenis model yang ingin Anda impor.

10. Untuk GCS path, cari atau tempel URI untuk bucket Cloud Storage yang berisi model.

11. Klik Create model.

12. Setelah pembuatan model selesai, klik Go to model untuk melihat detail model.