本教學課程說明如何使用 BigQuery ML 的超參數調整功能，調整機器學習模型並提升效能。
如要調整超參數，請指定 CREATE MODEL 陳述式的 NUM_TRIALS 選項，並搭配其他模型專屬選項。設定這些選項後，BigQuery ML 會訓練多個版本或「試驗」模型，每個版本的參數略有不同，並傳回成效最佳的試驗。
本教學課程使用公開的tlc_yellow_trips_2018範例資料表，其中包含 2018 年紐約市計程車行程的相關資訊。
目標
本教學課程會逐步引導您完成下列工作：
- 使用
CREATE MODEL陳述式建立基準線性迴歸模型。 - 使用
ML.EVALUATE函式評估基準模型。 - 使用
CREATE MODEL陳述式和超參數調整選項，訓練線性迴歸模型二十次。 - 使用
ML.TRIAL_INFO函式查看試驗。 - 使用
ML.EVALUATE函式評估試驗。 - 使用
ML.PREDICT函式，從試驗中的最佳模型取得計程車行程預測。
費用
本教學課程使用 Google Cloud的計費元件，包括：
- BigQuery
- BigQuery ML
如要進一步瞭解 BigQuery 費用，請參閱「BigQuery 定價」頁面。
事前準備
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
- 新專案會自動啟用 BigQuery。如要在現有專案中啟用 BigQuery，請前往
啟用 BigQuery API (如果尚未啟用)。
啟用 API 所需的角色
您必須具備
serviceusage.services.enable權限，才能啟用 API。如果您建立了專案，可能已透過擁有者角色 (roles/owner) 取得這項權限。否則，您可以透過 Service Usage 管理員角色 (roles/serviceusage.serviceUsageAdmin) 取得這項權限。瞭解如何授予角色。
所需權限
如要建立資料集，您必須具備
bigquery.datasets.createIAM 權限。如要建立模型，您必須具備下列權限：
bigquery.jobs.createbigquery.models.createbigquery.models.getDatabigquery.models.updateData
如要執行推論，您必須具備下列權限：
bigquery.models.getDatabigquery.jobs.create
如要進一步瞭解 BigQuery 的 IAM 角色和權限，請參閱「IAM 簡介」。
建立資料集
如要建立 BigQuery 資料集，請選取下列其中一個選項：
控制台
前往 Google Cloud 控制台的「BigQuery」頁面。
點選左側窗格中的 「Explorer」。
如果沒有看到左側窗格，請按一下 「Expand left pane」(展開左側窗格)，開啟窗格。
在「Explorer」中展開專案，然後按一下「資料集」。
在「Datasets」(資料集) 頁面，按一下「Create dataset」(建立資料集)。
在「建立資料集」窗格中，執行下列操作：
在「Dataset ID」(資料集 ID) 中輸入
bqml_tutorial。在「資料位置」部分，選取「US」。
其餘預設設定則保持不變。
點選「建立資料集」。
bq
如要建立新的資料集，請使用 bq mk --dataset 指令。
建立名為
bqml_tutorial的資料集，並將資料位置設為US：bq mk --dataset \ --location=US \ --description "BigQuery ML tutorial dataset." \ bqml_tutorial
確認資料集已建立：
bq ls
API
使用定義的資料集資源呼叫 datasets.insert 方法：
{ "datasetReference": { "datasetId": "bqml_tutorial" } }
建立訓練資料表
根據 tlc_yellow_trips_2018 資料表資料的子集，建立訓練資料表。
請按照下列步驟建立資料表：
前往 Google Cloud 控制台的「BigQuery」頁面。
在查詢編輯器中貼上以下查詢，然後點選「執行」：
CREATE OR REPLACE TABLE `bqml_tutorial.taxi_tip_input` AS SELECT * EXCEPT (tip_amount), tip_amount AS label FROM `bigquery-public-data.new_york_taxi_trips.tlc_yellow_trips_2018` WHERE tip_amount IS NOT NULL LIMIT 100000;
建立基準線性迴歸模型
建立線性迴歸模型，不調整超參數，並使用 taxi_tip_input 資料表資料訓練模型。
請按照下列步驟建立模型：
前往 Google Cloud 控制台的「BigQuery」頁面。
在查詢編輯器中貼上以下查詢，然後點選「執行」：
CREATE OR REPLACE MODEL `bqml_tutorial.baseline_taxi_tip_model` OPTIONS ( MODEL_TYPE = 'LINEAR_REG' ) AS SELECT * FROM `bqml_tutorial.taxi_tip_input`;
查詢作業約需 2 分鐘才能完成。
評估基準模型
使用 ML.EVALUATE 函式評估模型效能。ML.EVALUATE 函式會根據模型訓練期間計算的評估指標，評估模型傳回的預測內容分級。
請按照下列步驟評估模型：
前往 Google Cloud 控制台的「BigQuery」頁面。
在查詢編輯器中貼上以下查詢，然後點選「執行」：
SELECT * FROM ML.EVALUATE(MODEL `bqml_tutorial.baseline_taxi_tip_model`);
結果大致如下：
+---------------------+--------------------+------------------------+-----------------------+---------------------+---------------------+ | mean_absolute_error | mean_squared_error | mean_squared_log_error | median_absolute_error | r2_score | explained_variance | +---------------------+--------------------+------------------------+-----------------------+---------------------+---------------------+ | 2.5853895559690323 | 23760.416358496139 | 0.017392406523370374 | 0.0044248227819481123 | -1934.5450533482465 | -1934.3513857946277 | +---------------------+--------------------+------------------------+-----------------------+---------------------+---------------------+
基準模型的 r2_score 值為負數，表示資料不適合；R2 分數越接近 1，表示模型越適合。
建立超參數調整的線性迴歸模型
建立線性迴歸模型並調整超參數，然後使用 taxi_tip_input 資料表資料訓練模型。
您可以在 CREATE MODEL 陳述式中使用下列超參數調整選項：
NUM_TRIALS選項：將試驗數量設為 20。MAX_PARALLEL_TRIALS選項：在每項訓練工作中執行兩項試驗，總共十項工作和二十項試驗。這能縮短訓練時間。不過，這兩項並行試驗不會從彼此的訓練結果中受益。L1_REG選項，在不同試驗中嘗試不同的 L1 正規化值。L1 正規化會從模型中移除不相關的特徵，有助於防止過度配適。
模型支援的其他超參數調整選項會使用預設值，如下所示：
L1_REG：0HPARAM_TUNING_ALGORITHM：'VIZIER_DEFAULT'HPARAM_TUNING_OBJECTIVES：['R2_SCORE']
請按照下列步驟建立模型：
前往 Google Cloud 控制台的「BigQuery」頁面。
在查詢編輯器中貼上以下查詢，然後點選「執行」：
CREATE OR REPLACE MODEL `bqml_tutorial.hp_taxi_tip_model` OPTIONS ( MODEL_TYPE = 'LINEAR_REG', NUM_TRIALS = 20, MAX_PARALLEL_TRIALS = 2, L1_REG = HPARAM_RANGE(0, 5)) AS SELECT * FROM `bqml_tutorial.taxi_tip_input`;
查詢作業大約需要 20 分鐘才能完成。
取得訓練試用資訊
使用 ML.TRIAL_INFO 函式，取得所有試驗的相關資訊，包括超參數值、目標和狀態。這項函式也會根據這項資訊，傳回哪項試驗成效最佳的資訊。
如要取得試用資訊，請按照下列步驟操作：
前往 Google Cloud 控制台的「BigQuery」頁面。
在查詢編輯器中貼上以下查詢，然後點選「執行」：
SELECT * FROM ML.TRIAL_INFO(MODEL `bqml_tutorial.hp_taxi_tip_model`) ORDER BY is_optimal DESC;
結果大致如下：
+----------+-------------------------------------+-----------------------------------+--------------------+--------------------+-----------+---------------+------------+ | trial_id | hyperparameters | hparam_tuning_evaluation_metrics | training_loss | eval_loss | status | error_message | is_optimal | +----------+-------------------------------------+-----------------------------------+--------------------+--------------------+-----------+---------------+------------+ | 7 | {"l1_reg":"4.999999999999985"} | {"r2_score":"0.653653627638174"} | 4.4677841296238165 | 4.478469742512195 | SUCCEEDED | NULL | true | | 2 | {"l1_reg":"2.402163664510254E-11"} | {"r2_score":"0.6532493667964732"} | 4.457692508421795 | 4.483697081650438 | SUCCEEDED | NULL | false | | 3 | {"l1_reg":"1.2929452948742316E-7"} | {"r2_score":"0.653249366811995"} | 4.45769250849513 | 4.483697081449748 | SUCCEEDED | NULL | false | | 4 | {"l1_reg":"2.5787102060628228E-5"} | {"r2_score":"0.6532493698925899"} | 4.457692523040582 | 4.483697041615808 | SUCCEEDED | NULL | false | | ... | ... | ... | ... | ... | ... | ... | ... | +----------+-------------------------------------+-----------------------------------+--------------------+--------------------+-----------+---------------+------------+is_optimal欄值表示試驗 7 是調整作業傳回的最佳模型。
評估調整後的模型試驗
使用 ML.EVALUATE 函式評估試驗成效。ML.EVALUATE 函式會根據所有試驗訓練期間計算的評估指標，評估模型傳回的預測內容分級。
請按照下列步驟評估模型試驗：
前往 Google Cloud 控制台的「BigQuery」頁面。
在查詢編輯器中貼上以下查詢，然後點選「執行」：
SELECT * FROM ML.EVALUATE(MODEL `bqml_tutorial.hp_taxi_tip_model`) ORDER BY r2_score DESC;
結果大致如下：
+----------+---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+ | trial_id | mean_absolute_error | mean_squared_error | mean_squared_log_error | median_absolute_error | r2_score | explained_variance | +----------+---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+ | 7 | 1.151814398002232 | 4.109811493266523 | 0.4918733252641176 | 0.5736103414025084 | 0.6652110305659145 | 0.6652144696114834 | | 19 | 1.1518143358927102 | 4.109811921460791 | 0.4918672150119582 | 0.5736106106914161 | 0.6652109956848206 | 0.6652144346901685 | | 8 | 1.152747850702547 | 4.123625876152422 | 0.4897808307399327 | 0.5731702310239184 | 0.6640856984144734 | 0.664088410199906 | | 5 | 1.152895108945439 | 4.125775524878872 | 0.48939088205957937 | 0.5723300569616766 | 0.6639105860807425 | 0.6639132416838652 | | ... | ... | ... | ... | ... | ... | ... | +----------+---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
最佳模型 (試驗 7) 的
r2_score值為0.66521103056591446，比基準模型大幅改善。
您可以在 ML.EVALUATE 函式中指定 TRIAL_ID 引數，評估特定試驗。
如要進一步瞭解 ML.TRIAL_INFO 目標和 ML.EVALUATE 評估指標之間的差異，請參閱「模型提供函式」。
使用微調後的模型預測計程車小費
使用調整作業傳回的最佳模型，預測不同計程車行程的小費。除非您指定 TRIAL_ID 引數來選取其他試驗，否則 ML.PREDICT 函式會自動使用最佳模型。預測結果會傳回至 predicted_label 欄。
請按照下列步驟取得預測結果：
前往 Google Cloud 控制台的「BigQuery」頁面。
在查詢編輯器中貼上以下查詢，然後點選「執行」：
SELECT * FROM ML.PREDICT( MODEL `bqml_tutorial.hp_taxi_tip_model`, ( SELECT * FROM `bqml_tutorial.taxi_tip_input` LIMIT 5 ));
結果大致如下：
+----------+--------------------+-----------+---------------------+---------------------+-----------------+---------------+-----------+--------------------+--------------+-------------+-------+---------+--------------+---------------+--------------+--------------------+---------------------+----------------+-----------------+-------+ | trial_id | predicted_label | vendor_id | pickup_datetime | dropoff_datetime | passenger_count | trip_distance | rate_code | store_and_fwd_flag | payment_type | fare_amount | extra | mta_tax | tolls_amount | imp_surcharge | total_amount | pickup_location_id | dropoff_location_id | data_file_year | data_file_month | label | +----------+--------------------+-----------+---------------------+---------------------+-----------------+---------------+-----------+--------------------+--------------+-------------+-------+---------+--------------+---------------+--------------+--------------------+---------------------+----------------+-----------------+-------+ | 7 | 1.343367839584448 | 2 | 2018-01-15 18:55:15 | 2018-01-15 18:56:18 | 1 | 0 | 1 | N | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 193 | 193 | 2018 | 1 | 0 | | 7 | -1.176072791783461 | 1 | 2018-01-08 10:26:24 | 2018-01-08 10:26:37 | 1 | 0 | 5 | N | 3 | 0.01 | 0 | 0 | 0 | 0.3 | 0.31 | 158 | 158 | 2018 | 1 | 0 | | 7 | 3.839580104168765 | 1 | 2018-01-22 10:58:02 | 2018-01-22 12:01:11 | 1 | 16.1 | 1 | N | 1 | 54.5 | 0 | 0.5 | 0 | 0.3 | 55.3 | 140 | 91 | 2018 | 1 | 0 | | 7 | 4.677393985230036 | 1 | 2018-01-16 10:14:35 | 2018-01-16 11:07:28 | 1 | 18 | 1 | N | 2 | 54.5 | 0 | 0.5 | 0 | 0.3 | 55.3 | 138 | 67 | 2018 | 1 | 0 | | 7 | 7.938988937253062 | 2 | 2018-01-16 07:05:15 | 2018-01-16 08:06:31 | 1 | 17.8 | 1 | N | 1 | 54.5 | 0 | 0.5 | 0 | 0.3 | 66.36 | 132 | 255 | 2018 | 1 | 11.06 | +----------+--------------------+-----------+---------------------+---------------------+-----------------+---------------+-----------+--------------------+--------------+-------------+-------+---------+--------------+---------------+--------------+--------------------+---------------------+----------------+-----------------+-------+
清除所用資源
為避免因為本教學課程所用資源，導致系統向 Google Cloud 帳戶收取費用，請刪除含有相關資源的專案，或者保留專案但刪除個別資源。
- 您可以刪除建立的專案。
- 或者您可以保留專案並刪除資料集。
刪除資料集
刪除專案將移除專案中所有的資料集與資料表。若您希望重新使用專案，您可以刪除本教學課程中所建立的資料集。
如有需要，請在Google Cloud 控制台開啟 BigQuery 頁面。
在導覽面板中，點選您建立的 bqml_tutorial 資料集。
按一下視窗右側的「刪除資料集」。這項操作會刪除資料集、資料表和所有資料。
在「Delete dataset」(刪除資料集) 對話方塊中，輸入資料集名稱 (
bqml_tutorial) 來確認刪除指令，然後點選「Delete」(刪除)。
刪除專案
如要刪除專案，請進行以下操作：
- 前往 Google Cloud 控制台的「Manage resources」(管理資源) 頁面。
- 在專案清單中選取要刪除的專案，然後點選「Delete」(刪除)。
- 在對話方塊中輸入專案 ID，然後按一下 [Shut down] (關閉) 以刪除專案。
後續步驟
- 如要進一步瞭解機器學習，請參閱機器學習速成課程。
- 如需 BigQuery ML 的總覽，請參閱 BigQuery ML 簡介。
- 如要進一步瞭解 Google Cloud 控制台，請參閱「使用 Google Cloud 控制台」一文。