在 BigQuery 中分析多模態資料
本文說明可用來建立及分析多模態資料的 BigQuery 功能。您可以在 BigQuery 中搭配 GoogleSQL 使用這些功能,也可以透過 BigQuery DataFrames 搭配 Python 使用。
BigQuery 的多模態資料功能可讓您執行下列工作:
- 將非結構化資料表示為
ObjectRef值,即可將 Cloud Storage 中儲存的非結構化資料,與標準 BigQuery 資料表中的結構化資料整合,並列為另一個資料欄。 - 使用 BigQuery ML 生成式 AI 函式搭配 Gemini 模型,從多模態資料生成註解、嵌入和純量值。
- 在 BigQuery DataFrames 中建立多模態 DataFrame,並使用 Python 程式庫,從多模態資料生成註解、嵌入和純量值。
如需使用 Google Cloud 控制台的逐步教學課程,請參閱「使用 SQL 和 Python 分析多模態資料」。
優點
BigQuery 的多模態資料功能具有下列優點:
- 可組合性:您可以使用
ObjectRef值,在同一個標準資料表資料列中儲存及管理結構化和非結構化資料。例如,您可以將產品圖片與其他產品資訊儲存在同一列。您可以使用標準 SQL 函式建立及更新包含ObjectRef值的資料欄,也可以建立ObjectRef值,做為物件轉換動作的輸出內容。 - 在生成式 AI 提示中新增多個非結構化資料:新增多個
ObjectRef值,做為生成式 AI 函式的輸入內容。舉例來說,您可以從同一個資料表生成圖片和文字資料的嵌入。如要生成文字和純量值,您也可以在傳送給模型的提示中參照多個物件。舉例來說,您可以建立提示,要求模型根據產品的圖片和屬性生成產品說明。 - 保留區塊順序:您可以將物件分塊,然後將區塊儲存為標準資料表資料欄中的
ObjectRef值陣列,以保留其順序。舉例來說,您可以剖析影片中的圖片,然後將這些圖片儲存為ObjectRef值陣列,這樣圖片就會按照在原始影片中出現的順序排列。
ObjectRef 個值
ObjectRef 值是使用
ObjectRef 結構定義的 STRUCT 值。
您可以建立使用此格式的 STRUCT 或 ARRAY<STRUCT> 資料欄,將 Cloud Storage 物件中繼資料和相關聯的授權者儲存在 BigQuery 標準資料表中。授權方值會識別 BigQuery 用於存取 Cloud Storage 物件的 Cloud 資源連結。如果將授權者設為 NULL,BigQuery 會使用您的 Google 帳戶使用者憑證。
如需將非結構化資料整合至標準資料表,請使用 ObjectRef 值。舉例來說,在產品資料表中,您可以新增包含 ObjectRef 值的資料欄,將產品圖片與其他產品資訊儲存在同一列。
使用下列 GoogleSQL 函式建立及更新 ObjectRef 值:
OBJ.MAKE_REF:建立包含 Cloud Storage 物件中繼資料的ObjectRef值。OBJ.FETCH_METADATA:擷取 Cloud Storage 中繼資料,用於部分填入uri和authorizer值的ObjectRef值。OBJ.LIST:傳回 Cloud Storage 中儲存檔案的中繼資料和ObjectRef值資料表。
詳情請參閱「使用 ObjectRef 值」。
ObjectRefRuntime 個值
ObjectRefRuntime 值是使用
ObjectRefRuntime 結構定義的 JSON 值。
ObjectRefRuntime 值包含用於建立該值的 ObjectRef 值中的 Cloud Storage 物件中繼資料、相關聯的授權者和存取網址。您可以使用存取網址讀取或修改 Cloud Storage 中的物件。
使用 ObjectRefRuntime 值,在分析和轉換工作流程中處理物件資料。ObjectRefRuntime 值中的存取網址最多會在 6 小時後過期,但您可以設定較短的到期時間。如果您在工作流程中保留 ObjectRefRuntime 值,請務必定期重新整理這項資料。如要保留物件中繼資料,請改為儲存 ObjectRef 值,並在需要時使用這些值產生 ObjectRefRuntime 值。除非 Cloud Storage 中的基礎物件有所異動,否則不必重新整理 ObjectRef 值。
使用 OBJ.GET_ACCESS_URL 函式建立 ObjectRefRuntime 值。
生成式 AI 函式
使用下列生成式 AI 函式搭配 Gemini 模型,根據 ObjectRef 輸入內容生成文字、嵌入和純量值:
AI.GENERATEAI.GENERATE_TEXTAI.GENERATE_TABLEAI.GENERATE_BOOLAI.GENERATE_DOUBLEAI.GENERATE_INTAI.GENERATE_EMBEDDINGAI.EMBEDAI.SIMILARITYAI.CLASSIFYAI.IFAI.SCORE
在 Python 中使用多模態資料
您可以使用 BigQuery DataFrames 類別和方法,在 Python 中分析多模態資料。
多模態 DataFrame
使用 read_gbq 方法,建立整合結構化和非結構化資料的多模態 DataFrame:從物件資料表建立多模態 DataFrame。
如要試用,請參閱 GitHub 上的多模態 Dataframe 教學課程。
生成式 AI 方法
請使用下列方法,對多模態資料執行生成式 AI 任務:
GeminiTextGenerator類別的predict方法:根據多模態資料生成文字。MultimodalEmbeddingGenerator類別的predict方法:根據多模態資料生成嵌入。
物件資料表
您建立的任何新物件資料表都會有 ref 欄,其中包含指定物件的 ObjectRef 值。用於建立物件資料表的連線,會用來填入 ref 欄中的 authorizer 值。您可以使用 ref 欄,在標準表格中填入及重新整理 ObjectRef 值。
儲存空間分析資料集
儲存空間分析資料集是連結的 BigQuery 資料集,可供查詢、分析及視覺化呈現 Cloud Storage 資料。ref 欄包含 ObjectRef 值,可用於分析物件資料和中繼資料。
限制
BigQuery 多模態資料功能有下列限制:
- 如果您未在
ObjectRef值的authorizer欄位中明確指定包含連線的專案名稱,則連線必須存在於包含儲存該連線的物件資料表的專案中,或存在於執行參照ObjectRef值的查詢的專案中。 - 在查詢以
ObjectRef值存取物件資料的專案和區域中,Cloud 資源連結數量不得超過 20 個。 - 除了執行查詢的專案外,您最多可以參照五個專案的
ObjectRef值。
定價
使用多模態資料時,會產生下列費用:
- 在標準資料表中,以
ObjectRef值形式儲存物件中繼資料,會產生資料表的 BigQuery 儲存費用。 - 對
ObjectRef值執行查詢會產生 BigQuery 運算費用。 - 透過物件轉換建立的新物件會產生 Cloud Storage 費用。
- 在 BigQuery 中建立並保留的新資料會產生 BigQuery 儲存費用。
- 使用生成式 AI 函式時,會產生 Gemini Enterprise Agent Platform 費用。
- 在 BigQuery DataFrames 中使用 BigQuery Python UDF、多模態 DataFrame 和物件轉換方法時,會產生 Python UDF 費用。
OBJ函式 (例如OBJ.LIST和OBJ.GET_READ_URL) 只會處理中繼資料,不會處理基礎檔案位元組。將傳回的物件參照傳遞至讀取檔案內容的下游 AI 函式 (例如AI.GENERATE或AI.IF) 時,就會產生費用。
詳情請參閱下列定價頁面: