將 Mailchimp 資料載入 BigQuery

您可以使用 Mailchimp 連接器的 BigQuery 資料移轉服務，將 Mailchimp 的資料載入 BigQuery。您可以使用 BigQuery 資料移轉服務，安排週期性移轉工作，將 Mailchimp 的最新資料新增至 BigQuery。Mailchimp 連接器支援多個帳戶，包括 Standard 和 Express Mailchimp 帳戶。

限制

  • Mailchimp 行銷 API 最多僅支援每位使用者同時建立 10 個連線。如果超過這項限制，就會發生錯誤 429: TooManyRequests: You have exceeded the limit of 10 simultaneous connections
    • 為避免達到這項頻率限制，建議每個 Mailchimp 帳戶只執行一項資料移轉作業。
    • 詳情請參閱錯誤詞彙表。
  • 在 Mailchimp 中，Integer 資料類型在所有物件中支援的最大值為 2,147,483,647。
    • 不過，部分 Mailchimp 欄位支援較高的值，例如 EcommerceOrderLines 和 EcommerceCartLines 中的 Quantity 欄位。
  • 如果網路連結是在與 Google Cloud 資料移轉專案不同的 Google Cloud 專案中建立，您必須將 compute.networkAttachments.get 和 compute.networkAttachments.update 權限授予 Google Cloud 資料移轉專案的服務代理。

陣列欄位限制

Mailchimp 連接器不支援下列 Mailchimp 物件中的 ARRAY 欄位：

Mailchimp 物件 不支援的ARRAY欄位
Campaigns VariateSettings_SubjectLines
VariateSettings_SendTimes
VariateSettings_FromNames
VariateSettings_ReplyToAddresses
VariateSettings_Contents
VariateSettings_Combinations
EcommerceCarts Lines
EcommerceProducts Variants
ListMembers TagsAggregate
ListMergeFields Options_Choices
Lists Modules
AuthorizedApps Users
AutomationEmails Settings_AutoFbPost
CampaignOpenEmailDetails Opens
EcommerceProductImages VariantIds
ListSignupForms Contents、Styles
ReportEmailActivity Activity
Reports Timewarp

事前準備

下列各節說明建立 Mailchimp 資料移轉作業前，必須完成的前置作業。

Mailchimp 必要條件

如要啟用從 Mailchimp 到 BigQuery 的資料移轉作業，您必須取得 Mailchimp API 金鑰，才能進行授權和存取。如要瞭解如何取得 API 金鑰，請參閱「產生 API 金鑰」。

BigQuery 事前準備

必要的 BigQuery 角色

如要取得建立 BigQuery 資料移轉服務資料移轉作業所需的權限，請要求管理員授予您專案的 BigQuery 管理員 (roles/bigquery.admin) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

這個預先定義的角色具備建立 BigQuery 資料移轉服務資料移轉作業所需的權限。如要查看確切的必要權限，請展開「Required permissions」(必要權限) 部分：

所需權限

您必須具備下列權限，才能建立 BigQuery 資料移轉服務資料移轉作業：

  • BigQuery 資料移轉服務權限：
    • bigquery.transfers.update
    • bigquery.transfers.get
  • BigQuery 權限：
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

詳情請參閱「授予 bigquery.admin 存取權」。

如要設定 Pub/Sub 的移轉作業執行通知，請確認您具備 pubsub.topics.setIamPolicy IAM 權限。如果只設定電子郵件通知，則不需要 Pub/Sub 權限。詳情請參閱「BigQuery 資料移轉服務執行通知」。

設定 Mailchimp 資料移轉作業

如要將 Mailchimp 資料新增至 BigQuery，請使用下列任一選項建立移轉設定：

控制台

  1. 前往 Google Cloud 控制台的「資料移轉」頁面。

    前往「資料移轉」

  2. 按一下「 建立移轉作業」。

  3. 在「Source type」(來源類型) 部分，「Source」(來源) 請選取「Mailchimp - Preview」。

  4. 在「Data source details」(資料來源詳細資料) 部分執行下列操作：

    • 在「API Key」部分輸入 Mailchimp API 金鑰。詳情請參閱「Mailchimp 必要條件」。
    • 選用：在「Start Date」(開始日期) 部分，指定要納入資料移轉作業的新記錄開始日期。只有在這個日期當天或之後建立的記錄，才會納入資料移轉作業。
      • 請按照 YYYY-MM-DD 格式輸入日期。最小值為 2001-01-01。
    • 在「Mailchimp objects to transfer」(要移轉的 Mailchimp 物件) 部分點選「Browse」(瀏覽)，選取要移轉至 BigQuery 目的地資料集的物件。您也可以在這個欄位手動輸入要移轉資料的物件。

  5. 在「Destination settings」(目的地設定) 部分，「Dataset」(資料集) 請選取您為了儲存資料而建立的資料集。

  6. 在「Transfer config name」(轉移設定名稱) 部分，「Display name」(顯示名稱) 請輸入資料移轉作業名稱。

  7. 在「Schedule options」(排程選項) 專區：

    • 在「Repeat frequency」(重複執行頻率) 清單中，選取選項，指定這項資料移轉作業的執行頻率。如要指定自訂重複頻率，請選取「Custom」(自訂)。如果選取「On-demand」(隨選)，這項移轉作業會在您手動觸發後執行。
    • 視情況選取「Start now」(立即開始) 或「Start at set time」(在所設時間開始執行)，並提供開始日期和執行時間。

  8. 選用：在「Notification options」(通知選項) 專區，執行下列操作：

    • 如要啟用電子郵件通知，請點選「Email notification」(電子郵件通知) 切換按鈕。啟用這個選項之後，若移轉失敗，移轉作業管理員就會收到電子郵件通知。
    • 如要針對這項移轉作業啟用 Pub/Sub 移轉作業執行通知，請點選「Pub/Sub notifications」(Pub/Sub 通知) 切換按鈕。您可以選取主題名稱，也可以點選「Create a topic」(建立主題) 來建立主題。

  9. 按一下「儲存」。

bq

輸入 bq mk 指令，並提供移轉作業建立旗標 --transfer_config：

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

更改下列內容：

  • PROJECT_ID (選用)：您的 Google Cloud 專案 ID。如未提供 --project_id 來指定特定專案，系統會使用預設專案。
  • DATA_SOURCE：資料來源 - mailchimp。
  • NAME：資料移轉設定的顯示名稱。移轉作業名稱可以是任意值，日後需要修改移轉作業時，能夠據此識別即可。
  • DATASET：移轉設定的目標資料集。

  • PARAMETERS：JSON 格式的已建立移轉設定參數。例如：--params='{"param":"param_value"}'。Mailchimp 資料移轉的參數如下：

    • assets：要轉移至 BigQuery 的 Mailchimp 物件路徑。
    • connector.authentication.apiKey：Mailchimp API 金鑰。
    • connector.startDate：(選用) 要納入資料移轉作業的新記錄開始日期，格式為 YYYY-MM-DD。只有在這個日期當天或之後建立的記錄，才會納入資料移轉作業。

下列指令會在預設專案中建立 Mailchimp 資料移轉作業。

    bq mk
        --transfer_config
        --target_dataset=mydataset
        --data_source=mailchimp
        --display_name='My Transfer'
        --params='{"assets": "Lists",
            "connector.authentication.apiKey":"1234567",
            "connector.startDate":"2025-01-01"}'
儲存移轉設定後，Mailchimp 連接器會根據您的排程選項，自動觸發移轉作業。每次執行移轉作業時，Mailchimp 連接器都會將 Mailchimp 中的所有可用資料移轉至 BigQuery。

如要在排程時間以外手動執行資料移轉作業，可以啟動補充執行作業。

資料類型對應

下表將 Mailchimp 資料類型對應至相應的 BigQuery 資料類型：

Mailchimp 資料類型 BigQuery 資料類型 說明
String STRING
Integer INT64
Number BIGNUMERIC Mailchimp Number 資料物件會對應至 BIGNUMERIC 資料類型 (適用於 Price 和 OrderTotal 等財務相關欄位)，或 FLOAT64 資料類型 (適用於 Stats_OpenRate 和 Location_Latitude 等其他欄位)。
Number FLOAT64
Boolean BOOLEAN
String (日期時間格式) TIMESTAMP 日期時間格式的 STRING 資料類型會以 ISO 8601 格式表示。例如：2019-08-24T14:15:22Z。

定價

這項功能處於預先發布版階段，將 Mailchimp 資料移轉至 BigQuery 不會產生費用。

排解轉移設定問題

如果無法順利設定資料移轉作業，請參閱「Mailchimp 移轉問題」。

後續步驟

  • 如需 BigQuery 資料移轉服務的總覽，請參閱「什麼是 BigQuery 資料移轉服務」。
  • 如要瞭解如何使用移轉作業，包括取得移轉設定資訊、列出移轉設定，以及查看移轉作業的執行記錄，請參閱「管理移轉作業」。