設定來源存取權:Microsoft Azure 儲存體

從 Azure Storage bucket 移轉資料前,必須先設定該 bucket 的存取權,Storage 移轉服務才能擷取當中的物件。

Storage 移轉服務支援下列 Azure 驗證方式:

  • 共用存取簽章 (SAS) 權杖。建立移轉工作時,可以直接指定 SAS 權杖,也可以將權杖儲存在 Secret Manager。

  • Azure 共用金鑰可以儲存在 Secret Manager 中,並在建立移轉工作時傳遞密鑰。

  • 建立轉移工作時,聯合憑證會以 federatedIdentityConfig 物件的形式傳遞。

此外,本文也說明如何將 Storage 移轉服務 worker IP 位址新增至 Azure 儲存體防火牆,以便允許存取。詳情請參閱「IP 限制」。

支援的地區

Storage 移轉服務可從下列 Microsoft Azure 儲存體區域移轉資料:
  • 美洲:美國東部、美國東部 2、美國西部、美國西部 2、美國西部 3、美國中部、美國中北部、美國中南部、美國中西部、加拿大中部、加拿大東部、巴西南部
  • 亞太地區:澳洲中部、澳洲東部、澳洲東南部、印度中部、印度南部、印度西部、東南亞、東亞、日本東部、日本西部、韓國南部、韓國中部
  • 歐洲、中東、非洲 (EMEA):法國中部、德國中西部、挪威東部、瑞典中部、瑞士北部、北歐、西歐、英國南部、英國西部、卡達中部、阿拉伯聯合大公國北部、南非北部

選項 1:使用 SAS 權杖進行驗證

請按照下列步驟,設定使用 SAS 權杖存取 Microsoft Azure 儲存體容器。您也可以將 SAS 權杖儲存在 Secret Manager 中,方法是按照「在 Secret Manager 中使用 Azure 共用金鑰或 SAS 權杖進行驗證」一文的操作說明進行。

  1. 建立或使用現有的 Microsoft Azure 儲存體使用者,存取 Microsoft Azure 儲存體 Blob 容器的儲存體帳戶。

  2. 在容器層級建立 SAS 權杖。如需操作說明,請參閱「使用共用存取簽章,授予 Azure 儲存體資源有限存取權」。

    1. 「Allowed services」必須包含「Blob」。

    2. 在「Allowed resource types」部分,選取「Container」和「Object」。

    3. 「允許的權限」必須包含「讀取」和「清單」。如果移轉作業設為「刪除來源中的物件」,則您也必須加入「刪除」權限。

    4. SAS 權杖的預設到期時間為 8 小時。請設定合理的到期時間,確保能順利完成轉移。

    5. 請勿在「Allowed IP addresses」(允許的 IP 位址) 欄位中指定任何 IP 位址。Storage 移轉服務會使用各種 IP 位址,且不支援 IP 位址限制。

    6. 「Allowed protocols」(允許的通訊協定) 應為「HTTPS only」(僅限 HTTPS)。

  3. 建立權杖後,請記下傳回的 SAS 權杖值。使用 Storage 移轉服務設定移轉作業時,會需要這個值。

方法 2:使用 Secret Manager 中的 Azure 共用金鑰或 SAS 權杖進行驗證

Secret Manager 是一項安全服務,可儲存及管理密碼等機密資料。這項服務採用強大的加密技術、角色式存取控管和稽核記錄,可保護您的密鑰。

Storage 移轉服務支援 Secret Manager 資源名稱,可參照安全儲存的 Azure 憑證。

如要使用 Azure 共用金鑰,您必須將金鑰儲存在 Secret Manager 中。SAS 權杖可以儲存在 Secret Manager 中,或直接傳遞。

指定共用金鑰後,Storage 移轉服務會使用該金鑰產生服務 SAS,其範圍僅限於移轉工作中指定的 Azure 容器。

啟用 API

啟用 Secret Manager API (如果尚未啟用)。

啟用 API 所需的角色

如要啟用 API,您必須具備 serviceusage.services.enable 權限。如果您建立了專案,可能已透過擁有者角色 (roles/owner) 取得這項權限。否則,您可以透過 Service Usage 管理員角色 (roles/serviceusage.serviceUsageAdmin) 取得這項權限。瞭解如何授予角色。

啟用 API

設定其他權限

使用者權限

建立 Secret 的使用者必須具備下列角色:

  • Secret Manager 管理員 (roles/secretmanager.admin)

瞭解如何授予角色。

服務代理權限

Storage 移轉服務服務代理需要下列 IAM 角色:

  • Secret Manager 密鑰存取者 (roles/secretmanager.secretAccessor)

如要將角色授予服務代理,請按照下列步驟操作:

Cloud 控制台

  1. 按照操作說明擷取服務代理電子郵件。

  2. 前往 Google Cloud 控制台的「IAM」頁面。

    前往「IAM」(身分與存取權管理) 頁面

  3. 按一下「授予存取權」。

  4. 在「New principals」(新增主體) 文字方塊中,輸入服務代理電子郵件地址。

  5. 在「Select a role」(請選擇角色) 下拉式選單中,搜尋並選取「Secret Manager Secret Accessor」(Secret Manager 密鑰存取者)。

  6. 按一下「儲存」。

gcloud

使用 gcloud projects add-iam-policy-binding 指令,將 IAM 角色新增至服務代理。

  1. 按照操作說明擷取服務代理電子郵件。

  2. 在指令列輸入下列指令:

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member='serviceAccount:SERVICE_AGENT_EMAIL' \
      --role='roles/secretmanager.secretAccessor'
    

建立密鑰

使用 Secret Manager 建立密鑰:

Cloud 控制台

  1. 前往 Google Cloud 控制台的「Secret Manager」頁面。

    前往「Secret Manager」

  2. 點選「建立密鑰」。

  3. 輸入名稱。

  4. 在「Secret value」(密鑰值) 文字方塊中,以下列其中一種格式輸入憑證。

    {
      "sas_token" : "SAS_TOKEN_VALUE"
    }
    

    或:

    {
      "access_key" : "ACCESS_KEY"
    }
    
  5. 點選「建立密鑰」。

  6. 建立密鑰後,請記下密鑰的完整資源名稱:

    1. 選取「總覽」分頁標籤。

    2. 複製「Resource name」(資源名稱) 的值。格式如下:

      projects/1234567890/secrets/SECRET_NAME

gcloud

如要使用 gcloud 指令列工具建立新的 Secret,請將 JSON 格式的憑證傳遞至 gcloud secrets create 指令:

printf '{
  "sas_token" : "SAS_TOKEN_VALUE"
}' | gcloud secrets create SECRET_NAME --data-file=-

或:

printf '{
  "access_key" : "ACCESS_KEY"
}' | gcloud secrets create SECRET_NAME --data-file=-

擷取密鑰的完整資源名稱:

gcloud secrets describe SECRET_NAME

請注意回應中的 name 值。格式如下:

projects/1234567890/secrets/SECRET_NAME

如要進一步瞭解如何建立及管理密鑰,請參閱 Secret Manager 說明文件。

將 Secret 傳遞至工作建立指令

如要搭配使用 Secret Manager 和 Storage 移轉服務,必須透過 REST API 建立移轉工作。

將 Secret Manager 資源名稱做為 transferSpec.azureBlobStorageDataSource.credentialsSecret 欄位的值傳遞:

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "description": "Transfer with Secret Manager",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "azureBlobStorageDataSource": {
      "storageAccount": "AZURE_STORAGE_ACCOUNT_NAME",
      "container": "AZURE_CONTAINER_NAME",
      "credentialsSecret": "SECRET_RESOURCE_ID",
    },
    "gcsDataSink": {
      "bucketName": "CLOUD_STORAGE_BUCKET_NAME"
    }
  }
}

如要進一步瞭解如何建立移轉作業,請參閱「建立移轉作業」。

方式 3:使用聯合身分進行驗證

Storage 移轉服務支援使用Google Cloud的 Azure Workload Identity Federation。Storage 移轉服務可透過已註冊的 Azure 應用程式,向 Azure Storage 發出要求,因此不必直接將憑證傳遞至 Storage 移轉服務。

如要設定聯合身分,請按照下列指示操作。

設定 Google Cloud 憑證

如要允許 Storage 移轉服務建立 OpenID Connect (OIDC) ID 權杖,請按照下列步驟操作:

服務代理

如果移轉工作未指定 serviceAccount (即您未將服務代理權限委派給使用者管理的服務帳戶),請將服務帳戶權杖建立者 (roles/iam.serviceAccountTokenCreator) 角色授予服務代理:

  1. 擷取服務代理的 accountEmail:

    1. 前往 googleServiceAccounts.get 參考資料頁面。
    2. 在「Request parameters」下方,輸入專案 ID。
    3. 按一下 [Execute] (執行)。系統會傳回 accountEmail 和 subjectId。
  2. 將服務帳戶權杖建立者 (roles/iam.serviceAccountTokenCreator) 角色授予服務代理。請按照「管理服務帳戶的存取權」中的操作說明進行。

使用者自行管理的服務帳戶

如果您將服務代理權限委派給使用者管理的服務帳戶,則在設定權限委派時,系統會設定 Google 憑證。您不需要採取其他步驟。

設定 Microsoft 憑證

首先,請註冊應用程式並新增聯合憑證:

  1. 登入 https://portal.azure.com。
  2. 前往「App registrations」頁面。
  3. 按一下 [新增註冊]。
  4. 輸入名稱。 例如 azure-transfer-app。
  5. 選取「僅限這個組織目錄中的帳戶」。
  6. 按一下「Register」。應用程式已建立。請注意 Application (client) ID 和 Directory (tenant) ID。您也可以稍後從應用程式的「Overview」(總覽) 頁面擷取這些資訊。
  7. 按一下「Certificates & secrets」,然後選取「Federated credentials」分頁標籤。
  8. 按一下「新增憑證」。
  9. 選取「其他發卡機構」做為情境,並輸入下列資訊:

    • 核發者:https://accounts.google.com
    • 主體 ID:視您使用的是預設服務代理,還是使用者自行管理的服務帳戶而定,請執行下列任一操作:

    • 聯合憑證的專屬名稱。

    • 目標對象必須維持為 api://AzureADTokenExchange。

  10. 按一下「新增」。

接著,授予應用程式 Azure 儲存體容器的存取權:

  1. 前往 Azure 帳戶的「Storage Accounts」(儲存體帳戶) 頁面。
  2. 選取儲存體帳戶,然後選取「Data storage」(資料儲存庫) 區段中的「Containers」(容器)。
  3. 按一下要授予存取權的 bucket。
  4. 按一下左選單中的「存取控管 (IAM)」,然後選取「角色」分頁標籤。
  5. 按一下任何角色旁邊的溢位選單 (...),然後選取「複製」。
  6. 輸入這個自訂角色的名稱,然後選取「Start from scratch」(從頭開始)。按一下「Next」。
  7. 按一下「Add permissions」(新增權限),然後搜尋 Microsoft.Storage/storageAccounts/blobServices/containers/blobs/read。
  8. 按一下顯示的「Microsoft Storage」資訊卡。
  9. 選取「資料動作」圓形按鈕。
  10. 選取「Read : Read Blob」。
  11. 按一下「新增」。
  12. 如要在移轉後刪除來源物件,請再次按一下「Add permissions」(新增權限),然後搜尋 Microsoft.Storage/storageAccounts/blobServices/containers/blobs/delete。
  13. 按一下顯示的「Microsoft Storage」資訊卡,選取「Data actions」,然後選取「Delete : Delete blob」。
  14. 按一下「新增」。
  15. 依序點選「Review + create」和「Create」。系統會將您導回 bucket 的「Access Control (IAM)」(存取控管 (IAM)) 頁面。
  16. 按一下「新增」,然後選取「新增角色指派」。
  17. 從角色清單中選取自訂角色,然後點選「下一步」。
  18. 按一下「選取成員」。
  19. 在「Select」(選取) 欄位中,輸入先前註冊的應用程式名稱。例如:azure-transfer-app。
  20. 依序點選應用程式圖塊和「選取」。
  21. 按一下「Review + assign」。

將應用程式 ID 傳遞至工作建立指令

應用程式的 ID 會透過 federatedIdentityConfig 物件傳遞至工作建立指令。複製您在設定 Microsoft 憑證步驟中儲存的「Application (client) ID」和「Directory (tenant) ID」,並貼到 client_id 和 tenant_id 欄位。

"federatedIdentityConfig": {
  "client_id": "efghe9d8-4810-800b-8f964ed4057f",
  "tenant_id": "abcd1234-c8f0-4cb0-b0c5-ae4aded60078"
}

工作建立要求範例如下:

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "description": "Transfer with Azure Federated Identity",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "azureBlobStorageDataSource": {
      "storageAccount": "AZURE_STORAGE_ACCOUNT_NAME",
      "container": "AZURE_CONTAINER_NAME",
      "federatedIdentityConfig": {
        "client_id": "AZURE_CLIENT_ID",
        "tenant_id": "AZURE_TENANT_ID"
      }
    },
    "gcsDataSink": {
      "bucketName": "CLOUD_STORAGE_BUCKET_NAME"
    }
  }
}

如要進一步瞭解如何建立移轉作業,請參閱「建立移轉作業」。

IP 限制

如果您使用 Azure 儲存體防火牆限制 Azure 資源的存取權,則必須將 Storage 移轉服務 worker 使用的 IP 範圍,新增至允許的 IP 清單。

由於這些 IP 範圍可能會變更,我們會將目前的值以 JSON 檔案的形式發布在永久位址:

https://www.gstatic.com/storage-transfer-service/ipranges.json

在檔案中新增範圍後,我們會等待至少 7 天,再將該範圍用於 Storage 移轉服務的要求。

建議您至少每週從這份文件提取資料,確保安全性設定保持最新狀態。如需從 JSON 檔案擷取 IP 範圍的 Python 指令碼範例,請參閱這篇虛擬私有雲說明文件文章。

如要將這些範圍新增為允許的 IP,請按照 Microsoft Azure 文章「設定 Azure 儲存體防火牆和虛擬網路」中的操作說明進行。