Sebelum mentransfer data dari bucket Azure Storage, Anda harus mengonfigurasi akses ke bucket tersebut agar Storage Transfer Service dapat mengambil objeknya.
Storage Transfer Service mendukung metode autentikasi Azure berikut:
Token tanda tangan akses bersama (SAS). Token SAS dapat ditentukan secara langsung saat membuat tugas transfer, atau dapat disimpan di Secret Manager.
Kunci Bersama Azure dapat disimpan di Secret Manager dan secret diteruskan saat membuat tugas transfer.
Kredensial gabungan diteruskan dalam objek
federatedIdentityConfigselama pembuatan tugas transfer.
Dokumen ini juga menyertakan informasi tentang cara menambahkan alamat IP worker Storage Transfer Service ke firewall Azure Storage Anda untuk mengizinkan akses. Lihat Pembatasan IP untuk mengetahui detailnya.
Region yang didukung
Storage Transfer Service dapat mentransfer data dari region Microsoft Azure Storage berikut:- Amerika: East US, East US 2, West US, West US 2, West US 3, Central US, North Central US, South Central US, West Central US, Canada Central, Canada East, Brazil South
- Asia Pasifik: Australia Central, Australia East, Australia Southeast, Central India, South India, West India, Southeast Asia, East Asia, Japan East, Japan West, Korea South, Korea Central
- Eropa, Timur Tengah, Afrika (EMEA): France Central, Germany West Central, Norway East, Sweden Central, Switzerland North, North Europe, West Europe, UK South, UK West, Qatar Central, UAE North, South Africa North
Opsi 1: Melakukan autentikasi menggunakan token SAS
Ikuti langkah-langkah berikut untuk mengonfigurasi akses ke container Microsoft Azure Storage menggunakan token SAS. Atau, Anda dapat menyimpan token SAS di Secret Manager; untuk melakukannya, ikuti petunjuk di Mengautentikasi menggunakan Kunci Bersama Azure atau token SAS di Secret Manager.
Buat atau gunakan pengguna Microsoft Azure Storage yang ada untuk mengakses akun penyimpanan untuk container Blob Microsoft Azure Storage Anda.
Buat token SAS di level container. Lihat Memberikan akses terbatas ke resource Azure Storage menggunakan tanda tangan akses bersama untuk mengetahui petunjuknya.
Layanan yang diizinkan harus menyertakan Blob.
Untuk Allowed resource types, pilih Container dan Object.
Izin yang diizinkan harus menyertakan Read dan List. Jika transfer dikonfigurasi untuk menghapus objek dari sumber, Anda juga harus menyertakan izin Hapus.
Waktu habis masa berlaku default untuk token SAS adalah 8 jam. Tetapkan waktu habis masa berlaku yang wajar yang memungkinkan Anda berhasil menyelesaikan transfer.
Jangan tentukan alamat IP apa pun di kolom Alamat IP yang diizinkan. Storage Transfer Service menggunakan berbagai alamat IP dan tidak mendukung pembatasan alamat IP.
Protokol yang diizinkan harus Khusus HTTPS.
Setelah token dibuat, catat nilai token SAS yang ditampilkan. Anda memerlukan nilai ini saat mengonfigurasi transfer dengan Storage Transfer Service.
Opsi 2: Melakukan autentikasi menggunakan Kunci Bersama Azure atau token SAS di Secret Manager
Secret Manager adalah layanan aman yang menyimpan dan mengelola data sensitif seperti sandi. Secret Manager menggunakan enkripsi yang kuat, role-based access control, dan logging audit untuk melindungi secret Anda.
Storage Transfer Service mendukung nama resource Secret Manager yang mereferensikan kredensial Azure Anda yang disimpan dengan aman.
Untuk menggunakan Kunci Bersama Azure, Anda harus menyimpan kunci di Secret Manager. Token SAS dapat disimpan di Secret Manager atau diteruskan secara langsung.
Saat Anda menentukan Kunci Bersama, Storage Transfer Service akan menggunakan kunci tersebut untuk membuat SAS layanan yang dibatasi cakupannya ke container Azure yang ditentukan dalam tugas transfer.
Mengaktifkan API
Aktifkan Secret Manager API, jika belum diaktifkan.
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda
membuat project, kemungkinan Anda sudah memiliki izin ini melalui
peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui
peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin).
Pelajari cara memberikan peran.
Mengonfigurasi izin tambahan
Izin pengguna
Pengguna yang membuat secret memerlukan peran berikut:
- Secret Manager Admin (
roles/secretmanager.admin)
Pelajari cara memberikan peran.
Izin agen layanan
Agen layanan Storage Transfer Service memerlukan peran IAM berikut:
- Secret Manager Secret Accessor (
roles/secretmanager.secretAccessor)
Untuk memberikan peran kepada agen layanan Anda:
Konsol Cloud
Ikuti petunjuk untuk mengambil email agen layanan Anda.
Buka halaman IAM di konsol Google Cloud .
Klik Grant access.
Di kotak teks New principals, masukkan email agen layanan.
Di drop-down Select a role, telusuri dan pilih Secret Manager Secret Accessor.
Klik Simpan.
gcloud
Gunakan perintah gcloud projects add-iam-policy-binding untuk menambahkan peran IAM ke agen layanan Anda.
Ikuti petunjuk untuk mengambil email agen layanan Anda.
Dari command line, masukkan perintah berikut:
gcloud projects add-iam-policy-binding PROJECT_ID \ --member='serviceAccount:SERVICE_AGENT_EMAIL' \ --role='roles/secretmanager.secretAccessor'
Membuat secret
Membuat secret dengan Secret Manager:
Konsol Cloud
Buka halaman Secret Manager di konsol Google Cloud .
Klik Create secret.
Masukkan nama.
Di kotak teks Secret value, masukkan kredensial Anda dalam salah satu format berikut.
{ "sas_token" : "SAS_TOKEN_VALUE" }Atau:
{ "access_key" : "ACCESS_KEY" }Klik Create secret.
Setelah secret dibuat, catat nama resource lengkap secret:
Pilih tab Ringkasan.
Salin nilai Resource name. Formatnya adalah sebagai berikut:
projects/1234567890/secrets/SECRET_NAME
gcloud
Untuk membuat secret baru menggunakan alat command line gcloud, teruskan kredensial berformat JSON ke perintah gcloud secrets create:
printf '{
"sas_token" : "SAS_TOKEN_VALUE"
}' | gcloud secrets create SECRET_NAME --data-file=-
Atau:
printf '{
"access_key" : "ACCESS_KEY"
}' | gcloud secrets create SECRET_NAME --data-file=-
Ambil nama lengkap resource secret:
gcloud secrets describe SECRET_NAME
Catat nilai name dalam respons. Formatnya adalah sebagai berikut:
projects/1234567890/secrets/SECRET_NAME
Untuk mengetahui detail selengkapnya tentang cara membuat dan mengelola secret, lihat dokumentasi Secret Manager.
Meneruskan secret Anda ke perintah pembuatan tugas
Penggunaan Secret Manager dengan Storage Transfer Service memerlukan penggunaan REST API untuk membuat tugas transfer.
Teruskan nama resource Secret Manager sebagai nilai kolom transferSpec.azureBlobStorageDataSource.credentialsSecret:
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
"description": "Transfer with Secret Manager",
"status": "ENABLED",
"projectId": "PROJECT_ID",
"transferSpec": {
"azureBlobStorageDataSource": {
"storageAccount": "AZURE_STORAGE_ACCOUNT_NAME",
"container": "AZURE_CONTAINER_NAME",
"credentialsSecret": "SECRET_RESOURCE_ID",
},
"gcsDataSink": {
"bucketName": "CLOUD_STORAGE_BUCKET_NAME"
}
}
}
Lihat Membuat transfer untuk mengetahui detail selengkapnya tentang cara membuat transfer.
Opsi 3: Melakukan autentikasi menggunakan identitas gabungan
Storage Transfer Service mendukung workload identity federation Azure dengan Google Cloud. Storage Transfer Service dapat mengirimkan permintaan ke Azure Storage melalui aplikasi Azure yang terdaftar, sehingga tidak perlu meneruskan kredensial ke Storage Transfer Service secara langsung.
Untuk mengonfigurasi identitas gabungan, ikuti petunjuk berikut.
Mengonfigurasi kredensial Google Cloud
Untuk mengizinkan Storage Transfer Service membuat token ID OpenID Connect (OIDC):
Agen layanan
Jika tugas transfer Anda tidak menentukan serviceAccount (yaitu, Anda tidak
mendelegasikan izin agen layanan ke akun layanan yang dikelola pengguna),
berikan peran Service Account Token Creator
(roles/iam.serviceAccountTokenCreator) kepada agen layanan:
Ambil
accountEmailagen layanan:- Buka
halaman referensi
googleServiceAccounts.get. - Di bagian Request parameters, masukkan project ID Anda.
- Klik Jalankan.
accountEmaildansubjectIdditampilkan.
- Buka
halaman referensi
Berikan peran Service Account Token Creator (
roles/iam.serviceAccountTokenCreator) kepada agen layanan pada dirinya sendiri. Ikuti petunjuk di bagian Mengelola akses ke akun layanan.
Akun layanan yang dikelola pengguna
Jika Anda mendelegasikan izin agen layanan ke akun layanan yang dikelola pengguna, kredensial Google Anda akan dikonfigurasi saat Anda menyiapkan delegasi izin. Tidak diperlukan langkah tambahan.
Mengonfigurasi kredensial Microsoft
Pertama, daftarkan aplikasi dan tambahkan kredensial gabungan:
- Login ke https://portal.azure.com.
- Buka halaman App registrations.
- Klik New registration.
- Masukkan nama. Misalnya,
azure-transfer-app. - Pilih Accounts in this organizational directory only.
- Klik Daftar. Aplikasi dibuat. Perhatikan
Application (client) IDdanDirectory (tenant) ID. Anda juga dapat mengambilnya nanti dari halaman Ringkasan aplikasi. - Klik Certificates & secrets, lalu pilih tab Federated credentials.
- Klik Add credential.
Pilih Other issuer sebagai skenario dan masukkan informasi berikut:
- Penerbit:
https://accounts.google.com ID subjek: Bergantung pada apakah Anda menggunakan agen layanan default, atau akun layanan yang dikelola pengguna, salah satu dari:
subjectIdagen layanan Anda, yang Anda ambil di Mengonfigurasi kredensial Google Cloud .uniqueIdakun layanan terkelola pengguna Anda. Lihat Mengambil ID unik akun layanan untuk mengetahui detail tentang cara mengambil nilai ini.
Nama unik untuk kredensial gabungan.
Audiens harus tetap sebagai
api://AzureADTokenExchange.
- Penerbit:
Klik Tambahkan.
Selanjutnya, beri aplikasi akses ke container Azure Storage Anda:
- Buka halaman Storage Accounts di akun Azure Anda.
- Pilih akun penyimpanan Anda, lalu pilih Containers dari bagian Data storage.
- Klik bucket yang ingin diberi akses.
- Klik Kontrol Akses (IAM) dari menu kiri, lalu pilih tab Peran.
- Klik menu tambahan (
...) di samping peran mana pun, lalu pilih Clone. - Masukkan nama untuk peran khusus ini, lalu pilih Start from scratch. Klik Berikutnya.
- Klik Add permissions dan telusuri
Microsoft.Storage/storageAccounts/blobServices/containers/blobs/read. - Klik kartu Microsoft Storage yang muncul.
- Pilih tombol pilihan Tindakan data.
- Pilih Read : Read Blob.
- Klik Tambahkan.
- Jika Anda akan menghapus objek di sumber setelah transfer, klik
Add permissions lagi dan telusuri
Microsoft.Storage/storageAccounts/blobServices/containers/blobs/delete. - Klik kartu Microsoft Storage yang muncul, pilih Data actions, lalu pilih Delete : Delete blob.
- Klik Tambahkan.
- Klik Review + create, lalu Create. Anda akan kembali ke halaman Kontrol Akses (IAM) bucket.
- Klik Add, lalu pilih Add role assignment.
- Dari daftar peran, pilih peran khusus Anda, lalu klik Next.
- Klik Select members.
- Di kolom Select, masukkan nama aplikasi yang telah Anda daftarkan sebelumnya. Contoh,
azure-transfer-app. - Klik kotak aplikasi, lalu klik Select.
- Klik Review + assign.
Meneruskan ID aplikasi Anda ke perintah pembuatan tugas
ID aplikasi Anda diteruskan ke perintah pembuatan tugas menggunakan objek federatedIdentityConfig. Salin Application (client) ID dan
Directory (tenant) ID yang Anda simpan selama
langkah-langkah Mengonfigurasi kredensial Microsoft ke
kolom client_id dan tenant_id.
"federatedIdentityConfig": {
"client_id": "efghe9d8-4810-800b-8f964ed4057f",
"tenant_id": "abcd1234-c8f0-4cb0-b0c5-ae4aded60078"
}
Contoh permintaan pembuatan tugas terlihat seperti berikut:
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
"description": "Transfer with Azure Federated Identity",
"status": "ENABLED",
"projectId": "PROJECT_ID",
"transferSpec": {
"azureBlobStorageDataSource": {
"storageAccount": "AZURE_STORAGE_ACCOUNT_NAME",
"container": "AZURE_CONTAINER_NAME",
"federatedIdentityConfig": {
"client_id": "AZURE_CLIENT_ID",
"tenant_id": "AZURE_TENANT_ID"
}
},
"gcsDataSink": {
"bucketName": "CLOUD_STORAGE_BUCKET_NAME"
}
}
}
Lihat Membuat transfer untuk mengetahui detail selengkapnya tentang cara membuat transfer.
Pembatasan IP
Jika membatasi akses ke resource Azure menggunakan firewall Azure Storage, Anda harus menambahkan rentang IP yang digunakan oleh worker Storage Transfer Service ke daftar IP yang diizinkan.
Karena rentang IP ini dapat berubah, kami memublikasikan nilai saat ini sebagai file JSON di alamat permanen:
https://www.gstatic.com/storage-transfer-service/ipranges.json
Saat rentang baru ditambahkan ke file, kami akan menunggu setidaknya 7 hari sebelum menggunakan rentang tersebut untuk permintaan dari Storage Transfer Service.
Sebaiknya Anda mengambil data dari dokumen ini setidaknya setiap minggu agar konfigurasi keamanan Anda selalu terbaru. Untuk contoh skrip Python yang mengambil rentang IP dari file JSON, lihat artikel ini dari dokumentasi Virtual Private Cloud.
Untuk menambahkan rentang ini sebagai IP yang diizinkan, ikuti petunjuk dalam artikel Microsoft Azure, Configure Azure Storage firewalls and virtual networks.