Google menggunakan teknologi AI untuk menerjemahkan konten ke dalam bahasa pilihan Anda. Terjemahan AI mungkin mengandung kesalahan.

Membuat transfer

Halaman ini menunjukkan cara membuat dan memulai tugas transfer.

Untuk mengetahui apakah sumber dan tujuan (juga dikenal sebagai sink) Anda didukung oleh Storage Transfer Service, lihat Sumber dan sink yang didukung.

Agen dan kumpulan agen

Bergantung pada sumber dan tujuan, Anda mungkin perlu membuat dan mengonfigurasi kumpulan agen dan menginstal agen di mesin yang memiliki akses ke sumber atau tujuan Anda.

Transfer dari Amazon S3, Microsoft Azure, daftar URL, atau Cloud Storage ke Cloud Storage tidak memerlukan agen dan kumpulan agen.
Transfer yang sumber dan/atau tujuannya adalah sistem file, atau dari penyimpanan yang kompatibel dengan S3, memerlukan agen dan kumpulan agen. Lihat Mengelola kumpulan agen untuk mengetahui petunjuknya.

Sebelum memulai

Sebelum mengonfigurasi transfer, pastikan Anda telah mengonfigurasi akses:

Untuk pengguna dan akun layanan:
- Izin pengguna yang diperlukan
- Izin level project berbasis agen
Ke data sumber dan ke tujuan Anda.

Jika Anda menggunakan perintah gcloud, instal gcloud CLI.

Buat transfer

Jangan menyertakan informasi sensitif seperti informasi identitas pribadi (PII) atau data keamanan dalam nama tugas transfer Anda. Nama resource dapat disebarkan ke nama resource Google Cloud lainnya dan dapat diekspos ke sistem internal Google di luar project Anda.

Konsol Google Cloud

Buka halaman Storage Transfer Service di konsol Google Cloud .

Buka Storage Transfer Service
Klik Buat tugas transfer. Halaman Create a transfer job akan ditampilkan.
Pilih sumber:
Cloud Storage
Akun pengguna Anda harus memiliki izin storage.buckets.get untuk memilih bucket sumber dan tujuan. Atau, Anda dapat mengetik nama bucket secara langsung. Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah akses.
1. Di bagian Source type, pilih Cloud Storage.
2. Pilih Jenis tujuan.
3. Jika tujuan Anda adalah Cloud Storage, pilih Scheduling mode. Transfer batch dijalankan secara satu kali atau terjadwal. Transfer berbasis peristiwa terus memantau sumber dan mentransfer data saat ditambahkan atau diubah.
  
  Untuk mengonfigurasi transfer berbasis peristiwa, ikuti petunjuk di Transfer berbasis peristiwa.
4. Klik Next step.
5. Pilih bucket dan (opsional) folder di bucket tersebut dengan melakukan salah satu hal berikut:
  
  Masukkan nama dan jalur bucket Cloud Storage yang ada di kolom Bucket or folder tanpa awalan gs://. Contoh, my-test-bucket/path/to/files. Untuk menentukan bucket Cloud Storage dari project lain, ketik nama persisnya ke dalam kolom Bucket name.
  
  Pilih daftar bucket yang ada di project Anda dengan mengklik Browse, lalu pilih bucket.
  
  Saat mengklik Browse, Anda dapat memilih bucket di project lain dengan mengklik Project ID, lalu memilih Project ID dan bucket baru.
  
  Untuk membuat bucket baru, klik Create new bucket.
  
  Jika Anda menentukan jalur dalam folder, lihat Menentukan jalur sumber dan tujuan untuk mengetahui detail penting.
6. Jika ini adalah transfer berbasis peristiwa, masukkan nama langganan Pub/Sub, yang menggunakan format berikut:
  
  projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID
7. Jika perlu, pilih untuk memfilter objek menurut awalan, menurut tanggal terakhir diubah, atau menurut kelas penyimpanan. Jika Anda menentukan folder sebagai lokasi sumber, filter awalan akan relatif terhadap folder tersebut. Misalnya, jika sumber Anda adalah my-test-bucket/path/, filter sertakan file akan menyertakan semua file yang diawali dengan my-test-bucket/path/file.
8. Klik Next step.
Amazon S3
Lihat Mentransfer dari Amazon S3 ke Cloud Storage.

Penyimpanan yang kompatibel dengan S3
Lihat Mentransfer dari penyimpanan yang kompatibel dengan S3 ke Cloud Storage.
Microsoft Azure Blob Storage
Storage Transfer Service dapat mentransfer data dari region Microsoft Azure Storage berikut:
Amerika: East US, East US 2, West US, West US 2, West US 3, Central US, North Central US, South Central US, West Central US, Canada Central, Canada East, Brazil South

Asia Pasifik: Australia Central, Australia East, Australia Southeast, Central India, South India, West India, Southeast Asia, East Asia, Japan East, Japan West, Korea South, Korea Central

Eropa, Timur Tengah, Afrika (EMEA): France Central, Germany West Central, Norway East, Sweden Central, Switzerland North, North Europe, West Europe, UK South, UK West, Qatar Central, UAE North, South Africa North
1. Di bagian Source type, pilih Azure Blob Storage or Data Lake Storage Gen2.
2. Klik Next step.
3. Tentukan nilai berikut:
  
  Storage account name — nama akun Microsoft Azure Storage sumber.
  
  Nama akun penyimpanan ditampilkan di portal Microsoft Azure Storage di bagian All services > Storage > Storage accounts.
  
  Container name — nama container Microsoft Azure Storage.
  
  Nama container ditampilkan di portal Microsoft Azure Storage di bagian Storage explorer > Blob containers. Untuk mentransfer semua container di akun penyimpanan, masukkan * sebagai nilainya. Lihat Mentransfer semua container di akun Azure Storage untuk mengetahui informasi selengkapnya.
  
  Tanda tangan akses bersama (SAS) — token SAS Microsoft Azure Storage yang dibuat dari kebijakan akses tersimpan. Untuk mengetahui informasi selengkapnya, lihat Memberikan akses terbatas ke resource Azure Storage menggunakan tanda tangan akses bersama (SAS).
  Waktu habis masa berlaku default untuk token SAS adalah 8 jam. Saat membuat token SAS, pastikan untuk menetapkan waktu habis masa berlaku yang wajar yang memungkinkan Anda berhasil menyelesaikan transfer.
  Perhatian: Token SAS dasar tidak dapat dicabut, dan satu-satunya cara untuk membatalkan token SAS dasar adalah dengan menghapus kunci akses penyimpanan akun Anda. Sebaiknya buat token SAS dari kebijakan akses tersimpan, sehingga Anda dapat mencabut kebijakan untuk membatalkan token SAS. Untuk mengetahui informasi selengkapnya, lihat Praktik terbaik saat menggunakan SAS.
  
  Catatan: Saat membuat kunci SAS, hindari menyertakan batasan IP. Storage Transfer Service menggunakan berbagai alamat IP dan tidak mendukung pembatasan alamat IP.
4. Jika perlu, pilih untuk memfilter objek menurut awalan, menurut tanggal terakhir diubah, atau menurut kelas penyimpanan. Jika Anda menentukan folder sebagai lokasi sumber, filter awalan akan relatif terhadap folder tersebut. Misalnya, jika sumber Anda adalah my-test-bucket/path/, filter sertakan file akan menyertakan semua file yang diawali dengan my-test-bucket/path/file.
5. Klik Next step.
Sistem file
1. Di bagian Source type, pilih sistem file POSIX.
2. Pilih Jenis tujuan, lalu klik Langkah berikutnya.
3. Pilih kumpulan agen yang ada, atau pilih Create agent pool dan ikuti petunjuk untuk membuat kumpulan baru.
4. Tentukan jalur yang sepenuhnya memenuhi syarat dari direktori sistem file. Jika Anda menentukan jalur selain root, lihat Menentukan jalur sumber dan tujuan untuk mengetahui detail penting.
5. Klik Next step.
HDFS
Lihat Transfer dari HDFS ke Cloud Storage.
Daftar URL
1. Di bagian Jenis sumber, pilih Daftar URL, lalu klik Langkah berikutnya.
2. Di bagian URL of TSV file, berikan URL ke file nilai yang dipisahkan tab (TSV). Lihat Membuat Daftar URL untuk mengetahui detail tentang cara membuat file TSV.
3. Jika perlu, pilih untuk memfilter objek menurut awalan, menurut tanggal terakhir diubah, atau menurut kelas penyimpanan. Jika Anda menentukan folder sebagai lokasi sumber, filter awalan akan relatif terhadap folder tersebut. Misalnya, jika sumber Anda adalah my-test-bucket/path/, filter sertakan file akan menyertakan semua file yang diawali dengan my-test-bucket/path/file.
4. Klik Next step.
Pilih tujuan:
Cloud Storage
1. Di kolom Bucket or folder, masukkan bucket tujuan dan (opsional) nama folder, atau klik Browse untuk memilih bucket dari daftar bucket yang ada di project Anda saat ini. Untuk membuat bucket baru, klik Create new bucket.
  
  Jika Anda menentukan jalur dalam bucket, lihat Menentukan jalur sumber dan tujuan untuk mengetahui detail penting.
2. Klik Next step.
3. Pilih opsi penjadwalan Anda:
  
  Catatan: Storage Transfer Service menampilkan jadwal tugas transfer dalam zona waktu lokal Anda, tetapi menyimpan waktu tersebut dalam Universal Time Coordinated (UTC). Jika Anda terpengaruh oleh Waktu Musim Panas (DST), Anda mungkin mengalami perubahan jadwal tugas transfer saat DST dimulai atau berakhir.
  
  Dari menu drop-down Run once, pilih salah satu opsi berikut:
  
  Jalankan sekali: Menjalankan satu transfer, dimulai pada waktu yang Anda pilih.
  
  Run every day: Menjalankan transfer setiap hari, mulai pada waktu yang Anda pilih.
  
  Anda dapat memasukkan Tanggal akhir opsional, atau mengosongkan Tanggal akhir untuk menjalankan transfer secara terus-menerus.
  
  Jalankan setiap minggu: Menjalankan transfer setiap minggu, dimulai pada waktu yang Anda pilih.
  
  Run with custom frequency: Menjalankan transfer dengan frekuensi yang Anda pilih. Anda dapat memilih untuk mengulangi transfer pada interval reguler Jam, Hari, atau Minggu.
  
  Anda dapat memasukkan Tanggal akhir opsional, atau mengosongkan Tanggal akhir untuk menjalankan transfer secara terus-menerus.
  
  Dari menu drop-down Mulai sekarang, pilih salah satu opsi berikut:
  
  Starting now: Memulai transfer setelah Anda mengklik Create.
  
  Starting on: Memulai transfer pada tanggal dan waktu yang Anda pilih. Klik Kalender untuk menampilkan kalender guna memilih tanggal mulai.
4. Klik Next step.
5. Pilih setelan untuk tugas transfer. Beberapa opsi hanya tersedia untuk kombinasi sumber/sink tertentu.
  
  Di kolom Description, masukkan deskripsi transfer. Sebagai praktik terbaik, masukkan deskripsi yang bermakna dan unik agar Anda dapat membedakan tugas.
  
  Di bagian Metadata options, pilih untuk menggunakan opsi default, atau klik View and select options untuk menentukan nilai bagi semua metadata yang didukung. Lihat Penyimpanan metadata untuk mengetahui detailnya.
  
  Di bagian When to overwrite, pilih salah satu opsi berikut:
  
  Jika berbeda: Menimpa file tujuan jika file sumber dengan nama yang sama memiliki nilai Etag atau checksum yang berbeda.
  
  Selalu: Selalu menimpa file tujuan jika file sumber memiliki nama yang sama, meskipun file tersebut identik.
  
  Di bagian Kapan harus menghapus, pilih salah satu opsi berikut:
  
  Jangan pernah: Jangan pernah menghapus file dari sumber atau tujuan.
  
  Hapus file dari sumber setelah file ditransfer: Menghapus file dari sumber setelah file ditransfer ke tujuan. Jika file sumber tidak ditransfer, misalnya karena sudah ada di tujuan, file sumber tidak akan dihapus.
  
  Penting: Jika Anda tidak memiliki cadangan lokal, opsi ini adalah tindakan yang tidak dapat dibatalkan.
  
  Delete files from destination if they're not also at source: Jika file di bucket Cloud Storage tujuan tidak ada di sumber, hapus file dari bucket Cloud Storage.
  
  Opsi ini memastikan bahwa bucket Cloud Storage tujuan sama persis dengan sumber Anda.
  
  Untuk transfer antar-bucket Cloud Storage, pilih apakah akan mentransfer folder terkelola.
  
  Aktifkan atau nonaktifkan Logging untuk Storage Transfer Service.
  
  Di bagian Opsi notifikasi, pilih topik Pub/Sub Anda dan peristiwa yang akan diberi tahu (opsional). Lihat notifikasi Pub/Sub untuk mengetahui detail selengkapnya.
6. Jika Anda mendelegasikan izin agen layanan ke akun layanan yang dikelola pengguna, pilih opsi tersebut dan masukkan alamat email akun layanan dalam format SERVICE_ACCOUNT_NAME@PROJECT_ID..
7. Klik Create.
Sistem file
1. Pilih kumpulan agen yang ada, atau pilih Create agent pool dan ikuti petunjuk untuk membuat kumpulan baru.
2. Tentukan jalur direktori tujuan yang sepenuhnya memenuhi syarat. Jika Anda menentukan jalur selain root, lihat Menentukan jalur sumber dan tujuan untuk mengetahui detail penting. Jika jalur yang Anda tentukan tidak ada, agen transfer akan mencoba membuat struktur direktori di sistem file tujuan selama proses transfer. Agen harus memiliki izin tulis yang diperlukan di direktori induk.
3. Klik Next step.
4. Pilih opsi penjadwalan Anda:
  
  Catatan: Storage Transfer Service menampilkan jadwal tugas transfer dalam zona waktu lokal Anda, tetapi menyimpan waktu tersebut dalam Universal Time Coordinated (UTC). Jika Anda terpengaruh oleh Waktu Musim Panas (DST), Anda mungkin mengalami perubahan jadwal tugas transfer saat DST dimulai atau berakhir.
  
  Dari menu drop-down Run once, pilih salah satu opsi berikut:
  
  Jalankan sekali: Menjalankan satu transfer, dimulai pada waktu yang Anda pilih.
  
  Run every day: Menjalankan transfer setiap hari, mulai pada waktu yang Anda pilih.
  
  Anda dapat memasukkan Tanggal akhir opsional, atau mengosongkan Tanggal akhir untuk menjalankan transfer secara terus-menerus.
  
  Jalankan setiap minggu: Menjalankan transfer setiap minggu, dimulai pada waktu yang Anda pilih.
  
  Run with custom frequency: Menjalankan transfer dengan frekuensi yang Anda pilih. Anda dapat memilih untuk mengulangi transfer pada interval reguler Jam, Hari, atau Minggu.
  
  Anda dapat memasukkan Tanggal akhir opsional, atau mengosongkan Tanggal akhir untuk menjalankan transfer secara terus-menerus.
  
  Dari menu drop-down Mulai sekarang, pilih salah satu opsi berikut:
  
  Starting now: Memulai transfer setelah Anda mengklik Create.
  
  Starting on: Memulai transfer pada tanggal dan waktu yang Anda pilih. Klik Kalender untuk menampilkan kalender guna memilih tanggal mulai.
5. Klik Next step.
6. Tentukan apakah akan menggunakan file manifes.
7. Pilih apakah akan mempertahankan metadata; kapan harus menimpa; dan kapan harus menghapus file di sumber atau tujuan.
8. Pilih opsi logging Anda.
9. Di bagian Opsi notifikasi, pilih topik Pub/Sub Anda dan peristiwa yang akan diberi tahu (opsional). Lihat notifikasi Pub/Sub untuk mengetahui detail selengkapnya.
10. Jika Anda mendelegasikan izin agen layanan ke akun layanan yang dikelola pengguna, pilih opsi tersebut dan masukkan alamat email akun layanan dalam format SERVICE_ACCOUNT_NAME@PROJECT_ID..
11. Untuk membuat tugas transfer, klik Create.

gcloud CLI

Untuk membuat tugas transfer baru, gunakan perintah gcloud transfer jobs create. Membuat tugas baru akan memulai transfer yang ditentukan, kecuali jika jadwal atau --do-not-run ditentukan.

gcloud transfer jobs create \
  SOURCE DESTINATION

Ganti kode berikut:

SOURCE adalah sumber data untuk transfer ini. Format untuk setiap sumber adalah:
- Cloud Storage: gs://BUCKET_NAME. Untuk mentransfer dari folder tertentu, tentukan gs://BUCKET_NAME/FOLDER_PATH/, termasuk garis miring di akhir.
- Amazon S3: s3://BUCKET_NAME/FOLDER_PATH
- Penyimpanan yang kompatibel dengan S3: s3://BUCKET_NAME. Nama bucket bersifat relatif terhadap endpoint. Misalnya, jika data Anda berada di https://us-east-1.example.com/folder1/bucket_a, masukkan s3://folder1/bucket_a.
- Microsoft Azure Storage: https://myaccount.blob.core.windows.net/CONTAINER_NAME
- Daftar URL: https://PATH_TO_URL_LIST atau http://PATH_TO_URL_LIST
- Sistem file POSIX: posix:///PATH. Jalur ini harus berupa jalur absolut dari root mesin host agen.
- HDFS: hdfs:///PATH
Jika Anda menentukan nilai jalur atau folder, lihat Menentukan jalur sumber dan tujuan untuk mengetahui detail penting.
DESTINATION adalah salah satu dari:
- Cloud Storage: gs://BUCKET_NAME. Untuk mentransfer ke direktori tertentu, tentukan gs://BUCKET_NAME/FOLDER_PATH/, termasuk garis miring di akhir.
- Sistem file POSIX: posix:///PATH. Jalur ini harus berupa jalur absolut dari root mesin host agen. Jika jalur yang Anda tentukan tidak ada, agen transfer akan mencoba membuat struktur direktori di sistem file tujuan selama proses transfer. Agen harus memiliki izin tulis yang diperlukan di direktori induk.
Jika Anda menentukan nilai jalur atau folder, lihat Menentukan jalur sumber dan tujuan untuk mengetahui detail penting.

Jika transfer memerlukan agen transfer, opsi berikut tersedia:

--source-agent-pool menentukan kumpulan agen sumber yang akan digunakan untuk transfer ini. Diperlukan untuk transfer yang berasal dari sistem file.
--destination-agent-pool menentukan kumpulan agen tujuan yang akan digunakan untuk transfer ini. Diperlukan untuk transfer ke sistem file.
--intermediate-storage-path adalah jalur ke bucket Cloud Storage, dalam bentuk gs://my-intermediary-bucket. Diperlukan untuk transfer antara dua sistem file. Lihat Membuat bucket Cloud Storage sebagai perantara untuk mengetahui detail tentang cara membuat bucket perantara.

Opsi tambahannya mencakup:

--source-creds-file menentukan jalur relatif ke file lokal di komputer Anda yang menyertakan kredensial AWS atau Azure untuk sumber transfer. Untuk mengetahui informasi pemformatan file kredensial, lihat referensi TransferSpec.
--do-not-run mencegah Storage Transfer Service menjalankan tugas setelah perintah dikirimkan. Untuk menjalankan tugas, perbarui tugas untuk menambahkan jadwal, atau gunakan jobs run untuk memulainya secara manual.
--manifest-file menentukan jalur ke file CSV di Cloud Storage yang berisi daftar file yang akan ditransfer dari sumber Anda. Untuk pemformatan file manifes, lihat Mentransfer file atau objek tertentu menggunakan manifes.
Informasi tugas: Anda dapat menentukan --name, --description, dan --source-creds-file. Perhatikan bahwa --name tidak didukung untuk tugas replikasi lintas bucket.
Jadwal: Tentukan --schedule-starts, --schedule-repeats-every, dan --schedule-repeats-until, atau --do-not-run.
Kondisi objek: Gunakan kondisi untuk menentukan objek mana yang akan ditransfer. Hal ini mencakup --include-prefixes dan --exclude-prefixes, serta kondisi berbasis waktu di --include-modified-[before | after]-[absolute | relative]. Jika Anda menentukan folder dengan sumber, filter awalan akan relatif terhadap folder tersebut. Lihat Memfilter objek sumber menurut awalan untuk mengetahui informasi selengkapnya.

Kondisi objek tidak didukung untuk transfer yang melibatkan sistem file.
Opsi transfer: Tentukan apakah akan menimpa file tujuan (--overwrite-when=different atau always) dan apakah akan menghapus file tertentu selama atau setelah transfer (--delete-from=destination-if-unique atau source-after-transfer); tentukan nilai metadata yang akan dipertahankan (--preserve-metadata); dan secara opsional tetapkan kelas penyimpanan pada objek yang ditransfer (--custom-storage-class).
Notifikasi: Konfigurasikan notifikasi Pub/Sub untuk transfer dengan --notification-pubsub-topic, --notification-event-types, dan --notification-payload-format.
Cloud Logging: Aktifkan Cloud Logging untuk transfer tanpa agen, atau transfer dari sumber yang kompatibel dengan S3, dengan --log-actions dan --log-action-states. Baca Cloud Logging untuk Storage Transfer Service untuk mengetahui detailnya.

Transfer dari sumber yang kompatibel dengan S3 juga menggunakan opsi berikut:

--source-endpoint (wajib) menentukan endpoint sistem penyimpanan Anda. Contoh, s3.example.com. Hubungi penyedia Anda untuk mengetahui format yang benar. Jangan tentukan protokol (http:// atau https://).
--source-signing-region menentukan region untuk permintaan penandatanganan. Hapus flag ini jika penyedia penyimpanan Anda tidak memerlukan region penandatanganan.
--source-auth-method menentukan metode autentikasi yang akan digunakan. Nilai yang valid adalah AWS_SIGNATURE_V2 atau AWS_SIGNATURE_V4. Lihat dokumentasi SigV4 dan SigV2 Amazon untuk mengetahui informasi selengkapnya.
--source-request-model menentukan gaya pengalamatan yang akan digunakan. Nilai yang valid adalah PATH_STYLE atau VIRTUAL_HOSTED_STYLE. Gaya jalur menggunakan format https://s3.example.com/BUCKET_NAME/KEY_NAME. Gaya host virtual menggunakan format `https://BUCKET_NAME.s3.example.com/KEY_NAME.
--source-network-protocol menentukan protokol jaringan yang harus digunakan agen untuk tugas ini. Nilai yang valid adalah HTTP atau HTTPS.
--source-list-api menentukan versi API listingan S3 untuk menampilkan objek dari bucket. Nilai yang valid adalah LIST_OBJECTS atau LIST_OBJECTS_V2. Lihat dokumentasi ListObjectsV2 dan ListObjects Amazon untuk mengetahui informasi selengkapnya.

Untuk melihat semua opsi, jalankan gcloud transfer jobs create --help atau lihat dokumentasi referensi gcloud.

Contoh

Cloud Storage ke sistem file

Untuk mentransfer dari bucket Cloud Storage ke sistem file, tentukan hal berikut.

gcloud transfer jobs create \
  gs://my-storage-bucket posix:///tmp/destination \
  --destination-agent-pool=my-destination-agent-pool

Sistem file ke sistem file

Untuk mentransfer antara dua sistem file, Anda harus menentukan kumpulan agen sumber, kumpulan agen tujuan, dan bucket Cloud Storage perantara yang dilalui data.

Lihat Membuat bucket Cloud Storage sebagai perantara untuk mengetahui detail tentang bucket perantara.

Kemudian, tentukan 3 resource ini saat memanggil transfer jobs create:

gcloud transfer jobs create \
  posix:///tmp/source/on/systemA posix:///tmp/destination/on/systemB \
  --source-agent-pool=source_agent_pool \
  --destination-agent-pool=destination_agent_pool \
  --intermediate-storage-path=gs://my-intermediary-bucket

REST

Contoh berikut menunjukkan cara menggunakan Storage Transfer Service melalui REST API.

Saat Anda mengonfigurasi atau mengedit tugas transfer menggunakan Storage Transfer Service API, waktu harus dalam UTC. Untuk mengetahui informasi selengkapnya tentang cara menentukan jadwal tugas transfer, lihat Jadwal.

Melakukan transfer antar bucket Cloud Storage

Dalam contoh ini, Anda akan mempelajari cara memindahkan file dari satu bucket Cloud Storage ke bucket lainnya. Misalnya, Anda dapat memindahkan data ke bucket di lokasi lain.

Minta menggunakan transferJobs create:

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "YOUR DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "schedule": {
      "scheduleStartDate": {
          "day": 1,
          "month": 1,
          "year": 2015
      },
      "startTimeOfDay": {
          "hours": 1,
          "minutes": 1
      }
  },
  "transferSpec": {
      "gcsDataSource": {
          "bucketName": "GCS_SOURCE_NAME"
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      },
      "transferOptions": {
          "deleteObjectsFromSourceAfterTransfer": true
      }
  }
}

Respons:

200 OK
{
  "transferJob": [
      {
          "creationTime": "2015-01-01T01:01:00.000000000Z",
          "description": "YOUR DESCRIPTION",
          "name": "transferJobs/JOB_ID",
          "status": "ENABLED",
          "lastModificationTime": "2015-01-01T01:01:00.000000000Z",
          "projectId": "PROJECT_ID",
          "schedule": {
              "scheduleStartDate": {
                  "day": 1,
                  "month": 1,
                  "year": 2015
              },
              "startTimeOfDay": {
                  "hours": 1,
                  "minutes": 1
              }
          },
          "transferSpec": {
              "gcsDataSource": {
                  "bucketName": "GCS_SOURCE_NAME",
              },
              "gcsDataSink": {
                  "bucketName": "GCS_NEARLINE_SINK_NAME"
              },
              "objectConditions": {
                  "minTimeElapsedSinceLastModification": "2592000.000s"
              },
              "transferOptions": {
                  "deleteObjectsFromSourceAfterTransfer": true
              }
          }
      }
  ]
}

Mentransfer dari Amazon S3 ke Cloud Storage

Lihat Mentransfer dari Amazon S3 ke Cloud Storage.

Transfer antara Microsoft Azure Blob Storage dan Cloud Storage

Dalam contoh ini, Anda akan mempelajari cara memindahkan file dari Microsoft Azure Storage ke bucket Cloud Storage, menggunakan token tanda tangan akses bersama (SAS) Microsoft Azure Storage.

Untuk mengetahui informasi selengkapnya tentang SAS Microsoft Azure Storage, lihat Memberikan akses terbatas ke resource Azure Storage menggunakan tanda tangan akses bersama (SAS).

Sebelum memulai, tinjau Mengonfigurasi akses ke Microsoft Azure Storage dan Harga untuk memahami implikasi pemindahan data dari Microsoft Azure Storage ke Cloud Storage.

Minta menggunakan transferJobs create:

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "YOUR DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "schedule": {
      "scheduleStartDate": {
          "day": 14,
          "month": 2,
          "year": 2020
      },
      "scheduleEndDate": {
          "day": 14
          "month": 2,
          "year": 2020
      },
      "startTimeOfDay": {
          "hours": 1,
          "minutes": 1
      }
  },
  "transferSpec": {
      "azureBlobStorageDataSource": {
          "storageAccount": "AZURE_SOURCE_NAME",
          "azureCredentials": {
              "sasToken": "AZURE_SAS_TOKEN",
          },
          "container": "AZURE_CONTAINER",
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      }
  }
}

Respons:

200 OK
{
  "transferJob": [
      {
          "creationTime": "2020-02-14T01:01:00.000000000Z",
          "description": "YOUR DESCRIPTION",
          "name": "transferJobs/JOB_ID",
          "status": "ENABLED",
          "lastModificationTime": "2020-02-14T01:01:00.000000000Z",
          "projectId": "PROJECT_ID",
          "schedule": {
              "scheduleStartDate": {
                  "day": 14
                  "month": 2,
                  "year": 2020
              },
              "scheduleEndDate": {
                  "day": 14,
                  "month": 2,
                  "year": 2020
              },
              "startTimeOfDay": {
                  "hours": 1,
                  "minutes": 1
              }
          },
          "transferSpec": {
              "azureBlobStorageDataSource": {
                  "storageAccount": "AZURE_SOURCE_NAME",
                  "azureCredentials": {
                      "sasToken": "AZURE_SAS_TOKEN",
                  },
                  "container": "AZURE_CONTAINER",
              },
              "objectConditions": {},
              "transferOptions": {}
          }
      }
  ]
}

Mentransfer dari sistem file

Lihat Mentransfer dari sistem file ke Cloud Storage.

Library klien

Contoh berikut menunjukkan cara menggunakan Storage Transfer Service secara terprogram dengan Go, Java, Node.js, dan Python.

Saat Anda mengonfigurasi atau mengedit tugas transfer secara terprogram, waktu harus dalam UTC. Untuk mengetahui informasi selengkapnya tentang cara menentukan jadwal tugas transfer, lihat Jadwal.

Untuk mengetahui informasi selengkapnya tentang library klien Storage Transfer Service, lihat Mulai menggunakan library klien Storage Transfer Service.

Melakukan transfer antar bucket Cloud Storage

Dalam contoh ini, Anda akan mempelajari cara memindahkan file dari satu bucket Cloud Storage ke bucket lainnya. Misalnya, Anda dapat memindahkan data ke bucket di lokasi lain.

Go

import (
	"context"
	"fmt"
	"io"
	"time"

	"google.golang.org/genproto/googleapis/type/date"
	"google.golang.org/genproto/googleapis/type/timeofday"
	"google.golang.org/protobuf/types/known/durationpb"

	storagetransfer "cloud.google.com/go/storagetransfer/apiv1"
	"cloud.google.com/go/storagetransfer/apiv1/storagetransferpb"
)

func transferToNearline(w io.Writer, projectID string, gcsSourceBucket string, gcsNearlineSinkBucket string) (*storagetransferpb.TransferJob, error) {
	// Your Google Cloud Project ID
	// projectID := "my-project-id"

	// The name of the GCS bucket to transfer objects from
	// gcsSourceBucket := "my-source-bucket"

	// The name of the Nearline GCS bucket to transfer objects to
	// gcsNearlineSinkBucket := "my-sink-bucket"

	ctx := context.Background()
	client, err := storagetransfer.NewClient(ctx)
	if err != nil {
		return nil, fmt.Errorf("storagetransfer.NewClient: %w", err)
	}
	defer client.Close()

	// A description of this job
	jobDescription := "Transfers objects that haven't been modified in 30 days to a Nearline bucket"

	// The time to start the transfer
	startTime := time.Now().UTC()

	req := &storagetransferpb.CreateTransferJobRequest{
		TransferJob: &storagetransferpb.TransferJob{
			ProjectId:   projectID,
			Description: jobDescription,
			TransferSpec: &storagetransferpb.TransferSpec{
				DataSink: &storagetransferpb.TransferSpec_GcsDataSink{
					GcsDataSink: &storagetransferpb.GcsData{BucketName: gcsNearlineSinkBucket}},
				DataSource: &storagetransferpb.TransferSpec_GcsDataSource{
					GcsDataSource: &storagetransferpb.GcsData{BucketName: gcsSourceBucket},
				},
				ObjectConditions: &storagetransferpb.ObjectConditions{
					MinTimeElapsedSinceLastModification: &durationpb.Duration{Seconds: 2592000 /*30 days */},
				},
				TransferOptions: &storagetransferpb.TransferOptions{DeleteObjectsFromSourceAfterTransfer: true},
			},
			Schedule: &storagetransferpb.Schedule{
				ScheduleStartDate: &date.Date{
					Year:  int32(startTime.Year()),
					Month: int32(startTime.Month()),
					Day:   int32(startTime.Day()),
				},
				ScheduleEndDate: &date.Date{
					Year:  int32(startTime.Year()),
					Month: int32(startTime.Month()),
					Day:   int32(startTime.Day()),
				},
				StartTimeOfDay: &timeofday.TimeOfDay{
					Hours:   int32(startTime.Hour()),
					Minutes: int32(startTime.Minute()),
					Seconds: int32(startTime.Second()),
				},
			},
			Status: storagetransferpb.TransferJob_ENABLED,
		},
	}
	resp, err := client.CreateTransferJob(ctx, req)
	if err != nil {
		return nil, fmt.Errorf("failed to create transfer job: %w", err)
	}
	if _, err = client.RunTransferJob(ctx, &storagetransferpb.RunTransferJobRequest{
		ProjectId: projectID,
		JobName:   resp.Name,
	}); err != nil {
		return nil, fmt.Errorf("failed to run transfer job: %w", err)
	}
	fmt.Fprintf(w, "Created and ran transfer job from %v to %v with name %v", gcsSourceBucket, gcsNearlineSinkBucket, resp.Name)
	return resp, nil
}

Java

Mencari contoh yang lebih lama? Lihat Panduan Migrasi Storage Transfer Service.

import com.google.protobuf.Duration;
import com.google.storagetransfer.v1.proto.StorageTransferServiceClient;
import com.google.storagetransfer.v1.proto.TransferProto.CreateTransferJobRequest;
import com.google.storagetransfer.v1.proto.TransferTypes.GcsData;
import com.google.storagetransfer.v1.proto.TransferTypes.ObjectConditions;
import com.google.storagetransfer.v1.proto.TransferTypes.Schedule;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob.Status;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferOptions;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferSpec;
import com.google.type.Date;
import com.google.type.TimeOfDay;
import java.io.IOException;
import java.util.Calendar;

public class TransferToNearline {
  /**
   * Creates a one-off transfer job that transfers objects in a standard GCS bucket that are more
   * than 30 days old to a Nearline GCS bucket.
   */
  public static void transferToNearline(
      String projectId,
      String jobDescription,
      String gcsSourceBucket,
      String gcsNearlineSinkBucket,
      long startDateTime)
      throws IOException {

    // Your Google Cloud Project ID
    // String projectId = "your-project-id";

    // A short description of this job
    // String jobDescription = "Sample transfer job of old objects to a Nearline GCS bucket.";

    // The name of the source GCS bucket to transfer data from
    // String gcsSourceBucket = "your-gcs-source-bucket";

    // The name of the Nearline GCS bucket to transfer old objects to
    // String gcsSinkBucket = "your-nearline-gcs-bucket";

    // What day and time in UTC to start the transfer, expressed as an epoch date timestamp.
    // If this is in the past relative to when the job is created, it will run the next day.
    // long startDateTime =
    //     new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").parse("2000-01-01 00:00:00").getTime();

    // Parse epoch timestamp into the model classes
    Calendar startCalendar = Calendar.getInstance();
    startCalendar.setTimeInMillis(startDateTime);
    // Note that this is a Date from the model class package, not a java.util.Date
    Date date =
        Date.newBuilder()
            .setYear(startCalendar.get(Calendar.YEAR))
            .setMonth(startCalendar.get(Calendar.MONTH) + 1)
            .setDay(startCalendar.get(Calendar.DAY_OF_MONTH))
            .build();
    TimeOfDay time =
        TimeOfDay.newBuilder()
            .setHours(startCalendar.get(Calendar.HOUR_OF_DAY))
            .setMinutes(startCalendar.get(Calendar.MINUTE))
            .setSeconds(startCalendar.get(Calendar.SECOND))
            .build();

    TransferJob transferJob =
        TransferJob.newBuilder()
            .setDescription(jobDescription)
            .setProjectId(projectId)
            .setTransferSpec(
                TransferSpec.newBuilder()
                    .setGcsDataSource(GcsData.newBuilder().setBucketName(gcsSourceBucket))
                    .setGcsDataSink(GcsData.newBuilder().setBucketName(gcsNearlineSinkBucket))
                    .setObjectConditions(
                        ObjectConditions.newBuilder()
                            .setMinTimeElapsedSinceLastModification(
                                Duration.newBuilder().setSeconds(2592000 /* 30 days */)))
                    .setTransferOptions(
                        TransferOptions.newBuilder().setDeleteObjectsFromSourceAfterTransfer(true)))
            .setSchedule(Schedule.newBuilder().setScheduleStartDate(date).setStartTimeOfDay(time))
            .setStatus(Status.ENABLED)
            .build();

    // Create a Transfer Service client
    StorageTransferServiceClient storageTransfer = StorageTransferServiceClient.create();

    // Create the transfer job
    TransferJob response =
        storageTransfer.createTransferJob(
            CreateTransferJobRequest.newBuilder().setTransferJob(transferJob).build());

    System.out.println("Created transfer job from standard bucket to Nearline bucket:");
    System.out.println(response.toString());
  }
}

Node.js


// Imports the Google Cloud client library
const {
  StorageTransferServiceClient,
} = require('@google-cloud/storage-transfer');

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// The ID of the Google Cloud Platform Project that owns the job
// projectId = 'my-project-id'

// A useful description for your transfer job
// description = 'My transfer job'

// Google Cloud Storage source bucket name
// gcsSourceBucket = 'my-gcs-source-bucket'

// Google Cloud Storage destination bucket name
// gcsSinkBucket = 'my-gcs-destination-bucket'

// Date to start daily migration
// startDate = new Date()

// Creates a client
const client = new StorageTransferServiceClient();

/**
 * Create a daily migration from a GCS bucket to another GCS bucket for
 * objects untouched for 30+ days.
 */
async function createDailyNearline30DayMigration() {
  // Runs the request and creates the job
  const [transferJob] = await client.createTransferJob({
    transferJob: {
      projectId,
      description,
      status: 'ENABLED',
      schedule: {
        scheduleStartDate: {
          day: startDate.getDate(),
          month: startDate.getMonth() + 1,
          year: startDate.getFullYear(),
        },
      },
      transferSpec: {
        gcsDataSource: {
          bucketName: gcsSourceBucket,
        },
        gcsDataSink: {
          bucketName: gcsSinkBucket,
        },
        objectConditions: {
          minTimeElapsedSinceLastModification: {
            seconds: 2592000, // 30 days
          },
        },
        transferOptions: {
          deleteObjectsFromSourceAfterTransfer: true,
        },
      },
    },
  });

  console.log(`Created transferJob: ${transferJob.name}`);
}

createDailyNearline30DayMigration();

Python

Mencari contoh yang lebih lama? Lihat Panduan Migrasi Storage Transfer Service.

from datetime import datetime

from google.cloud import storage_transfer
from google.protobuf.duration_pb2 import Duration


def create_daily_nearline_30_day_migration(
    project_id: str,
    description: str,
    source_bucket: str,
    sink_bucket: str,
    start_date: datetime,
):
    """Create a daily migration from a GCS bucket to a Nearline GCS bucket
    for objects untouched for 30 days."""

    client = storage_transfer.StorageTransferServiceClient()

    # The ID of the Google Cloud Platform Project that owns the job
    # project_id = 'my-project-id'

    # A useful description for your transfer job
    # description = 'My transfer job'

    # Google Cloud Storage source bucket name
    # source_bucket = 'my-gcs-source-bucket'

    # Google Cloud Storage destination bucket name
    # sink_bucket = 'my-gcs-destination-bucket'

    transfer_job_request = storage_transfer.CreateTransferJobRequest(
        {
            "transfer_job": {
                "project_id": project_id,
                "description": description,
                "status": storage_transfer.TransferJob.Status.ENABLED,
                "schedule": {
                    "schedule_start_date": {
                        "day": start_date.day,
                        "month": start_date.month,
                        "year": start_date.year,
                    }
                },
                "transfer_spec": {
                    "gcs_data_source": {
                        "bucket_name": source_bucket,
                    },
                    "gcs_data_sink": {
                        "bucket_name": sink_bucket,
                    },
                    "object_conditions": {
                        "min_time_elapsed_since_last_modification": Duration(
                            seconds=2592000  # 30 days
                        )
                    },
                    "transfer_options": {
                        "delete_objects_from_source_after_transfer": True
                    },
                },
            }
        }
    )

    result = client.create_transfer_job(transfer_job_request)
    print(f"Created transferJob: {result.name}")

Mentransfer dari Amazon S3 ke Cloud Storage

Lihat Mentransfer dari Amazon S3 ke Cloud Storage.

Transfer antara Microsoft Azure Blob Storage dan Cloud Storage

Dalam contoh ini, Anda akan mempelajari cara memindahkan file dari Microsoft Azure Storage ke bucket Cloud Storage, menggunakan token tanda tangan akses bersama (SAS) Microsoft Azure Storage.

Untuk mengetahui informasi selengkapnya tentang SAS Microsoft Azure Storage, lihat Memberikan akses terbatas ke resource Azure Storage menggunakan tanda tangan akses bersama (SAS).

Sebelum memulai, tinjau Mengonfigurasi akses ke Microsoft Azure Storage dan Harga untuk memahami implikasi pemindahan data dari Microsoft Azure Storage ke Cloud Storage.

Go

Untuk mempelajari cara menginstal dan menggunakan library klien untuk Storage Transfer Service, lihat library klien Storage Transfer Service. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Go Storage Transfer Service.

Untuk melakukan autentikasi ke Storage Transfer Service, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

import (
	"context"
	"fmt"
	"io"
	"os"

	storagetransfer "cloud.google.com/go/storagetransfer/apiv1"
	"cloud.google.com/go/storagetransfer/apiv1/storagetransferpb"
)

func transferFromAzure(w io.Writer, projectID string, azureStorageAccountName string, azureSourceContainer string, gcsSinkBucket string) (*storagetransferpb.TransferJob, error) {
	// Your Google Cloud Project ID.
	// projectID := "my-project-id"

	// The name of your Azure Storage account.
	// azureStorageAccountName := "my-azure-storage-acc"

	// The name of the Azure container to transfer objects from.
	// azureSourceContainer := "my-source-container"

	// The name of the GCS bucket to transfer objects to.
	// gcsSinkBucket := "my-sink-bucket"

	ctx := context.Background()
	client, err := storagetransfer.NewClient(ctx)
	if err != nil {
		return nil, fmt.Errorf("storagetransfer.NewClient: %w", err)
	}
	defer client.Close()

	// The Azure SAS token, should be accessed via environment variable for security
	azureSasToken := os.Getenv("AZURE_SAS_TOKEN")

	req := &storagetransferpb.CreateTransferJobRequest{
		TransferJob: &storagetransferpb.TransferJob{
			ProjectId: projectID,
			TransferSpec: &storagetransferpb.TransferSpec{
				DataSource: &storagetransferpb.TransferSpec_AzureBlobStorageDataSource{
					AzureBlobStorageDataSource: &storagetransferpb.AzureBlobStorageData{
						StorageAccount: azureStorageAccountName,
						AzureCredentials: &storagetransferpb.AzureCredentials{
							SasToken: azureSasToken,
						},
						Container: azureSourceContainer,
					},
				},
				DataSink: &storagetransferpb.TransferSpec_GcsDataSink{
					GcsDataSink: &storagetransferpb.GcsData{BucketName: gcsSinkBucket}},
			},
			Status: storagetransferpb.TransferJob_ENABLED,
		},
	}
	resp, err := client.CreateTransferJob(ctx, req)
	if err != nil {
		return nil, fmt.Errorf("failed to create transfer job: %w", err)
	}
	if _, err = client.RunTransferJob(ctx, &storagetransferpb.RunTransferJobRequest{
		ProjectId: projectID,
		JobName:   resp.Name,
	}); err != nil {
		return nil, fmt.Errorf("failed to run transfer job: %w", err)
	}
	fmt.Fprintf(w, "Created and ran transfer job from %v to %v with name %v", azureSourceContainer, gcsSinkBucket, resp.Name)
	return resp, nil
}

Java

import com.google.storagetransfer.v1.proto.StorageTransferServiceClient;
import com.google.storagetransfer.v1.proto.TransferProto;
import com.google.storagetransfer.v1.proto.TransferProto.RunTransferJobRequest;
import com.google.storagetransfer.v1.proto.TransferTypes.AzureBlobStorageData;
import com.google.storagetransfer.v1.proto.TransferTypes.AzureCredentials;
import com.google.storagetransfer.v1.proto.TransferTypes.GcsData;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob.Status;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferSpec;
import java.io.IOException;
import java.util.concurrent.ExecutionException;

public class TransferFromAzure {
  public static void main(String[] args)
      throws IOException, ExecutionException, InterruptedException {
    // TODO(developer): Replace these variables before running the sample.
    // Your Google Cloud Project ID
    String projectId = "my-project-id";

    // Your Azure Storage Account name
    String azureStorageAccount = "my-azure-account";

    // The Azure source container to transfer data from
    String azureSourceContainer = "my-source-container";

    // The GCS bucket to transfer data to
    String gcsSinkBucket = "my-sink-bucket";

    transferFromAzureBlobStorage(
        projectId, azureStorageAccount, azureSourceContainer, gcsSinkBucket);
  }

  /**
   * Creates and runs a transfer job to transfer all data from an Azure container to a GCS bucket.
   */
  public static void transferFromAzureBlobStorage(
      String projectId,
      String azureStorageAccount,
      String azureSourceContainer,
      String gcsSinkBucket)
      throws IOException, ExecutionException, InterruptedException {

    // Your Azure SAS token, should be accessed via environment variable
    String azureSasToken = System.getenv("AZURE_SAS_TOKEN");

    TransferSpec transferSpec =
        TransferSpec.newBuilder()
            .setAzureBlobStorageDataSource(
                AzureBlobStorageData.newBuilder()
                    .setAzureCredentials(
                        AzureCredentials.newBuilder().setSasToken(azureSasToken).build())
                    .setContainer(azureSourceContainer)
                    .setStorageAccount(azureStorageAccount))
            .setGcsDataSink(GcsData.newBuilder().setBucketName(gcsSinkBucket).build())
            .build();

    TransferJob transferJob =
        TransferJob.newBuilder()
            .setProjectId(projectId)
            .setStatus(Status.ENABLED)
            .setTransferSpec(transferSpec)
            .build();

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the "close" method on the client to safely clean up any remaining background resources,
    // or use "try-with-close" statement to do this automatically.
    try (StorageTransferServiceClient storageTransfer = StorageTransferServiceClient.create()) {
      // Create the transfer job
      TransferJob response =
          storageTransfer.createTransferJob(
              TransferProto.CreateTransferJobRequest.newBuilder()
                  .setTransferJob(transferJob)
                  .build());

      // Run the created job
      storageTransfer
          .runTransferJobAsync(
              RunTransferJobRequest.newBuilder()
                  .setProjectId(projectId)
                  .setJobName(response.getName())
                  .build())
          .get();

      System.out.println(
          "Created and ran a transfer job from "
              + azureSourceContainer
              + " to "
              + gcsSinkBucket
              + " with "
              + "name "
              + response.getName());
    }
  }
}

Node.js


// Imports the Google Cloud client library
const {
  StorageTransferServiceClient,
} = require('@google-cloud/storage-transfer');

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// The ID of the Google Cloud Platform Project that owns the job
// projectId = 'my-project-id'

// A useful description for your transfer job
// description = 'My transfer job'

// Azure Storage Account name
// azureStorageAccount = 'accountname'

// Azure Storage Account name
// azureSourceContainer = 'my-azure-source-bucket'

// Azure Shared Access Signature token
// azureSASToken = '?sv=...'

// Google Cloud Storage destination bucket name
// gcsSinkBucket = 'my-gcs-destination-bucket'

// Creates a client
const client = new StorageTransferServiceClient();

/**
 * Creates a one-time transfer job from Azure Blob Storage to Google Cloud Storage.
 */
async function transferFromBlobStorage() {
  // Setting the start date and the end date as the same time creates a
  // one-time transfer
  const now = new Date();
  const oneTimeSchedule = {
    day: now.getDate(),
    month: now.getMonth() + 1,
    year: now.getFullYear(),
  };

  // Runs the request and creates the job
  const [transferJob] = await client.createTransferJob({
    transferJob: {
      projectId,
      description,
      status: 'ENABLED',
      schedule: {
        scheduleStartDate: oneTimeSchedule,
        scheduleEndDate: oneTimeSchedule,
      },
      transferSpec: {
        azureBlobStorageDataSource: {
          azureCredentials: {
            sasToken: azureSASToken,
          },
          container: azureSourceContainer,
          storageAccount: azureStorageAccount,
        },
        gcsDataSink: {
          bucketName: gcsSinkBucket,
        },
      },
    },
  });

  console.log(
    `Created and ran a transfer job from '${azureSourceContainer}' to '${gcsSinkBucket}' with name ${transferJob.name}`
  );
}

transferFromBlobStorage();

Python

from datetime import datetime

from google.cloud import storage_transfer


def create_one_time_azure_transfer(
    project_id: str,
    description: str,
    azure_storage_account: str,
    azure_sas_token: str,
    source_container: str,
    sink_bucket: str,
):
    """Creates a one-time transfer job from Azure Blob Storage to Google Cloud
    Storage."""

    # Initialize client that will be used to create storage transfer requests.
    # This client only needs to be created once, and can be reused for
    # multiple requests.
    client = storage_transfer.StorageTransferServiceClient()

    # The ID of the Google Cloud Platform Project that owns the job
    # project_id = 'my-project-id'

    # A useful description for your transfer job
    # description = 'My transfer job'

    # Azure Storage Account name
    # azure_storage_account = 'accountname'

    # Azure Shared Access Signature token
    # azure_sas_token = '?sv=...'

    # Azure Blob source container name
    # source_container = 'my-azure-source-bucket'

    # Google Cloud Storage destination bucket name
    # sink_bucket = 'my-gcs-destination-bucket'

    now = datetime.utcnow()
    # Setting the start date and the end date as
    # the same time creates a one-time transfer
    one_time_schedule = {"day": now.day, "month": now.month, "year": now.year}

    transfer_job_request = storage_transfer.CreateTransferJobRequest(
        {
            "transfer_job": {
                "project_id": project_id,
                "description": description,
                "status": storage_transfer.TransferJob.Status.ENABLED,
                "schedule": {
                    "schedule_start_date": one_time_schedule,
                    "schedule_end_date": one_time_schedule,
                },
                "transfer_spec": {
                    "azure_blob_storage_data_source": {
                        "storage_account": azure_storage_account,
                        "azure_credentials": {"sas_token": azure_sas_token},
                        "container": source_container,
                    },
                    "gcs_data_sink": {
                        "bucket_name": sink_bucket,
                    },
                },
            }
        }
    )

    result = client.create_transfer_job(transfer_job_request)
    print(f"Created transferJob: {result.name}")

Mentransfer dari sistem file

Lihat Mentransfer dari sistem file ke Cloud Storage.

Menentukan jalur sumber dan tujuan

Jalur sumber dan tujuan memungkinkan Anda mentransfer data yang berada di bawah awalan tertentu dan mengontrol tempat data tersebut ditempatkan di tujuan.

Jalur sumber: Bertindak sebagai direktori root untuk transfer. Hanya objek di jalur ini yang ditransfer, dan jalur sumber dihapus dari awal nama objek sebelum disalin ke tujuan.
Jalur tujuan: Bertindak sebagai awalan yang ditambahkan ke semua nama objek di tujuan. Untuk transfer sistem file, menentukan folder tempat objek ditransfer.

Jalur sumber dapat ditentukan untuk semua sumber data.

Contoh

Hanya menentukan jalur tujuan

Pertimbangkan bahwa Anda memiliki object.txt di root bucket Cloud Storage bernama bucketA.

Jika Anda mentransfer ke bucketB dan menetapkan jalur tujuan bernama alpha/, file Anda akan disalin ke bucketB/alpha/object.txt.

Menentukan jalur sumber dan tujuan

Pertimbangkan transfer antara dua bucket Cloud Storage:

Bucket sumber: bucketA dengan jalur alpha/
Bucket tujuan: bucketB dengan jalur bravo/

Objek di gs://bucketA/alpha/object ditransfer ke gs://bucketB/bravo/object.

Jalur sumber alpha/ dihapus dari nama objek, sehingga hanya menyisakan object, dan jalur tujuan bravo/ ditambahkan ke depannya.

Menentukan jalur sumber

Untuk menentukan jalur sumber saat membuat tugas transfer:

Di konsol Google Cloud , masukkan jalur di kolom Bucket or folder.
Saat menggunakan gcloud CLI, tentukan jalur sebagai bagian dari URI sumber. Misalnya, gs://SOURCE_BUCKET/SOURCE_PATH/.
Dengan REST API atau library klien, tambahkan kolom path ke spesifikasi sumber data Anda. Misalnya, kolom gcsDataSource dalam spesifikasi TransferSpec Anda. Transfer sistem file menggunakan rootDirectory, bukan path.

Menentukan jalur tujuan

Untuk menentukan jalur tujuan saat membuat tugas transfer:

Di konsol Google Cloud , masukkan jalur di kolom Bucket or folder.
Saat menggunakan gcloud CLI, tentukan jalur sebagai bagian dari URI tujuan. Misalnya, gs://DESTINATION_BUCKET/DESTINATION_PATH/.
Dengan REST API atau library klien, tambahkan kolom path ke spesifikasi sumber data Anda. Misalnya, kolom gcsDataSource atau gcsDataSink dalam spesifikasi TransferSpec Anda. Transfer sistem file menggunakan rootDirectory, bukan path.

Membuat transfer Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Agen dan kumpulan agen

Sebelum memulai

Buat transfer

Konsol Google Cloud

Cloud Storage

Amazon S3

Penyimpanan yang kompatibel dengan S3

Microsoft Azure Blob Storage

Sistem file

HDFS

Daftar URL

Cloud Storage​

Sistem file​

gcloud CLI

Contoh

Amazon S3 ke Cloud Storage

Penyimpanan yang kompatibel dengan S3 ke Cloud Storage

Sistem file ke Cloud Storage

Cloud Storage ke sistem file

Sistem file ke sistem file

REST

Melakukan transfer antar bucket Cloud Storage

Mentransfer dari Amazon S3 ke Cloud Storage

Transfer antara Microsoft Azure Blob Storage dan Cloud Storage

Mentransfer dari sistem file

Library klien

Melakukan transfer antar bucket Cloud Storage

Go

Java

Node.js

Python

Mentransfer dari Amazon S3 ke Cloud Storage

Transfer antara Microsoft Azure Blob Storage dan Cloud Storage

Go

Java

Node.js

Python

Mentransfer dari sistem file

Menentukan jalur sumber dan tujuan

Contoh

Menentukan jalur sumber

Menentukan jalur tujuan

Membuat transfer

Cloud Storage

Sistem file