Google menggunakan teknologi AI untuk menerjemahkan konten ke dalam bahasa pilihan Anda. Terjemahan AI mungkin mengandung kesalahan.

Transfer melalui jaringan pribadi yang dikelola Google

Saat mentransfer data dari Amazon S3 ke Cloud Storage, data biasanya melintasi link peering internet publik, tempat AWS menagih biaya egress data internet standar. Storage Transfer Service menawarkan opsi jaringan pribadi yang dikelola Google untuk transfer dari Amazon S3, sehingga data Anda dapat mengalir melalui perutean pribadi yang aman dan disediakan secara otomatis oleh Google.

Penggunaan jaringan pribadi yang dikelola Google mengurangi biaya egress internet AWS dan menyederhanakan keamanan jaringan dengan menghilangkan kebutuhan untuk mengonfigurasi dan memelihara interkoneksi fisik yang dikelola pelanggan.

Manfaat utama

Opsi jaringan pribadi yang dikelola Google memberikan manfaat operasional dan finansial berikut untuk transfer Amazon S3:

Mengurangi biaya traffic egress internet: Mentransfer dari Amazon S3 melalui jaringan pribadi yang dikelola Google akan mengabaikan tarif traffic egress internet AWS standar. Anda tidak perlu membayar biaya egress internet AWS S3; sebagai gantinya, Anda membayar tarif pemrosesan data per GiB yang dapat diprediksi ke Google Cloud. Lihat Harga untuk mengetahui detailnya. Biaya permintaan API AWS standar (seperti operasi LIST, GET, dan HEAD Amazon S3) tetap berlaku sesuai dengan jadwal harga AWS.
Menghilangkan eksposur internet publik: Data dikirim langsung melalui koneksi interkoneksi pribadi yang dikelola Google antara AWS dan Google Cloud. Karena paket tidak pernah melintasi tabel perutean internet publik, Anda menghilangkan risiko intersepsi publik sekaligus menyederhanakan kepatuhan firewall dan zero-trust.
Tanpa pemeliharaan infrastruktur: Tidak seperti jaringan pribadi yang dikelola pelanggan, Anda tidak perlu menyediakan, mengonfigurasi, atau membayar biaya port berulang untuk interkoneksi fisik (seperti Cloud Interconnect atau AWS Direct Connect), gateway VPN, atau pemilihan rute DNS kustom. Google mengelola stack jaringan pribadi secara menyeluruh dan sepenuhnya.
Deployment instan tanpa waktu tunggu: Menyiapkan sirkuit Dedicated Interconnect dapat memerlukan waktu berminggu-minggu. Dengan jaringan pribadi yang dikelola Google, Anda dapat segera mulai mentransfer melalui perutean pribadi, tanpa menginstal atau mengelola agen transfer apa pun.

Pertimbangan bandwidth dan performa

Semua tugas Storage Transfer Service di semua project yang menggunakan jaringan pribadi yang dikelola Google berbagi kapasitas jaringan gabungan yang sama. Selama periode pemakaian global puncak, kecepatan transfer mungkin mengalami throttling atau peningkatan latensi.

Workload yang sebagian besar terdiri dari objek besar lebih terpengaruh oleh pemanfaatan pool yang tinggi daripada workload yang sebagian besar terdiri dari objek yang lebih kecil. Jika workload Anda memerlukan bandwidth khusus tanpa pertentangan pool bersama, pertimbangkan untuk mengonfigurasi jaringan pribadi yang dikelola pelanggan.

Region AWS yang didukung

Opsi jaringan pribadi yang dikelola Google tersedia untuk transfer tanpa agen dari region Amazon S3 berikut:

ap-east-1
ap-northeast-1
ap-northeast-2
ap-northeast-3
ap-south-1
ap-south-2
ap-southeast-1
ca-central-1
ca-west-1
eu-central-1
eu-central-2 eu-north-1
eu-south-1
eu-south-2
eu-west-1
eu-west-2
eu-west-3
us-east-1
us-east-2
us-west-1
us-west-2

Transfer melalui jaringan pribadi yang dikelola Google tidak didukung untuk region AWS GovCloud.

Sebelum memulai

Sebelum membuat transfer, Anda harus mengonfigurasi izin IAM dan sumber.

Mengonfigurasi izin IAM

Ikuti petunjuk di bagian Mengonfigurasi akses ke sink: Cloud Storage untuk memberikan izin Google Cloud yang diperlukan pada bucket tujuan.

Mengonfigurasi akses ke bucket S3 Anda

Ikuti petunjuk di bagian Mengonfigurasi akses ke sumber: Amazon S3 untuk mengonfigurasi akses ke data Anda di Amazon S3.

Membuat transfer jaringan pribadi yang dikelola Google

Anda dapat mengaktifkan opsi jaringan pribadi yang dikelola Google saat membuat tugas transfer baru atau saat memperbarui spesifikasi transfer Amazon S3 yang ada menggunakan konsol Google Cloud atau REST API.

Konsol

Opsi jaringan pribadi yang dikelola Google diaktifkan dengan kotak centang di langkah Choose settings saat membuat tugas transfer.

Untuk membuat tugas baru menggunakan jaringan pribadi yang dikelola Google:

Buka halaman Storage Transfer Service di konsol Google Cloud .

Buka Storage Transfer Service
Klik Buat tugas transfer. Halaman Create a transfer job akan ditampilkan.
Di bagian Source type, pilih Amazon S3.
Sebagai Jenis tujuan, pilih Google Cloud Storage.
Pilih Mode penjadwalan. Transfer batch dijalankan satu kali atau terjadwal. Transfer berbasis peristiwa terus memantau sumber dan mentransfer data saat data ditambahkan atau diubah.

Untuk mengonfigurasi transfer berbasis peristiwa, ikuti petunjuk di Transfer berbasis peristiwa.
Klik Next step.
Di kolom Bucket or folder name, masukkan nama bucket sumber.

Nama bucket adalah nama seperti yang muncul di AWS Management Console.
Pilih metode autentikasi Amazon Web Services (AWS) Anda. Lihat Mengonfigurasi akses ke sumber: Amazon S3 untuk mengetahui detailnya.
- Secret resource: Pilih opsi ini untuk menggunakan kredensial Amazon yang disimpan di Secret Manager. Pilih secret dari daftar, atau masukkan secara manual dalam format projects/PROJECT_NUMBER/secrets/SECRET_NAME.
- Access key: Masukkan kunci akses Anda di kolom Access key ID dan rahasia yang terkait dengan kunci akses Anda di kolom Secret access key.
- AWS IAM role for identity federation: Masukkan ARN Anda di kolom AWS IAM role ARN, dengan sintaksis berikut:
```
arn:aws:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME
```
  Ganti kode berikut:
  - AWS_ACCOUNT: ID akun AWS tanpa tanda hubung.
  - AWS_ROLE_NAME: Nama peran AWS. Jika organisasi Anda menggunakan jalur untuk mengatur peran, sertakan jalur dengan nama peran. Misalnya, developers/transfer_user.
  Untuk mengetahui informasi selengkapnya tentang ARN, lihat ARN IAM.
Jika ini adalah transfer berbasis peristiwa, masukkan ARN antrean Amazon SQS, yang menggunakan format berikut:
```
arn:aws:sqs:us-east-1:1234567890:event-queue
```
Jika perlu, pilih untuk memfilter objek menurut awalan, menurut tanggal terakhir diubah, atau menurut kelas penyimpanan. Jika Anda menentukan folder sebagai lokasi sumber, filter awalan akan relatif terhadap folder tersebut. Misalnya, jika sumber Anda adalah my-test-bucket/path/, filter sertakan file akan menyertakan semua file yang diawali dengan my-test-bucket/path/file.
Klik Next step.
Di kolom Bucket or folder, masukkan bucket tujuan dan (opsional) nama folder, atau klik Browse untuk memilih bucket dari daftar bucket yang ada di project Anda saat ini. Untuk membuat bucket baru, klik Create new bucket.
Klik Next step.
Pilih opsi penjadwalan Anda:

Catatan: Storage Transfer Service menampilkan jadwal tugas transfer dalam zona waktu lokal Anda, tetapi menyimpan waktu tersebut dalam Universal Time Coordinated (UTC). Jika Anda terpengaruh oleh Waktu Musim Panas (DST), Anda mungkin mengalami perubahan jadwal tugas transfer saat DST dimulai atau berakhir.
1. Dari menu drop-down Run once, pilih salah satu opsi berikut:
  - Run once: Menjalankan satu transfer, dimulai pada waktu yang Anda pilih.
  - Jalankan setiap hari: Menjalankan transfer setiap hari, mulai pada waktu yang Anda pilih.
    
    Anda dapat memasukkan Tanggal akhir opsional, atau mengosongkan Tanggal akhir untuk menjalankan transfer secara terus-menerus.
  - Jalankan setiap minggu: Menjalankan transfer setiap minggu, dimulai pada waktu yang Anda pilih.
  - Run with custom frequency: Menjalankan transfer pada frekuensi yang Anda pilih. Anda dapat memilih untuk mengulangi transfer pada interval reguler Jam, Hari, atau Minggu.
    
    Anda dapat memasukkan Tanggal akhir opsional, atau mengosongkan Tanggal akhir untuk menjalankan transfer secara terus-menerus.
  - Run on demand: Tidak akan memicu operasi saat tugas transfer ini dibuat. Anda harus memulai tugas secara manual.
2. Dari menu drop-down Mulai sekarang, pilih salah satu opsi berikut:
  - Starting now: Memulai transfer setelah Anda mengklik Create.
  - Starting on: Memulai transfer pada tanggal dan waktu yang Anda pilih. Klik Kalender untuk menampilkan kalender guna memilih tanggal mulai.
Klik Next step.
Pilih setelan untuk tugas transfer.
1. Di kolom Description, masukkan deskripsi transfer. Sebagai praktik terbaik, masukkan deskripsi yang bermakna dan unik sehingga Anda dapat membedakan tugas.
2. Secara opsional, berikan manifes untuk menentukan objek yang tepat untuk ditransfer.
3. Di bagian Metadata options, pilih kelas penyimpanan dan perilaku waktu pembuatan yang diinginkan. Lihat Penyimpanan metadata untuk mengetahui detailnya.
4. Di bagian When to overwrite, pilih salah satu opsi berikut:
  - Never: Tidak menimpa file tujuan jika file sumber memiliki nama yang sama. File sumber dilewati.
  - Jika berbeda: Menimpa file tujuan jika file sumber dengan nama yang sama memiliki nilai Etag atau checksum yang berbeda.
  - Always: Selalu menimpa file tujuan jika file sumber memiliki nama yang sama, meskipun file tersebut identik.
5. Di bagian Kapan harus menghapus, pilih salah satu opsi berikut:
  - Never: Jangan pernah menghapus file dari sumber atau tujuan.
  - Hapus file dari sumber setelah file ditransfer: Hapus file dari sumber setelah file ditransfer ke tujuan. Jika file sumber tidak ditransfer, misalnya karena sudah ada di tujuan, file sumber tidak akan dihapus.
    
    Penting: Jika Anda tidak memiliki cadangan lokal, opsi ini adalah tindakan yang tidak dapat diurungkan.
  - Hapus file dari tujuan jika file tersebut juga tidak ada di sumber: Jika file di bucket Cloud Storage tujuan juga tidak ada di sumber, hapus file dari bucket Cloud Storage.
    
    Opsi ini memastikan bahwa bucket Cloud Storage tujuan sama persis dengan sumber Anda.
6. Pilih opsi pemilihan rute jaringan:
  - Pilih Gunakan jaringan pribadi terkelola.
7. Di bagian Logging options, pilih Enable logging in Cloud Logging jika Anda ingin membuat data terperinci tentang tindakan yang dilakukan pada setiap file yang ditransfer. Biaya Cloud Logging berlaku. Lihat Mencatat tindakan transfer ke dalam log untuk mengetahui detailnya.
8. Atau, pilih Get transfer operation status updates via Cloud Pub/Sub notifications), pilih topik Pub/Sub Anda, dan pilih peristiwa yang memicu notifikasi. Lihat notifikasi Pub/Sub untuk mengetahui detailnya.
9. Di bagian Choose service account type, pilih identitas yang akan digunakan:
  - Agen layanan Storage Transfer Service: Agen layanan default yang dikelola Google akan otomatis diberi akses ke bucket sumber dan tujuan.
  - Agen layanan terkelola pengguna: Gunakan akun layanan kustom yang telah Anda buat. Sebelum memilih opsi ini, pastikan akun layanan Anda telah diberi akses ke bucket sumber, bucket tujuan, dan Pub/Sub. Lihat Menggunakan agen layanan yang dikelola pengguna.
Klik Create untuk membuat tugas transfer.

gcloud CLI

Gcloud CLI tidak mendukung konfigurasi transfer melalui jaringan pribadi yang dikelola Google. Gunakan konsol Google Cloud atau REST API untuk mengaktifkan opsi ini.

Library klien

Library klien Storage Transfer Service tidak mendukung konfigurasi transfer melalui jaringan pribadi yang dikelola Google. Gunakan konsolGoogle Cloud atau REST API untuk mengaktifkan opsi ini.

REST API

Untuk mengonfigurasi transfer menggunakan REST API, tetapkan kolom boolean transferSpec.awsS3DataSource.managedPrivateNetwork ke true di dalam payload permintaan JSON Anda saat memanggil transferJobs.create atau transferJobs.patch.

Permintaan HTTP

POST https://storagetransfer.googleapis.com/v1/transferJobs

Isi permintaan

{
  "description": "S3 to Cloud Storage over Google-managed private network",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "awsS3DataSource": {
      "bucketName": "AWS_SOURCE_NAME",
      "managedPrivateNetwork": true,
      "awsAccessKey": {
        "accessKeyId": "AWS_ACCESS_KEY_ID",
        "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
      }
    },
    "gcsDataSink": {
      "bucketName": "GCS_SINK_NAME"
    },
    "transferOptions": {
      "overwriteWhen": "DIFFERENT",
      "deleteObjectsFromSourceAfterTransfer": false
    }
  }
}

Contoh ini menggunakan kredensial akses AWS untuk melakukan autentikasi. Lihat Mengonfigurasi akses ke Amazon S3 untuk mengetahui detail tentang penggunaan identitas gabungan atau kredensial di Secret Manager.

Memantau dan memverifikasi pemilihan rute jaringan pribadi

Setelah memulai tugas transfer, pastikan data keluar melalui jaringan pribadi yang dikelola Google:

Cloud Logging: Saat transfer-logs diaktifkan (--log-actions=COPY,DELETE,FAILED), periksa log terstruktur untuk operasi transfer Anda. Metadata koneksi di dalam log tindakan COPY mengonfirmasi keberhasilan replikasi melalui jalur jaringan pribadi.
Verifikasi penagihan: Periksa dasbor penagihan AWS dan Google Cloud Anda. Di invoice AWS, Anda akan melihat biaya transfer keluar data internet publik (DataTransfer-Out-Bytes) sebesar nol untuk objek yang ditransfer. Sebagai gantinya, biaya pemrosesan data per GiB akan muncul di invoice Google Cloud Anda di bagian Storage Transfer Service.

Opsi perutean jaringan alternatif

Jika jaringan pribadi yang dikelola Google tidak memenuhi persyaratan workload Anda, Storage Transfer Service mendukung beberapa opsi pemilihan rute jaringan lainnya untuk Amazon S3:

Pemilihan rute internet publik: Transfer data di seluruh link peering internet publik standar antara Amazon S3 dan Google Cloud. Semua perintah API, header autentikasi, dan aliran data objek dienkripsi end-to-end dalam pengiriman menggunakan HTTPS dengan Transport Layer Security (TLS 1.3). Tarif egress data internet AWS standar berlaku. Untuk mengetahui detailnya, lihat Mentransfer dari Amazon S3.
Jaringan pribadi yang dikelola pelanggan: Data melintasi infrastruktur konektivitas hybrid yang telah dikonfigurasi sebelumnya (seperti Cloud Interconnect, Cloud VPN, atau AWS Direct Connect) melalui alamat IP pribadi. Opsi ini memberi Anda kontrol arsitektur penuh dan bandwidth jaringan khusus yang dapat diprediksi. Untuk mengetahui detailnya, lihat Transfer melalui jaringan pribadi yang dikelola pelanggan.
Pemilihan rute CDN Amazon CloudFront: Data diambil melalui distribusi Amazon CloudFront di depan bucket S3 Anda. Bergantung pada paket harga dan volume data AWS CloudFront Anda, hal ini dapat mengurangi biaya traffic egress internet dibandingkan dengan download S3 publik langsung. Untuk mengetahui detailnya, lihat Mentransfer dari S3 melalui CloudFront.