Google menggunakan teknologi AI untuk menerjemahkan konten ke dalam bahasa pilihan Anda. Terjemahan AI mungkin mengandung kesalahan.

Menyesuaikan performa gcloud CLI untuk bucket zonal

Saat Anda membaca objek dari bucket zonal di Rapid Bucket menggunakan Google Cloud CLI, CLI akan otomatis menerapkan konfigurasi konkurensi dan pengirisan default berdasarkan resource sistem yang tersedia.

Dokumen ini menjelaskan konfigurasi default ini dan menjelaskan cara mengoptimalkan performa gcloud CLI untuk beban kerja tertentu dengan mengonfigurasi serentak, penskalaan proses, dan fitur keikutsertaan, seperti isolasi NIC.

Sebelum menyesuaikan setelan performa, Anda harus membuat bucket zonal. Jika Anda mendownload objek ke volume penyimpanan terpasang, seperti Hyperdisk atau SSD Lokal, format dan pasang volume di lingkungan Anda. Jika Anda berencana memasang bucket zonal sebagai sistem file, bukan menggunakan gcloud CLI, lihat Performa Cloud Storage FUSE untuk Bucket Cepat. Untuk mengetahui konsep umum slicing, lihat Download objek menggunakan metode slice.

Konfigurasi konkurensi dan pengirisan default

Konfigurasi default yang dijelaskan di bagian ini berlaku secara khusus saat Anda membaca objek dari bucket zonal di Bucket Cepat menggunakan gcloud CLI versi 583.0.0 atau yang lebih baru. Untuk bucket Cloud Storage standar, gcloud CLI menerapkan setelan konkurensi defaultnya sendiri.

Untuk bucket zona, gcloud CLI akan otomatis menetapkan parameter konkurensi dan slicing default berdasarkan jumlah core CPU virtual (vCPU) yang tersedia dan apakah Anda mendownload satu atau beberapa objek. Nilai default ini mengonfigurasi properti berikut:

Jumlah proses: storage/process_count
Jumlah rangkaian pesan: storage/thread_count
Threshold penirisan: storage/sliced_object_download_threshold
Komponen maks: storage/sliced_object_download_max_components
Ukuran komponen: storage/sliced_object_download_component_size

Bagian berikut mencantumkan nilai default untuk download objek tunggal dan multi-objek.

Download objek tunggal

Saat Anda mendownload satu objek, gcloud CLI akan menerapkan nilai default berikut:

vCPU yang tersedia	Jumlah proses	Jumlah thread	Nilai minimum pengirisan	Komponen maks	Ukuran komponen
`≥ 8`	`8`	`2`	`50 MiB`	`16`	`5 MiB`
`< 8`	`4`	`2`	`50 MiB`	`8`	`5 MiB`

Download multi-objek

Saat Anda mendownload beberapa objek secara bersamaan, gcloud CLI menerapkan nilai default berikut:

vCPU yang tersedia	Jumlah proses	Jumlah thread	Nilai minimum pengirisan	Komponen maks	Ukuran komponen
`≥ 48`	`min(96, available_cores * 0.75)`	`1`	`10 MiB`	`5`	`5 MiB`
`4 to 47`	`16`	`4`	`10 MiB`	`10`	`5 MiB`
`< 4`	`2`	`10`	`50 MiB`	`10`	`5 MiB`

Mengonfigurasi properti konkurensi dan pengirisan

Untuk mengonfigurasi dan menerapkan setelan penyetelan kustom, selesaikan langkah-langkah berikut:

Instal atau update Google Cloud CLI ke versi 583.0.0 atau yang lebih baru.
Di lingkungan pengembangan Anda, jalankan perintah gcloud config configurations create untuk membuat dan mengaktifkan profil konfigurasi:
```
gcloud config configurations create CONFIGURATION_NAME
```
Ganti CONFIGURATION_NAME dengan nama untuk profil konfigurasi Anda, seperti rapid-perf.
Jalankan perintah gcloud config set untuk mengonfigurasi properti konkurensi dan pengirisan:
```
gcloud config set storage/thread_count THREAD_COUNT
gcloud config set storage/process_count PROCESS_COUNT
gcloud config set storage/sliced_object_download_threshold THRESHOLD_SIZE
gcloud config set storage/sliced_object_download_component_size COMPONENT_SIZE
gcloud config set storage/sliced_object_download_max_components MAX_COMPONENTS
```
Ganti kode berikut:
- THREAD_COUNT: jumlah thread per proses pekerja, seperti 1.
- PROCESS_COUNT: jumlah proses pekerja, seperti 64.
- THRESHOLD_SIZE: nilai minimum ukuran objek untuk memicu pengirisan, seperti 128 MiB untuk beban kerja multi-gigabyte (atau 32 MiB untuk objek yang lebih kecil).
- COMPONENT_SIZE: ukuran target setiap irisan download, seperti 128 MiB untuk beban kerja multi-gigabyte (atau 32 MiB untuk objek yang lebih kecil).
- MAX_COMPONENTS: jumlah maksimum komponen irisan per objek, seperti 16.
Untuk mengetahui informasi selengkapnya tentang properti ini, lihat Menyesuaikan rekomendasi.
Untuk mendownload objek ke jalur penyimpanan lokal, jalankan perintah gcloud storage cp:
```
gcloud storage cp -r gs://BUCKET_NAME/SOURCE_PATH LOCAL_DESTINATION_PATH
```
Ganti kode berikut:
- BUCKET_NAME: nama bucket zonal Anda.
- SOURCE_PATH: jalur objek atau direktori sumber di bucket Anda.
- LOCAL_DESTINATION_PATH: jalur direktori lokal Anda (seperti ./data/) atau direktori pemasangan volume penyimpanan lokal Anda (seperti /mnt/hyperdisk/data/).

Menyesuaikan rekomendasi

Gunakan rekomendasi berikut untuk menyesuaikan konkurensi, pengirisan, dan resource sistem untuk beban kerja Anda.

Jumlah proses

Tetapkan properti storage/process_count untuk menskalakan proses worker paralel berdasarkan core CPU yang tersedia. Batasi jumlah proses hingga maksimum 80% dari core CPU yang tersedia:

storage/process_count = min(target_cores, 0.8 * available_cores)

Dengan:

target_cores: jumlah core CPU atau proses pekerja yang ingin Anda alokasikan untuk transfer Anda (seperti 64).
available_cores: jumlah total CPU virtual (vCPU) yang tersedia di mesin Anda (misalnya, dengan menjalankan nproc di Linux).

Misalnya, jika target Anda adalah 64 proses pekerja di mesin dengan 80 vCPU atau lebih, tetapkan storage/process_count ke 64. Pada mesin dengan kurang dari 80 vCPU, tetapkan storage/process_count ke 80% dari vCPU yang tersedia (misalnya, 51 pada VM 64 vCPU).

Jumlah thread

Tetapkan properti storage/thread_count untuk mengontrol jumlah thread per proses pekerja. Pada mesin dengan 48 vCPU atau lebih, tetapkan storage/thread_count ke 1.

Membatasi setiap proses pekerja ke satu thread pada mesin dengan 48 vCPU atau lebih akan mengurangi pertentangan thread Python Global Interpreter Lock (GIL) dan gRPC.

Nilai minimum pengirisan

Tetapkan properti storage/sliced_object_download_threshold untuk menentukan ukuran objek minimum yang diperlukan untuk memicu download yang diiris.

Sebaiknya tetapkan storage/sliced_object_download_threshold ke nilai yang sama dengan atau lebih besar dari storage/sliced_object_download_component_size.

Slice per objek

Tetapkan properti storage/sliced_object_download_component_size dan storage/sliced_object_download_max_components untuk mengontrol jumlah slice paralel yang dibuat per objek. gcloud CLI menghitung slice per objek menggunakan formula berikut:

Slices per object = min(object_size / component_size, max_components)

Jika objek cukup besar sehingga mengirisnya berdasarkan nilai component_size akan melebihi nilai max_components, gcloud CLI akan mengabaikan nilai component_size dan membagi objek secara merata menjadi max_components irisan. Misalnya, mendownload objek 100 GiB dengan component_size=128 MiB dan max_components=16 menghasilkan 16 slice dengan masing-masing berukuran 6,25 GiB.

gcloud CLI mendownload setiap slice secara independen dan paralel berdasarkan total kapasitas pekerja Anda (storage/process_count × storage/thread_count).

Saturasi pekerja

Untuk mempertahankan pemakaian pekerja yang tinggi selama transfer, Anda harus menyesuaikan jumlah proses, jumlah thread, ukuran komponen, dan komponen maks. Penyesuaian ini memastikan bahwa transfer umum menghasilkan total slice yang cukup untuk sama dengan atau melebihi total kapasitas pekerja Anda:

Total slices across all objects >= storage/process_count * storage/thread_count

Misalnya, pertimbangkan untuk mendownload empat objek menggunakan 64 proses pekerja (process_count=64 dan thread_count=1):

Empat objek 2 GiB: menyetel component_size=128 MiB menghasilkan 16 slice per objek (4 × 16 = 64 slice), yang sepenuhnya memanfaatkan semua 64 proses pekerja.
Empat objek 512 MiB: menyetel component_size=32 MiB menghasilkan 16 slice per objek (4 × 16 = 64 slice), yang sepenuhnya memanfaatkan semua 64 proses pekerja. Sebaliknya, penggunaan component_size=128 MiB pada objek 512 MiB hanya menghasilkan 4 slice per objek (total 16 slice), sehingga 48 proses pekerja tidak digunakan.

Isolasi NIC

Di komputer Linux dengan lebih dari 16 core CPU, Anda dapat mengaktifkan isolasi kartu antarmuka jaringan (NIC) dengan menyetel properti storage/use_nic_isolation ke True:

gcloud config set storage/use_nic_isolation True

Saat Anda mengaktifkan properti ini, gcloud CLI akan menetapkan afinitas CPU (os.sched_setaffinity()). Konfigurasi ini mengisolasi 10% inti CPU untuk permintaan interupsi hardware (IRQ) jaringan dan mencadangkan inti yang tersisa untuk pemrosesan data.