Memecahkan masalah Storage Intelligence

Dokumen ini menjelaskan cara memecahkan masalah umum terkait Storage Intelligence, laporan inventaris Insight Penyimpanan, set data Insight Penyimpanan, dan Storage batch operations.

Error konfigurasi Storage Intelligence

Bagian berikut menjelaskan error yang mungkin Anda temui saat mengonfigurasi atau mengelola Storage Intelligence untuk resource.

400: Nama bucket tidak valid

Masalah: Permintaan menampilkan 400 Bad Request dengan pesan The specified bucket is not valid.

Solusi: Permintaan tidak valid. Pastikan permintaan memenuhi persyaratan berikut:

  • Gunakan locations/global. Storage Intelligence tidak mendukung lokasi lain.
  • Pastikan nama bucket atau ekspresi reguler di bucket_id_regexes valid.

Berikut adalah contoh permintaan yang valid:

curl -X PATCH \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -d '{
      "edition_config": "STANDARD",
      "filter": {
        "included_cloud_storage_buckets": {
          "bucket_id_regexes": [
            "my-bucket-name",
            "prod-data-.*"
          ]
        }
      }
    }' \
    "https://storage./v2/projects/PROJECT_ID/locations/global/intelligenceConfig?updateMask=edition_config,filter"

400: Argumen tidak valid - mask update kosong

Masalah: Saat Anda mengirim permintaan konfigurasi atau update, permintaan menampilkan 400 Bad Request dengan pesan Empty UPDATE_MASK in the request.

Solusi: Berikan UPDATE_MASK yang tidak kosong dalam permintaan Anda. UPDATE_MASK menentukan daftar FieldMask kolom yang dipisahkan koma dalam resource IntelligenceConfig yang akan diupdate (seperti updateMask=edition_config atau updateMask=edition_config,filter).

400: Jalur mask update tidak valid

Masalah: Saat mengupdate konfigurasi, permintaan menampilkan 400 Bad Request dengan pesan Invalid UPDATE_MASK paths.

Solusi: Pastikan setiap nama kolom di UPDATE_MASK cocok dengan kolom yang valid di resource IntelligenceConfig.

400: Kolom tidak dapat diedit

Masalah: Saat mengupdate konfigurasi, permintaan menampilkan 400 Bad Request dengan pesan Invalid UPDATE_MASK: UPDATE_TIME field is not editable.

Solusi: Hapus kolom sistem yang tidak dapat diedit (seperti UPDATE_TIME) dari UPDATE_MASK. Hanya tentukan kolom yang dapat diubah yang ditentukan di IntelligenceConfig.

400: Nilai tidak valid

Masalah: Permintaan menampilkan 400 Bad Request dengan pesan Invalid value at storage_intelligence.edition_config.

Solusi: Tetapkan edition_config ke nilai yang didukung: INHERIT, STANDARD, atau DISABLED.

400: Filter tidak kosong

Masalah: Permintaan menampilkan 400 Bad Request dengan pesan Non-empty filter cannot be specified for INHERIT or DISABLED edition configuration.

Solusi: Hapus filter bucket dari permintaan. Filter bucket tidak didukung saat edition_config ditetapkan ke INHERIT atau DISABLED.

400: Nilai lokasi atau bucket kosong dalam filter

Masalah: Permintaan menampilkan 400 Bad Request dengan pesan Empty location or bucket values in filter.

Solusi: Pastikan location maupun bucket bukan string kosong dalam filter bucket Anda.

Masalah umum Insight Penyimpanan

Bagian ini menjelaskan cara mengatasi masalah umum terkait laporan inventaris dan set data.

Beberapa laporan inventaris dibuat setiap hari

Masalah: Konfigurasi laporan inventaris menghasilkan beberapa file laporan setiap hari.

Solusi: Cloud Storage membagi laporan inventaris untuk bucket dengan lebih dari 1.000.000 objek, sehingga menghasilkan satu shard per 1.000.000 objek. Misalnya, bucket dengan 3.500.000 objek menghasilkan empat shard laporan dan file manifes yang mencantumkan setiap shard.

Laporan inventaris tidak muncul di bucket tujuan

Masalah: Laporan inventaris tidak muncul di bucket tujuan.

Solusi: Jika laporan tidak dikirimkan ke bucket tujuan, pastikan hal berikut:

  • Pastikan tanggal mulai yang dikonfigurasi telah berlalu. Untuk mengetahui informasi selengkapnya, lihat Membuat konfigurasi laporan inventaris.

  • Lihat histori laporan inventaris Anda untuk memeriksa kegagalan dan penyebab utamanya. Untuk melihat histori laporan inventaris, selesaikan langkah-langkah berikut:

    1. Di Google Cloud konsol, buka halaman Buckets Cloud Storage.

      Buka Buckets

    2. Dalam daftar bucket, klik nama bucket sumber yang berisi konfigurasi laporan inventaris.

    3. Di halaman Bucket details, klik tab Inventory reports.

    4. Dalam daftar konfigurasi laporan inventaris, klik UUID konfigurasi laporan inventaris yang menghasilkan laporan yang ingin Anda periksa.

    5. Periksa kegagalan di bagian Inventory report history. Anda dapat mengarahkan kursor ke Help () untuk mendapatkan detail tentang penyebab kegagalan.

  • Pastikan agen layanan level project diberi peran IAM yang diperlukan untuk membaca dan menulis laporan inventaris. Untuk mengetahui informasi selengkapnya, lihat Memberikan peran yang diperlukan ke agen layanan.

Penundaan laporan inventaris

Masalah: Pembuatan laporan inventaris tertunda.

Solusi: Waktu pembuatan laporan bervariasi. Penundaan hingga 24 jam adalah hal yang normal.

Set data tidak terisi

Masalah: Tabel set data Insight Penyimpanan tetap kosong.

Solusi: Di set data BigQuery yang ditautkan, periksa error_attributes_view untuk kode error. Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah error set data.

Nilai null di kolom 'ref' saat membuat kueri set data

Masalah: Saat membuat kueri set data Insight Penyimpanan di BigQuery, kolom ref menampilkan null.

Solusi: Untuk objek yang diakhiri dengan /, kolom ref dalam set data adalah null.

Jika kolom ref menampilkan nilai null saat Anda membuat kueri set data Insight Penyimpanan di BigQuery, pastikan Anda telah memberikan izin dan peran koneksi yang diperlukan, termasuk akses ke resource Cloud Storage, seperti yang dijelaskan dalam Menganalisis data dan metadata objek menggunakan BigQuery.

Error validasi tugas Storage batch operations

Bagian ini menjelaskan error validasi yang terjadi saat mengirimkan permintaan tugas batch operations ke storagebatchoperations.googleapis.com.

400: ID tugas atau nama resource tidak valid

Masalah: Permintaan pembuatan tugas menampilkan respons 400 Bad Request (INVALID_ARGUMENT) dengan alasan JOB_ID_INVALID atau RESOURCE_NAME_TOO_LONG.

Solusi: Pastikan ID tugas terdiri dari 1–63 karakter alfanumerik huruf kecil atau tanda hubung ([a-z0-9]([-a-z0-9]*[a-z0-9])?), dan jalur resource tugas lengkap (projects/PROJECT_ID/locations/LOCATION/jobs/JOB_ID) tidak melebihi 200 byte. Jika jalur melebihi 200 byte, persingkat ID tugas. Untuk mengetahui informasi selengkapnya, lihat Nama tugas.

400: Deskripsi tugas melebihi batas

Masalah: Permintaan pembuatan tugas menampilkan respons 400 Bad Request (INVALID_ARGUMENT) dengan alasan DESCRIPTION_TOO_LONG.

Solusi: Pastikan deskripsi tugas berukuran 1.024 byte atau kurang. Jika melebihi batas ini, persingkat teks. Untuk mengetahui informasi selengkapnya, lihat Deskripsi tugas.

400: Konfigurasi sumber tugas tidak ada atau tidak valid

Masalah: Permintaan pembuatan tugas menampilkan respons 400 Bad Request (INVALID_ARGUMENT) dengan salah satu alasan berikut:

  • SOURCE_NOT_SPECIFIED
  • BUCKET_LIST_EMPTY
  • TOO_MANY_BUCKETS
  • MULTI_BUCKET_NOT_SUPPORTED
  • BUCKET_NAME_REQUIRED
  • OBJECT_CONFIGURATION_REQUIRED

Solusi: Pastikan tugas Anda menentukan konfigurasi sumber yang valid (bucket_list atau project_source) dan setiap bucket menentukan metode pemilihan objek. Untuk mengetahui informasi selengkapnya, lihat Membuat dan mengelola batch operations tugas.

400: Nama bucket atau objek tidak valid

Masalah: Permintaan pembuatan tugas menampilkan respons 400 Bad Request (INVALID_ARGUMENT) dengan alasan BUCKET_NAME_INVALID atau OBJECT_NAME_INVALID.

Solusi: Pastikan semua nama bucket dan objek mematuhi persyaratan penamaan Cloud Storage. Untuk mengetahui informasi selengkapnya, lihat Pedoman penamaan bucket dan Pedoman penamaan objek.

400: Error konfigurasi sumber project

Masalah: Permintaan pembuatan tugas menampilkan respons 400 Bad Request (INVALID_ARGUMENT) dengan salah satu alasan berikut:

  • PROJECT_SOURCE_PROJECT_INVALID
  • PROJECT_SOURCE_DRY_RUN_FIELDS_EXCLUSIVE
  • PROJECT_SOURCE_DRY_RUN_ID_INVALID

Solusi: Pastikan konfigurasi sumber project Anda memenuhi persyaratan pemformatan dan eksklusivitas kolom. Jika Anda menentukan ID tugas uji coba, hapus semua parameter project_source lainnya. Untuk mengetahui informasi selengkapnya, lihat Membuat tugas menggunakan filter lanjutan.

400: Parameter transformasi yang bertentangan atau tidak ada

Masalah: Permintaan pembuatan tugas menampilkan respons 400 Bad Request (INVALID_ARGUMENT) dengan salah satu alasan berikut:

  • TRANSFORMATION_NOT_SPECIFIED
  • REWRITE_OBJECT_MISSING_PARAMETERS
  • PUT_OBJECT_HOLD_MISSING_PARAMETERS
  • PUT_METADATA_MISSING_PARAMETERS

Solusi: Tentukan tepat satu jenis transformasi dengan semua parameter yang diperlukan. Jika mengonfigurasi retensi objek, pastikan Object Lock diaktifkan di bucket dan stempel waktu menggunakan format RFC 3339 UTC. Untuk mengetahui informasi selengkapnya tentang persyaratan parameter berdasarkan transformasi, lihat Jenis tugas.

400: Awalan objek yang tumpang tindih atau duplikat

Masalah: Permintaan pembuatan tugas menampilkan respons 400 Bad Request (INVALID_ARGUMENT) dengan alasan OBJECT_PREFIX_OVERLAP atau DUPLICATE_OBJECT_PREFIX.

Solusi: Hapus awalan duplikat dan pastikan tidak ada awalan di included_object_prefixes yang merupakan awalan dari entri lain dalam daftar. Untuk mengetahui informasi selengkapnya, lihat Awalan objek.

400: Masalah pemformatan dan akses file manifes

Masalah: Permintaan pembuatan tugas menampilkan respons 400 Bad Request (INVALID_ARGUMENT) dengan alasan MANIFEST_LOCATION_REQUIRED atau MANIFEST_LOCATION_INVALID, atau tugas tidak dapat membaca manifes.

Solusi: Pastikan URI manifes adalah jalur CSV yang valid (gs://<bucket_name>/<path>/<object_name>.csv) dan bahwa agen layanan Storage batch operations memiliki peran roles/storage.objectViewer di bucket manifes. Untuk mengetahui informasi selengkapnya tentang persyaratan pemformatan dan skema CSV, lihat Manifes.

400: Error penemuan set data Insight Penyimpanan

Masalah: Menggunakan set data Insight Penyimpanan untuk penemuan objek menampilkan respons 400 Bad Request (INVALID_ARGUMENT atau FAILED_PRECONDITION) dengan salah satu alasan berikut:

  • BUCKET_DISCOVERY_SNAPSHOT_TOO_OLD
  • TARGET_LOCATIONS_REQUIRED_FOR_SNAPSHOT_TIME
  • BUCKET_DISCOVERY_TOO_MANY_BUCKETS

Solusi: Pastikan snapshot_time berada dalam 48 jam terakhir, tentukan target_locations untuk bucket, dan pastikan kueri penemuan cocok dengan tidak lebih dari 1.000 bucket. Untuk mengetahui informasi selengkapnya, lihat Membuat manifes menggunakan set data Insight Penyimpanan.

400: Transformasi kelas penyimpanan gagal pada bucket yang mengaktifkan Autoclass

Masalah: Permintaan pembuatan tugas menampilkan respons 400 Bad Request (FAILED_PRECONDITION) dengan alasan AUTOCLASS_STORAGE_CLASS_TRANSFORMATION_UNSUPPORTED.

Solusi: Anda tidak dapat menjalankan transformasi kelas penyimpanan pada bucket yang mengaktifkan Autoclass. Targetkan bucket tanpa Autoclass atau hapus transformasi kelas penyimpanan. Untuk mengetahui informasi selengkapnya, lihat Batasan Autoclass.

400: Update ACL objek gagal pada bucket akses level bucket seragam

Masalah: Permintaan pembuatan tugas menampilkan respons 400 Bad Request (FAILED_PRECONDITION) dengan alasan UBLA_OBJECT_ACL_UPDATE_UNSUPPORTED.

Solusi: Anda tidak dapat mengupdate ACL objek pada bucket yang mengaktifkan akses level bucket seragam. Kelola akses menggunakan peran IAM di tingkat bucket atau project. Untuk mengetahui informasi selengkapnya, lihat akses level bucket seragam.

Masalah runtime dan eksekusi Storage batch operations

Bagian ini menjelaskan masalah yang terjadi selama eksekusi asinkron tugas batch operations.

403: Error izin selama eksekusi

Masalah: Tugas batch gagal selama eksekusi dengan 403 Forbidden (PERMISSION_DENIED).

Solusi: Berikan peran IAM yang diperlukan untuk jenis transformasi Anda kepada agen layanan Storage batch operations (service-PROJECT_NUMBER@gcp-sa-storagebatchoperations.) . Untuk mengetahui informasi selengkapnya, lihat Memberikan izin ke agen layanan.

Error enkripsi CMEK selama penulisan ulang objek

Masalah: Penulisan ulang objek gagal dengan 400 Bad Request atau 403 Forbidden karena status kunci Cloud KMS atau error izin.

Solusi: Pastikan kunci Cloud KMS Enabled dan berada di region yang sama dengan bucket target, serta agen layanan memiliki peran roles/cloudkms.cryptoKeyEncrypterDecrypter Untuk mengetahui informasi selengkapnya, lihat Jenis pekerjaan: Menulis ulang objek.

Jumlah kegagalan tinggi di error_summaries

Masalah: Tugas batch selesai dengan counters.failed_object_count dan kode error di error_summaries (seperti 404 NOT_FOUND, 412 FAILED_PRECONDITION, atau 403 PERMISSION_DENIED).

Solusi: Jalankan gcloud storage batch-operations jobs describe dengan flag --location (misalnya, gcloud storage batch-operations jobs describe JOB_ID --location=LOCATION) untuk melihat perincian error gabungan, dan periksa Cloud Logging untuk log error per objek. Untuk mengetahui informasi selengkapnya, lihat Mendapatkan detail tugas.

Tugas Storage batch operations gagal karena snapshot yang berusia lebih dari dua hari

Masalah: Saat Anda membuat tugas Storage batch operations berbasis filter CEL, pembuatan tugas akan gagal. Pesan error menyatakan bahwa waktu snapshot lebih lama dari dua hari.

Solusi: Untuk mencegah tindakan pada status objek yang sudah tidak berlaku, Storage batch operations akan otomatis menggagalkan pembuatan tugas. Kegagalan ini terjadi jika snapshot yang dipilih berusia lebih dari dua hari. Pilih salah satu metode berikut untuk mengatasi masalah ini:

  • Menggunakan file manifes: Buat kueri set data Anda secara manual di BigQuery. Ekspor hasilnya ke file manifes CSV, lalu upload file tersebut ke bucket Cloud Storage. Kemudian, Anda dapat membuat tugas batch operations menggunakan metode manifes untuk menghindari batas dua hari.
  • Memeriksa konfigurasi set data: Pastikan konfigurasi set data Anda aktif dan tidak dijeda. Pastikan snapshot set data berjalan dengan sukses. Untuk mengetahui informasi tentang cara memverifikasi konfigurasi, lihat Melihat konfigurasi set data.
  • Menggunakan penggantian waktu snapshot dan lokasi target: Tentukan flag --target-snapshot-time untuk melewati kegagalan kedaluwarsa dua hari dengan memilih snapshot secara eksplisit dalam format RFC 3339. Tentukan flag --target-locations untuk membatasi operasi ke lokasi tempat snapshot berada. Anda dapat menggunakan penggantian ini untuk mengatasi penundaan sinkronisasi yang mencegah snapshot global otomatis diupdate. Akibatnya, Anda dapat menargetkan snapshot regional yang lebih baru secara manual. Untuk sintaksis perintah, lihat Membuat tugas menggunakan filter lanjutan.

Tugas Storage batch operations berbasis filter CEL gagal di project yang baru berlangganan

Masalah: Menjalankan tugas Storage batch operations berbasis filter CEL di project yang baru berlangganan akan gagal karena sistem tidak dapat menemukan snapshot yang valid.

Solusi: Setelah mengaktifkan langganan Storage Intelligence, Anda harus menunggu 24 jam sebelum menjalankan tugas Storage batch operations berbasis filter CEL. Penundaan ini memungkinkan sistem melakukan snapshot metadata awal dan menetapkan waktu snapshot awal.

Tugas Storage batch operations berbasis filter CEL gagal dengan error izin atau menampilkan error runtime

Masalah: Tugas Storage batch operations berbasis filter CEL gagal selama eksekusi atau menampilkan error izin runtime.

Solusi: Storage batch operations menggunakan kredensial pengguna Anda untuk memproses objek. Tugas akan gagal jika Anda tidak memiliki izin pembaca atau penulis IAM yang diperlukan pada bucket dan objek target. Masalah ini terjadi saat filter CEL Anda memilih resource yang tidak dapat Anda akses. Pastikan akun Anda memiliki peran Storage Admin (roles/storage.admin), Storage Object Admin (roles/storage.objectAdmin), atau peran yang setara untuk semua bucket dan objek dalam cakupan tugas. Untuk mengetahui petunjuk cara memberikan peran, lihat Menggunakan izin IAM.

Pemantauan dan analisis log

Untuk mengetahui informasi selengkapnya tentang cara memeriksa kegagalan eksekusi per objek dan payload error di Cloud Logging, lihat Melihat log Storage batch operations logs.

Masalah penasihat Storage Intelligence

Bagian ini memberikan panduan tentang cara mengatasi masalah yang sering ditemui saat menggunakan penasihat Storage Intelligence.

Error izin ditolak penasihat Storage Intelligence

Masalah: Anda menerima error Permission denied saat mengakses penasihat Storage Intelligence, dan diagram serta metrik kosong atau menampilkan error izin.

Solusi: Masalah ini terjadi jika Anda tidak memiliki peran IAM dengan izin yang diperlukan untuk melihat penasihat Storage Intelligence. Minta administrator Anda untuk memberi Anda peran Storage Admin (roles/storage.admin) di project, folder, atau organisasi yang ingin Anda lihat. Untuk mengetahui daftar izin yang diperlukan, lihat Peran yang diperlukan.

Izin tidak memadai untuk melihat project yang terpengaruh

Masalah: Saat Anda melihat temuan di tingkat organisasi atau folder, panel Projects with findings detected menampilkan indikator peringatan dengan pesan You've insufficient permission to access this project di samping project.

Solusi: Masalah ini terjadi jika Anda memiliki izin untuk melihat penasihat Storage Intelligence di tingkat organisasi atau folder, tetapi tidak memiliki izin IAM yang diperlukan di project tertentu tersebut. Minta administrator project untuk memberi Anda peran Storage Admin (roles/storage.admin) di project yang terpengaruh.

Penasihat Storage Intelligence kosong atau data tidak ada

Masalah: Halaman penasihat Storage Intelligence dimuat, dan diagram, metrik di bagian At a glance (berlabel Project at a glance, Folder at a glance, atau Organization at a glance bergantung pada resource yang dipilih), atau bagian Top findings kosong atau datanya sudah tidak berlaku.

Solusi: Masalah ini dapat terjadi karena alasan berikut:

  • Latensi pemrosesan data: Metrik dan temuan Storage Intelligence bergantung pada snapshot harian dan analisis penggunaan penyimpanan. Data dapat memerlukan waktu 24 hingga 48 jam untuk muncul di penasihat Storage Intelligence. Penundaan tersebut biasanya terjadi setelah Anda membuat bucket baru atau saat Anda melihat penasihat Storage Intelligence untuk pertama kalinya. Jika Anda ingin melihat data aktivitas terbaru, tunggu 48 jam, lalu periksa lagi.
  • Tidak ada resource penyimpanan: Jika project, folder, atau organisasi yang dipilih tidak berisi bucket atau objek untuk jangka waktu yang dipilih, penasihat Storage Intelligence akan kosong. Pilih project, folder, atau organisasi lain yang berisi resource penyimpanan.
  • Filter waktu yang salah: Filter waktu ditetapkan ke rentang tempat tidak ada aktivitas penyimpanan yang terjadi. Sesuaikan filter waktu ke rentang yang mencakup aktivitas penyimpanan.

Temuan tidak muncul di penasihat Storage Intelligence

Masalah: Anda ingin melihat temuan di bagian Top findings berdasarkan aktivitas penyimpanan terbaru, tetapi bagian tersebut kosong.

Solusi: Masalah ini terjadi jika penasihat Storage Intelligence tidak menghasilkan temuan untuk jangka waktu yang dipilih. Tidak adanya temuan dapat terjadi karena alasan berikut:

  • Tidak ada pola yang cocok: Siklus analisis terbaru tidak mendeteksi perilaku penyimpanan yang cocok dengan pola temuan.
  • Penundaan pemrosesan data: Temuan bergantung pada metrik penyimpanan, yang memerlukan waktu 24 hingga 48 jam untuk diproses. Temuan untuk peristiwa yang terjadi dalam 24 jam terakhir akan muncul setelah siklus pemrosesan berikutnya selesai.

Masalah saat menggunakan Kontrol Layanan VPC

Masalah: Anda menerima error akses ditolak atau izin saat mencoba mengakses penasihat Storage Intelligence dari project di dalam perimeter layanan Kontrol Layanan VPC.

Solusi: Masalah ini terjadi jika Kontrol Layanan VPC tidak dikonfigurasi dengan benar untuk mengizinkan komunikasi antara project Anda, Google Cloud konsol, dan resource Storage Intelligence. Untuk mengatasi masalah ini, tinjau persyaratan berikut:

  • Layanan yang dibatasi: Pastikan apakah perimeter layanan membatasi Cloud Storage API (storage.googleapis.com) dan Insight Penyimpanan (storageinsights.googleapis.com) API. Untuk mengetahui detailnya, lihat Mencantumkan dan menjelaskan parameter layanan.
  • Konfigurasi perimeter: Pastikan project yang Anda gunakan untuk melihat penasihat Storage Intelligence berada di perimeter layanan yang sama dengan project yang Anda pantau. Jika berada di perimeter yang berbeda, Anda harus mengonfigurasi aturan ingress dan egress atau menggunakan perimeter bridge.
  • Akses dari luar perimeter: Jika Anda mengakses Google Cloud konsol dari jaringan di luar perimeter, Anda harus membuat aturan ingress atau tingkat akses yang menyertakan akun pengguna dan rentang alamat IP publik yang Anda gunakan.
  • VPC Bersama: Jika Anda menggunakan VPC Bersama, pastikan project berada di perimeter layanan yang sama dengan project layanan Anda. Untuk mengetahui detailnya, lihat VPC Bersama.
  • Log audit: Gunakan penganalisis pelanggaran untuk memeriksa pelanggaran Kontrol Layanan VPC di log audit Anda. Penganalisis pelanggaran membantu mendiagnosis pelanggaran dan mengidentifikasi penyebabnya, seperti error RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER.

Langkah berikutnya