Set data Storage Insights

Set data Insight Penyimpanan membantu Anda mengelola resource Cloud Storage dengan membuat indeks metadata dan aktivitas yang dapat dikueri di seluruh organisasi, folder, project, atau bucket tertentu. Setelah menautkan set data ke BigQuery, Anda dapat menganalisis, membuat kueri, dan memvisualisasikan data bucket dan objek.

Konten dan skema set data

Set data Insight Penyimpanan menyediakan snapshot berkelanjutan dari metadata, data aktivitas, error, dan peristiwa untuk semua project, bucket, dan objek dalam cakupan yang ditentukan. Set data mengumpulkan dan mengindeks informasi untuk memberikan tampilan data Anda. Tampilan ini memungkinkan Anda memantau resource Cloud Storage dan mengelola aset penyimpanan Anda.

Set data ini tersedia sebagai set data tertaut BigQuery, dengan sekumpulan tabel yang memiliki skema berikut:

  • Metadata: snapshot metadata untuk project, bucket, dan objek. Untuk mengetahui detail tentang skema metadata, lihat Skema set data metadata.

  • Data aktivitas: data mutasi dan error untuk objek serta insight aktivitas gabungan untuk bucket dan project Anda. Untuk mengetahui detail tentang skema data aktivitas, lihat Skema set data dari data aktivitas.

  • Error dan peristiwa: informasi tentang peristiwa dan error pemrosesan snapshot. Untuk mengetahui detail tentang skema error dan peristiwa, lihat Skema set data peristiwa dan error.

Kasus penggunaan untuk set data Insight Penyimpanan

Set data Insight Penyimpanan memberikan tampilan untuk mendapatkan insight di seluruh organisasi dan insight terperinci tentang data Anda. Bagian berikut menjelaskan kasus penggunaan untuk set data.

Memahami aset penyimpanan Anda

Anda dapat memperoleh insight tentang data Anda dengan melihat metadata project, bucket, dan objek. Tampilan metadata membantu Anda melakukan tugas-tugas berikut:

  • Menemukan anomali, seperti data di region yang tidak terduga.
  • Mengidentifikasi peluang pengoptimalan, seperti menemukan file sementara atau duplikat.
  • Buat kueri untuk insight tertentu, seperti objek yang dibuat dalam 24 jam terakhir atau jumlah total file PDF.
  • Lihat perincian objek yang ingin Anda tindak lanjuti dengan mengekstrak daftar awalan dari sekumpulan objek berdasarkan hasil kueri.

Melakukan operasi batch menggunakan filter set data

Dengan mengintegrasikan set data Insight Penyimpanan dengan operasi batch penyimpanan, Anda dapat melakukan tindakan berskala besar pada objek yang diidentifikasi dalam set data Anda. Integrasi ini memungkinkan Anda memilih subset data tertentu di beberapa bucket di seluruh project dan menerapkan transformasi berdasarkan kolom dalam set data Anda. Pendekatan ini menghilangkan kebutuhan akan file manifes manual.

Pemilihan objek langsung

Gunakan flag filter Common Expression Language (CEL) (--bucket-filters dan --object-filters) langsung di Google Cloud CLI untuk memilih dan memproses objek dalam skala besar. Pemilihan langsung ini memungkinkan Anda mengevaluasi kolom set data dan menjalankan tindakan batch di seluruh project. Metode ini menghilangkan kebutuhan untuk membuat file CSV manifes secara manual. Anda tidak perlu mengkueri set data di BigQuery, mengekspor hasil penelusuran, dan mengupload manifes ke bucket. Cakupan seluruh project ini memungkinkan Anda menjalankan satu tugas batch di hingga 1.000 bucket.

Misalnya, Anda dapat menentukan kriteria filter langsung di Google Cloud CLI:

--object-filters="size >= 5000 && name.endsWith('.pdf')"

Untuk mengetahui informasi tentang kolom dan operator yang tersedia yang dapat Anda gunakan dalam filter ini, lihat referensi filter CEL.

Menganalisis pola aktivitas

Dengan menggunakan tampilan aktivitas bucket, tampilan aktivitas project, dan tampilan peristiwa objek, Anda dapat melakukan hal berikut:

  • Menganalisis pola operasional dan mengidentifikasi bucket yang tidak aktif.

  • Pantau operasi pada objek Anda untuk melihat perubahan aset penyimpanan Anda dari waktu ke waktu.

  • Memetakan project, bucket, dan awalan yang paling aktif.

Memahami aktivitas bucket regional

Tampilan aktivitas regional bucket menampilkan kolom seperti byte permintaan dan respons, yang menunjukkan region yang sering berinteraksi dengan bucket Anda. Analisis aktivitas bucket regional untuk menentukan apakah relokasi bucket diperlukan:

  • Lihat total egress dan ingress untuk bucket di suatu region guna mengidentifikasi bucket yang mungkin lebih cocok untuk kelas regional, bukan multi-region.

  • Menilai total traffic data di dalam dan di seluruh region.

Menilai status keamanan

Anda dapat menggunakan metadata bucket dan objek untuk mengidentifikasi objek yang terekspos secara publik, jenis enkripsi aktif, dan linimasa masa berlaku untuk retensi data. Bagian berikut menjelaskan cara set data Insight Penyimpanan membantu Anda menilai potensi kerentanan keamanan.

Mengidentifikasi objek yang dapat diakses secara publik

Anda dapat menggunakan set data Insight Penyimpanan untuk mengidentifikasi objek yang dapat diakses secara publik. Status akses publik objek membantu Anda mengatur data penyimpanan dan mengurangi risiko pemindahan data yang tidak sah dengan memungkinkan Anda mengidentifikasi objek yang terekspos ke internet publik.

Skema metadata objek menyediakan status akses publik, metrik komputasi yang membantu menyederhanakan analisis keamanan. Untuk menentukan status akses publik objek, set data Insight Penyimpanan memvalidasi semua konfigurasi berikut:

Untuk membantu Anda mengidentifikasi konfigurasi spesifik yang memberikan akses publik, set data Insight Penyimpanan menyertakan informasi saat objek dapat dibaca atau ditulis secara publik. Untuk objek yang dapat dibaca secara publik, informasi ini menunjukkan apakah izin berasal dari level objek, bucket, atau folder terkelola. Untuk objek yang dapat ditulis secara publik, fitur ini memberikan detail tentang apakah akses diberikan oleh ACL objek, ACL bucket, atau kebijakan IAM.

Anda dapat mengkueri status akses publik objek menggunakan BigQuery, lalu memantau objek tersebut menggunakan dasbor Looker untuk mencantumkan semua objek yang dapat dibaca atau ditulis secara publik. Untuk mengetahui informasi selengkapnya tentang kolom status akses publik, lihat securityInsights dalam skema metadata objek.

Mengaudit konfigurasi enkripsi

Anda dapat menggunakan tampilan metadata bucket dan objek untuk mengaudit konfigurasi enkripsi. Tampilan ini mencakup informasi enkripsi di tingkat bucket dan objek, dengan kolom seperti encryption dalam metadata bucket dan encryptionType dalam metadata objek. Anda dapat menggunakan informasi ini untuk melakukan hal berikut:

  • Pastikan bucket memiliki enkripsi default yang dikonfigurasi dengan memeriksa encryption.defaultEncryptionType dan encryption.defaultKmsKeyName.
  • Validasi kepatuhan terhadap kebijakan terkait Proses Penegakan Kebijakan enkripsi dengan memeriksa encryptionType untuk melihat apakah objek menggunakan kunci enkripsi yang dikelola Google, dikelola pelanggan, atau disediakan pelanggan.
  • Mengidentifikasi semua objek yang dienkripsi dengan kunci Cloud Key Management Service tertentu atau kunci enkripsi yang disediakan pelanggan.

Memantau kebijakan retensi data

Anda dapat menggunakan tampilan metadata bucket dan objek untuk memantau kebijakan retensi data. Tampilan ini mencakup kolom seperti retentionExpirationTime dalam metadata objek dan softDeletePolicy dalam metadata bucket. Anda dapat menggunakan kolom ini untuk melakukan hal berikut:

  • Lacak objek yang mendekati masa berlaku retensi.
  • Identifikasi bucket yang mengaktifkan penghapusan sementara dan pantau durasi retensinya.
  • Identifikasi objek dalam status dihapus sementara dengan memeriksa softDeleteTime.

Mempercepat pemecahan masalah

Tabel virtual object_events_view berisi informasi error yang dapat membantu pemecahan masalah. Anda dapat menggunakan tampilan ini untuk memeriksa operasi yang menyebabkan error, mengidentifikasi alasan error, serta mendeteksi project dan bucket dengan tingkat error yang tinggi. Misalnya, Anda dapat memecahkan masalah error 429 dengan mengidentifikasi bucket, project, dan penyebab utama yang terpengaruh, seperti kuota resource atau batas bandwidth.

Menganalisis data dan metadata objek menggunakan BigQuery

Anda dapat menganalisis data dalam set data Insight Penyimpanan menggunakan fungsi ObjectRef BigQuery. Misalnya, Anda dapat membuat kueri untuk membantu mendeteksi informasi sensitif dalam dokumen atau membuat deskripsi gambar.

Untuk menganalisis konten objek, gunakan kolom ref dari tabel metadata objek dengan fungsi ObjectRef. Untuk mengetahui detailnya, lihat Menganalisis data dan metadata objek menggunakan BigQuery.

Manfaat set data Insight Penyimpanan

Set data Insight Penyimpanan menyediakan metadata dan informasi aktivitas tentang aset penyimpanan Anda dalam format yang dapat dikueri di BigQuery. Berikut adalah manfaat menggunakan set data Insight Penyimpanan:

  • Analisis aset penyimpanan Anda dalam cakupan yang dapat disesuaikan untuk mendapatkan insight di seluruh organisasi, atau tentukan folder, project, atau bucket untuk dianalisis.

  • Dengan data yang tersedia di BigQuery, gunakan kueri SQL dan bahasa alami dengan Gemini untuk menganalisis data Anda. Untuk mengetahui detailnya, lihat Menganalisis data dengan bantuan Gemini.

  • Anda dapat memvisualisasikan data dengan menghubungkan ke dasbor Looker. Anda dapat menggunakan dasbor Storage Intelligence sebagai template yang memberikan contoh insight yang dapat Anda peroleh dari set data. Anda dapat menggunakan template untuk terhubung ke set data atau menambahkan diagram kustom. Untuk mengetahui informasi tentang cara menggunakan template, lihat Petunjuk koneksi dasbor Storage Intelligence.

Cara kerja set data Insight Penyimpanan

Untuk menggunakan set data Insight Penyimpanan, konfigurasikan set data dalam project terlebih dahulu. Tentukan organisasi, folder, atau project yang datanya ingin Anda lacak. Setelah pembuatan, berikan izin yang diperlukan kepada agen layanan untuk membuat set data. Selanjutnya, Anda dapat menautkan set data ke BigQuery untuk membuat kueri. Setelah dikonfigurasi, layanan ini akan otomatis mengumpulkan dan menyerap snapshot harian metadata objek, metadata bucket, operasi, dan error ke instance BigQuery milik Cloud Storage. Data dipertahankan sesuai dengan periode retensi data yang dikonfigurasi dan disimpan dengan cara yang dioptimalkan untuk meminimalkan biaya penyimpanan dan analisis.

Dalam konfigurasi set data, Anda menentukan data yang dikumpulkan, tempat penyimpanannya, dan cara pengelolaannya.

Tabel berikut menjelaskan properti utama yang harus Anda tentukan saat mengonfigurasi set data:

Properti Deskripsi Detail dan batas
Cakupan set data Menentukan resource (organisasi, project, atau folder) yang berisi bucket dan objek yang ingin Anda sertakan dalam set data. Anda dapat menentukan project atau folder satu per satu atau menggunakan file CSV. Setiap konfigurasi hanya mengizinkan satu cakupan set data. Anda dapat menentukan hingga 10,000 project atau folder.
Filter bucket Filter yang digunakan untuk menyertakan atau mengecualikan bucket tertentu dari set data.Anda dapat memfilter berdasarkan nama bucket menggunakan ekspresi reguler atau memfilter berdasarkan lokasi bucket.
Periode retensi data untuk set data Jumlah hari set data mencatat dan mempertahankan metadata dan data aktivitas, termasuk tanggal pembuatan set data. Untuk tabel data aktivitas, Anda dapat mengganti periode retensi data menggunakan properti Periode retensi untuk data aktivitas. Periode retensi ini adalah periode berkelanjutan dan dapat berlangsung hingga 90 hari. Set data diperbarui dengan metadata baru setiap 24 jam. Sistem akan otomatis menghapus data yang diambil di luar periode retensi. Misalnya, jika Anda membuat set data pada 1 Oktober 2023, dengan periode retensi yang ditetapkan ke 30 hari. Pada 30 Oktober, set data mencerminkan data 30 hari terakhir (1 Oktober hingga 30 Oktober). Pada 31 Oktober, set data mencerminkan data dari 2 Oktober hingga 31 Oktober. Anda dapat mengubah periode retensi kapan saja. Secara default, periode retensi berlaku untuk tabel metadata dan juga untuk tabel data aktivitas jika periode retensi untuk data aktivitas tidak ditentukan.
Periode retensi untuk data aktivitas Jumlah hari set data mencatat dan menyimpan data aktivitas. Jika ditentukan, nilai ini akan menggantikan Periode retensi data untuk set data. Periode retensi dapat mencapai 365 days. Periode retensi untuk data aktivitas berlaku untuk tabel data aktivitas.
Location Lokasi BigQuery yang digunakan untuk menyimpan set data tertaut dan data terkaitnya. Set data tertaut harus berada di lokasi yang didukung oleh BigQuery, seperti us-central1, meskipun bucket sumber dapat berada di lokasi Cloud Storage mana pun. Sebaiknya pilih lokasi tabel BigQuery jika Anda sudah memiliki tabel BigQuery.
Jenis agen layanan Menentukan cakupan agen layanan yang membaca dan menulis data untuk konfigurasi set data. Ini dapat berupa agen layanan cakupan konfigurasi atau agen layanan cakupan project Agen layanan cakupan project dapat mengakses dan menulis set data untuk semua konfigurasi set data dalam project. Misalnya, jika Anda memiliki beberapa konfigurasi set data dalam sebuah project, Anda hanya perlu memberikan izin yang diperlukan kepada agen layanan cakupan project satu kali. Hal ini memungkinkannya membaca dan menulis set data untuk semua konfigurasi set data dalam project. Saat konfigurasi set data dihapus, agen layanan cakupan project tidak akan dihapus.

Agen layanancakupan konfigurasi hanya dapat mengakses dan menulis set data yang dihasilkan oleh konfigurasi set data tertentu. Oleh karena itu, jika Anda memiliki beberapa konfigurasi set data, Anda harus memberikan izin yang diperlukan ke setiap agen layanan yang tercakup dalam konfigurasi. Saat konfigurasi set data dihapus, agen layanan cakupan konfigurasi akan dihapus.

Setelah menentukan properti konfigurasi dan memberikan izin yang diperlukan kepada agen layanan, tautkan set data ke BigQuery untuk membuat kueri.

Untuk mengetahui detail tentang properti yang Anda tetapkan saat membuat atau memperbarui konfigurasi set data, lihat resource DatasetConfigs dalam dokumentasi JSON API.

Setelah konfigurasi, layanan ini akan otomatis mengumpulkan dan menyerap data ke instance BigQuery milik Cloud Storage. Linimasa untuk pengisian data dalam set data adalah sebagai berikut:

  • Pemuatan set data awal dan data aktivitas untuk bucket atau objek yang baru ditambahkan mungkin memerlukan waktu 24 hingga 48 jam untuk muncul sebagai set data tertaut di BigQuery.

  • Data aktivitas biasanya disertakan dalam waktu empat jam setelah aktivitas (latensi terkadang bisa lebih tinggi).

  • Snapshot metadata (untuk project, bucket, dan objek) diperbarui setiap 24 jam.

Pertimbangan

Pertimbangkan hal berikut untuk konfigurasi set data:

  • Saat Anda mengganti nama folder di bucket dengan namespace hierarkis diaktifkan, nama objek di bucket tersebut akan diperbarui. Saat set data tertaut menyerap snapshot objek ini, snapshot tersebut dianggap sebagai entri baru.

  • Checksum CRC32C dan hash MD5 tidak tersedia di tabel object metadata untuk objek yang dienkripsi dengan kunci enkripsi yang dikelola pelanggan (CMEK).

  • Set data Insight Penyimpanan dapat menyerap metadata dari bucket sumber di lokasi Cloud Storage mana pun, termasuk lokasi yang tidak tercantum di sini. Namun, set data tertaut harus berada di salah satu lokasi BigQuery yang didukung berikut:

    • EU
    • US
    • asia-south1
    • asia-south2
    • asia-southeast1
    • europe-west1
    • us-central1
    • us-east1
    • us-east4

  • Batasan berikut berlaku saat menentukan status akses publik untuk objek menggunakan set data Insight Penyimpanan:

    • Status akses publik tidak tersedia untuk objek dalam folder terkelola.

    • Set data Insight Penyimpanan tidak mempertimbangkan konfigurasi Kontrol Layanan VPC atau pemfilteran IP bucket saat menentukan status akses publik suatu objek.

Langkah berikutnya