Mengonfigurasi bucket log

Anda dapat membuat, melihat, dan mengelola bucket Cloud Logging untuk menyimpan dan memusatkan data log menggunakan konsol Google Cloud , Google Cloud CLI, atau Logging API. Anda juga dapat mengonfigurasi periode retensi kustom untuk mengontrol biaya penyimpanan dan kepatuhan.

Untuk mengetahui informasi konseptual, lihat Menyimpan entri log.

Sebelum memulai

Konfigurasikan project, peran IAM, dan pilih antarmuka yang ingin Anda gunakan.

Mengonfigurasi project dan peran Anda

Untuk mulai menggunakan bucket, lakukan hal berikut:

Pilih antarmuka yang ingin Anda gunakan

Konsol Google Cloud

Saat menggunakan konsol Google Cloud untuk mengakses layanan dan API Google Cloud , Anda tidak perlu menyiapkan autentikasi.

gcloud

Instal Google Cloud CLI, lalu login ke gcloud CLI dengan identitas gabungan Anda. Setelah login, inisialisasi Google Cloud CLI dengan menjalankan perintah berikut: 

gcloud init

REST

Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, gunakan kredensial yang Anda berikan ke gcloud CLI.

    Instal Google Cloud CLI, lalu login ke gcloud CLI dengan identitas gabungan Anda.

Untuk mengetahui informasi selengkapnya, lihat Melakukan autentikasi untuk menggunakan REST dalam dokumentasi autentikasi Google Cloud .

Membuat bucket

Petunjuk ini mengasumsikan bahwa Anda menggunakan enkripsi yang dikelola Google. Jika Anda lebih memilih untuk menggunakan kunci enkripsi yang dikelola pelanggan (CMEK), lihat Mengonfigurasi CMEK untuk penyimpanan log.

Anda dapat membuat maksimum 100 bucket per projectGoogle Cloud . Anda tidak dapat membuat bucket log di folder atau organisasi.

Untuk membuat bucket log yang ditentukan pengguna untuk project Google Cloud Anda, lakukan hal berikut:

Konsol Google Cloud

Untuk membuat bucket log di project Google Cloud Anda, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Logs Storage:

    Buka Logs Storage

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Klik Create log bucket.

  3. Masukkan Name dan Description untuk bucket Anda.

  4. Untuk memilih region penyimpanan log Anda, klik menu Select log bucket region, lalu pilih region.

  5. Opsional: Untuk menetapkan periode retensi kustom untuk log di bucket, klik Berikutnya.

    Di kolom Retention period, masukkan jumlah hari, antara 1 hari dan , yang Anda inginkan agar Cloud Logging mempertahankan log Anda. Jika Anda tidak menyesuaikan periode retensi, defaultnya adalah 30 days.

    Anda juga dapat memperbarui periode retensi data untuk bucket log setelah membuatnya.

  6. Klik Create bucket.

    Mungkin perlu waktu beberapa saat untuk menyelesaikan langkah-langkah ini.

gcloud

Untuk membuat bucket log, jalankan perintah gcloud logging buckets create:

gcloud logging buckets create BUCKET_ID --location=LOCATION

Misalnya, jika Anda ingin membuat bucket dengan BUCKET_ID my-bucket di region global, perintah Anda akan terlihat seperti berikut:

gcloud logging buckets create my-bucket --location global --description "My first bucket"

REST

Untuk membuat bucket, gunakan metode projects.locations.buckets.create. Siapkan argumen untuk metode ini sebagai berikut:

  1. Tetapkan parameter parent sebagai resource tempat bucket akan dibuat: projects/PROJECT_ID/locations/LOCATION

    Variabel LOCATION mengacu pada region tempat Anda ingin menyimpan log.

    Misalnya, jika Anda ingin membuat bucket untuk project my-project di region global, parameter parent Anda akan terlihat seperti ini: projects/my-project/locations/global

  2. Tetapkan parameter bucketId; misalnya, my-bucket.

  3. Panggil metode sinkron projects.locations.buckets.create untuk membuat bucket.

Setelah membuat bucket, buat sink untuk merutekan entri log ke bucket Anda dan konfigurasikan tampilan log untuk mengontrol siapa yang dapat mengakses log di bucket Anda dan log mana yang dapat mereka lihat. Anda juga dapat memperbarui bucket untuk mengonfigurasi retensi kustom.

Mencantumkan dan melihat detail bucket log

Bagian ini menjelaskan cara mencantumkan dan melihat detail bucket log dalam project, folder, atau organisasi.

Membuat daftar bucket

Untuk mencantumkan bucket log yang terkait dengan project Google Cloud , dan untuk melihat detail seperti setelan retensi, lakukan hal berikut:

Konsol Google Cloud

Di konsol Google Cloud , buka halaman Logs Storage:

Buka Logs Storage

Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

Tabel bernama Log buckets mencantumkan bucket yang terkait dengan projectGoogle Cloud saat ini.

Tabel ini mencantumkan atribut berikut untuk setiap bucket log:

  • Name: Nama bucket log.
  • Description: Deskripsi bucket.
  • Periode retensi data: Jumlah hari data bucket akan disimpan oleh Cloud Logging.
  • Region: Lokasi geografis tempat data bucket disimpan.
  • Status: Apakah bucket dikunci atau tidak dikunci.

Jika bucket menunggu penghapusan oleh Cloud Logging, entri tabelnya akan dianotasi dengan simbol peringatan .

gcloud

Jalankan perintah gcloud logging buckets list:

gcloud logging buckets list

Anda akan melihat atribut berikut untuk bucket log:

  • LOCATION: Region tempat data bucket disimpan.
  • BUCKET_ID: Nama bucket log.
  • RETENTION_DAYS: Jumlah hari data bucket akan disimpan oleh Cloud Logging.
  • LIFECYCLE_STATE: Menunjukkan apakah bucket sedang menunggu penghapusan oleh Cloud Logging.
  • LOCKED: Apakah bucket terkunci atau tidak terkunci.
  • CREATE_TIME: Stempel waktu yang menunjukkan kapan bucket dibuat.
  • UPDATE_TIME: Stempel waktu yang menunjukkan kapan bucket terakhir diubah.

Anda juga dapat melihat atribut untuk satu bucket saja. Misalnya, untuk melihat detail bucket log _Default di region global, jalankan perintah gcloud logging buckets describe:

gcloud logging buckets describe _Default --location=global

REST

Untuk mencantumkan bucket log yang terkait dengan project Google Cloud , gunakan projects.locations.buckets.list di Logging API.

Melihat detail bucket

Detail bucket log mencakup nama, deskripsi, lokasi, dan periode retensi. Anda juga dapat melihat informasi tentang kapan bucket log dibuat dan kapan terakhir diperbarui.

Untuk melihat detail satu bucket log, lakukan hal berikut:

Konsol Google Cloud

Di konsol Google Cloud , buka halaman Logs Storage:

Buka Logs Storage

Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

Di bucket log, klik More, lalu pilih View bucket details.

Dialog ini mencantumkan atribut berikut untuk bucket log:

  • Name: Nama bucket log.
  • Description: Deskripsi bucket log.
  • Periode retensi data: Jumlah hari data bucket akan disimpan oleh Cloud Logging.
  • Region: Lokasi geografis tempat data bucket disimpan.

gcloud

Jalankan perintah gcloud logging buckets describe.

Misalnya, perintah berikut melaporkan detail bucket _Default:

gcloud logging buckets describe _Default --location=global

Anda akan melihat atribut berikut untuk bucket log:

  • createTime: Stempel waktu yang menunjukkan kapan bucket dibuat.
  • description: Deskripsi bucket log.
  • lifecycleState: Menunjukkan apakah bucket sedang menunggu penghapusan oleh Cloud Logging.
  • name: Nama bucket log.
  • retentionDays: Jumlah hari data bucket akan disimpan oleh Cloud Logging.
  • updateTime: Stempel waktu yang menunjukkan kapan bucket terakhir diubah.

REST

Untuk melihat detail satu bucket log, gunakan projects.locations.buckets.get di Logging API.

Mengelola bucket

Bagian ini menjelaskan cara mengelola bucket log menggunakan Google Cloud CLI atau konsol Google Cloud .

Mengupdate bucket

Untuk memperbarui properti bucket, seperti deskripsi atau periode retensi, lakukan hal berikut:

Konsol Google Cloud

Untuk memperbarui properti bucket, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Logs Storage:

    Buka Logs Storage

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Untuk bucket yang ingin Anda perbarui, klik More.

  3. Pilih Edit bucket.

  4. Edit bucket sesuai kebutuhan.

  5. Klik Update bucket.

gcloud

Untuk memperbarui properti bucket, jalankan perintah gcloud logging buckets update:

gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES

Contoh:

gcloud logging buckets update my-bucket --location=global --description "Updated description"

REST

Untuk memperbarui properti bucket, gunakan projects.locations.buckets.patch di Logging API.

Mengonfigurasi retensi kustom

Saat membuat bucket log, Anda dapat menyesuaikan periode penyimpanan log oleh Cloud Logging di bucket tersebut. Anda juga dapat mengonfigurasi periode retensi data untuk bucket log _Default saat bucket log tersebut berada dalam project.

Anda tidak dapat mengubah periode retensi data bucket log _Required. Anda juga tidak dapat memperpanjang periode retensi data bucket log yang ada di folder atau organisasi. Namun, Anda dapat membuat sink log untuk merutekan entri log level folder atau organisasi ke bucket log yang ada dalam project, lalu mengonfigurasi periode retensi data bucket log tersebut.

Jika periode retensi data sebuah bucket log dipersingkat, akan ada masa tenggang 7 hari untuk mengamankan log yang telah habis masa berlakunya agar tidak dihapus. Anda tidak dapat membuat kueri atau melihat log yang telah habis masa berlakunya. Namun, selama periode 7 hari ini, Anda dapat memulihkan akses penuh dengan memperpanjang periode retensi bucket. Log yang disimpan selama masa tenggang ini mengurangi biaya retensi Anda.

Penerapan retensi adalah proses yang memiliki konsistensi tertunda. Jika Anda menulis entri log ke bucket log saat entri log tersebut lebih lama dari periode retensi bucket, Anda mungkin dapat melihat entri log ini secara singkat. Misalnya, jika Anda mengirim entri log yang berusia 10 hari ke bucket log dengan periode retensi 7 hari, entri log tersebut akan disimpan dan pada akhirnya dihapus. Entri log ini tidak berkontribusi pada biaya retensi Anda. Indeks ini termasuk dalam biaya penyimpanan Anda. Untuk meminimalkan biaya penyimpanan, jangan menulis entri log yang lebih lama dari periode retensi bucket Anda.

Untuk memperbarui periode retensi data untuk bucket log kustom atau untuk bucket log _Default yang ada dalam project, lakukan hal berikut:

Konsol Google Cloud

Untuk memperbarui periode retensi bucket log, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Logs Storage:

    Buka Logs Storage

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Untuk bucket yang ingin Anda perbarui, klik More, lalu pilih Edit bucket.

  3. Di kolom Retention, masukkan jumlah hari, antara 1 hari dan, yang Anda inginkan agar Cloud Logging mempertahankan log Anda.

  4. Klik Update bucket. Periode retensi baru Anda akan muncul di daftar Bucket log.

gcloud

Untuk memperbarui periode retensi data untuk bucket log yang ditentukan pengguna atau untuk bucket log _Default yang ada dalam project, jalankan perintah gcloud logging buckets update, setelah menetapkan nilai untuk RETENTION_DAYS:

gcloud logging buckets update BUCKET_ID  --location=LOCATION --retention-days=RETENTION_DAYS

Misalnya, untuk mempertahankan log di bucket _Default di lokasi global selama setahun, perintah Anda akan terlihat seperti berikut:

gcloud logging buckets update _Default --location=global --retention-days=365

Jika Anda memperpanjang periode retensi bucket, aturan retensi akan berlaku untuk ke depannya dan tidak berlaku surut. Log tidak dapat dipulihkan setelah periode retensi yang berlaku berakhir.

Mengunci bucket

Saat mengunci bucket agar tidak diupdate, Anda juga mengunci kebijakan retensi bucket. Setelah kebijakan retensi dikunci, Anda tidak dapat menghapus bucket hingga setiap entri log dalam bucket memenuhi periode retensi bucket. Jika Anda ingin mencegah penghapusan project yang berisi bucket log terkunci secara tidak sengaja, tambahkan lien ke project tersebut. Untuk mempelajari lebih lanjut, lihat Melindungi project dengan lien.

Untuk mencegah siapa pun memperbarui atau menghapus bucket log, kunci bucket. Untuk mengunci bucket, lakukan hal berikut:

Konsol Google Cloud

Konsol Google Cloud tidak mendukung penguncian bucket log.

gcloud

Untuk mengunci bucket, jalankan perintah gcloud logging buckets update dengan flag --locked:

gcloud logging buckets update BUCKET_ID --location=LOCATION --locked

Contoh:

gcloud logging buckets update my-bucket --location=global --locked

REST

Untuk mengunci atribut bucket, gunakan projects.locations.buckets.patch di Logging API. Tetapkan parameter locked ke true.

Menghapus bucket

Anda dapat menghapus bucket log yang memenuhi salah satu kondisi berikut:

  • Bucket log tidak terkunci.
  • Bucket log dikunci dan semua entri log di bucket log telah memenuhi periode retensi bucket.

Anda tidak dapat menghapus bucket log dalam salah satu situasi berikut:

  • Bucket log dikunci dari update dan menyimpan entri log yang belum memenuhi periode retensi bucket.

Setelah Anda mengeluarkan perintah penghapusan, bucket log akan beralih ke status DELETE_REQUESTED, dan tetap dalam status tersebut selama 7 hari. Selama jangka waktu ini, Logging akan terus merutekan log ke bucket log. Anda dapat berhenti merutekan log ke bucket log dengan menghapus atau mengubah sink log yang merutekan entri log ke bucket.

Anda tidak dapat membuat bucket log baru yang menggunakan nama yang sama dengan bucket log yang berada dalam status DELETE_REQUESTED.

Untuk menghapus bucket log, lakukan langkah-langkah berikut:

Konsol Google Cloud

Untuk menghapus bucket log, lakukan langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Logs Storage:

    Buka Logs Storage

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Temukan bucket yang ingin Anda hapus, lalu klik More.

    1. Pilih Delete bucket.

    2. Di panel konfirmasi, klik Hapus.

    3. Di halaman Logs Storage, bucket Anda memiliki indikator bahwa bucket tersebut menunggu penghapusan. Bucket, termasuk semua log di dalamnya, akan dihapus setelah 7 hari.

    gcloud

    Untuk menghapus bucket log, jalankan perintah gcloud logging buckets delete:

    gcloud logging buckets delete BUCKET_ID --location=LOCATION

    REST

    Untuk menghapus bucket, gunakan projects.locations.buckets.delete di Logging API.

    Memulihkan bucket yang dihapus

    Anda dapat memulihkan, atau membatalkan penghapusan, bucket log yang berada dalam status menunggu penghapusan. Untuk memulihkan bucket log, lakukan hal berikut:

    Konsol Google Cloud

    Untuk memulihkan bucket log yang menunggu penghapusan, lakukan hal berikut:

    1. Di konsol Google Cloud , buka halaman Logs Storage:

      Buka Logs Storage

      Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

    2. Untuk bucket yang ingin Anda pulihkan, klik More, lalu pilih Restore deleted bucket.

    3. Di panel konfirmasi, klik Pulihkan.

    4. Di halaman Logs Storage, indikator penghapusan yang tertunda akan dihapus dari bucket log Anda.

    gcloud

    Untuk memulihkan bucket log yang menunggu penghapusan, jalankan perintah gcloud logging buckets undelete:

    gcloud logging buckets undelete BUCKET_ID --location=LOCATION

    REST

    Untuk memulihkan bucket yang menunggu penghapusan, gunakan projects.locations.buckets.undelete di Logging API.

    Membaca dan menulis entri log

    Anda tidak menulis log langsung ke bucket log. Sebagai gantinya, Anda menulis log ke resourceGoogle Cloud : project, folder, atau organisasi Google Cloud . Sink di resource induk kemudian merutekan log ke tujuan, termasuk bucket log. Sink merutekan log ke tujuan bucket log jika log cocok dengan filter sink dan sink memiliki izin untuk merutekan log ke bucket log. Untuk mengetahui informasi selengkapnya, lihat Entri log rute.

    Setiap bucket log memiliki serangkaian tampilan log. Untuk membaca log dari bucket log, Anda memerlukan akses ke tampilan log di bucket log. Tampilan log memungkinkan Anda memberi pengguna akses hanya ke sebagian log yang disimpan di bucket log. Untuk mempelajari lebih lanjut tampilan log, lihat Menyimpan entri log dan Mengonfigurasi tampilan log di bucket log.

    Untuk membaca log dari bucket log, lakukan hal berikut:

    Konsol Google Cloud

    1. Di konsol Google Cloud , buka halaman Logs Explorer:

      Buka Logs Explorer

      Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

    2. Untuk menyesuaikan log yang ditampilkan di Logs Explorer, klik Refine scope, lalu pilih salah satu opsi. Misalnya, Anda dapat melihat log yang disimpan dalam project atau berdasarkan tampilan log.

    3. Klik Terapkan. Panel Query results akan dimuat ulang dengan log yang cocok dengan opsi yang Anda pilih.

    Untuk mengetahui informasi selengkapnya, lihat Ringkasan Logs Explorer: Mempersempit cakupan.

    gcloud

    Untuk membaca log dari bucket log, gunakan perintah gcloud logging read dan tambahkan LOG_FILTER untuk memilih data:

    gcloud logging read LOG_FILTER --bucket=BUCKET_ID --location=LOCATION --view=LOG_VIEW_ID

    REST

    Untuk membaca log dari bucket log, gunakan metode entries.list. Tetapkan resourceNames untuk menentukan bucket dan tampilan log yang sesuai, dan tetapkan filter untuk memilih data.

    Untuk mengetahui informasi mendetail tentang sintaksis pemfilteran, lihat Bahasa kueri logging.

    Memecahkan masalah umum

    Jika Anda mengalami masalah saat menggunakan bucket log, lihat langkah-langkah pemecahan masalah dan jawaban atas pertanyaan umum berikut.

    Mengapa saya tidak dapat menghapus bucket ini?

    Jika Anda mencoba menghapus bucket, lakukan hal berikut:

    • Pastikan Anda memiliki izin yang benar untuk menghapus bucket. Untuk mengetahui daftar izin yang Anda perlukan, lihat Kontrol akses dengan IAM.

    • Tentukan apakah bucket dikunci dengan mencantumkan atribut bucket. Jika bucket dikunci, periksa periode retensi bucket. Anda tidak dapat menghapus bucket yang terkunci hingga semua log dalam bucket telah memenuhi periode retensi data bucket.

    Akun layanan mana yang merutekan log ke bucket saya?

    Untuk menentukan apakah ada akun layanan yang memiliki izin IAM untuk merutekan log ke bucket Anda, lakukan hal berikut:

    1. Di konsol Google Cloud , buka halaman IAM:

      Buka IAM

      Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah IAM & Admin.

    2. Dari tab Permissions, lihat berdasarkan Roles. Anda akan melihat tabel yang berisi semua peran dan akun utama IAM yang terkait dengan projectGoogle Cloud Anda.

    3. Di kotak teks Filter tabel, masukkan Logs Bucket Writer.

      Anda akan melihat akun utama dengan peran Logs Bucket Writer. Jika akun utama adalah akun layanan, ID-nya akan berisi string .

    4. Opsional: Jika Anda ingin menghapus akun layanan agar tidak dapat merutekan log ke project Google Cloud Anda, pilih kotak centang untuk akun layanan, lalu klik Hapus.

    Mengapa saya melihat log untuk project Google Cloud meskipun saya mengecualikannya dari sink _Default?

    Anda mungkin melihat log di bucket log dalam project Google Cloud terpusat, yang menggabungkan log dari seluruh organisasi Anda.

    Jika Anda menggunakan Logs Explorer untuk mengakses log ini dan melihat log yang Anda kecualikan dari sink _Default, tampilan Anda mungkin ditetapkan ke level projectGoogle Cloud .

    Untuk memperbaiki masalah ini, pilih Log view di menu Refine scope, lalu pilih tampilan log yang terkait dengan bucket _Default di projectGoogle Cloud Anda. Anda tidak akan melihat log yang dikecualikan lagi.

    Langkah berikutnya

    Untuk mengetahui informasi tentang metode API bucket log, lihat dokumentasi referensi LogBucket.

    Jika Anda mengelola organisasi atau folder, Anda dapat menentukan lokasi bucket log _Default dan _Required resource turunan. Anda juga dapat mengonfigurasi apakah bucket log menggunakan CMEK dan perilaku sink log _Default. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi setelan default untuk organisasi dan folder.

    Untuk mengetahui informasi tentang cara menangani kasus penggunaan umum dengan bucket log, lihat topik berikut: