Halaman ini menjelaskan dan menerangkan cara kerja penyimpanan bertingkat di Spanner. Fitur ini didukung di database dialek GoogleSQL dan dialek PostgreSQL.
Penyimpanan bertingkat Spanner adalah fitur penyimpanan yang terkelola sepenuhnya yang memungkinkan Anda memilih apakah akan menyimpan data di solid-state drive (SSD) atau hard disk drive (HDD). Secara default, saat Anda tidak menggunakan penyimpanan bertingkat, data Anda disimpan di penyimpanan SSD. Bergantung pada seberapa sering Anda menggunakan atau mengakses data, Anda dapat mempertimbangkan untuk menggunakan penyimpanan bertingkat dan menyimpan data di penyimpanan SSD dan HDD.
- Penyimpanan SSD adalah pilihan yang paling berperforma tinggi (kueri per detik lebih tinggi) dan hemat biaya untuk sebagian besar kasus penggunaan. Anda harus menggunakannya untuk menyimpan data aktif dengan throughput tulis dan baca yang tinggi serta data yang memerlukan akses data berlatensi rendah.
- Penyimpanan HDD terkadang sesuai untuk set data besar yang tidak sensitif terhadap latensi, jarang diakses, atau jika biaya penyimpanan merupakan pertimbangan penting.
Dengan menggunakan penyimpanan bertingkat, Anda dapat memanfaatkan penyimpanan SSD, yang mendukung performa tinggi data aktif, dan penyimpanan HDD, yang mendukung akses data yang jarang dengan biaya lebih rendah.
Pilih antara penyimpanan SSD dan HDD
Tabel berikut mencantumkan perbedaan dan persamaan antara penyimpanan SSD dan HDD. Angka throughput dalam tabel adalah per node dan diskalakan secara linear dengan jumlah node dalam instance Spanner Anda. Jika ragu, sebaiknya pilih penyimpanan SSD.
| Penyimpanan SSD | Penyimpanan HDD | |
|---|---|---|
| Kasus penggunaan target | Data yang memerlukan throughput tulis dan baca yang tinggi, serta akses data latensi rendah | Set data besar yang tidak sensitif terhadap latensi atau jarang diakses |
| Throughput yang diharapkan per node Konfigurasi regional |
Hingga 22.500 QPS baca Hingga 3.500 QPS tulis |
Hingga 1.500 QPS baca Hingga 3.500 QPS tulis |
| Throughput yang diharapkan per node Konfigurasi dual-region dan multi-region |
Hingga 15.000 QPS baca per region Hingga 2.700 QPS tulis |
Hingga 1.000 QPS baca per region Hingga 2.700 QPS tulis |
| Operasi yang didukung | Membaca, menulis, memperbarui, dan menghapus | Membaca, menulis, memperbarui, dan menghapus |
Gunakan penulisan yang dioptimalkan throughput untuk meningkatkan throughput tulis melebihi angka dalam tabel. Untuk mengetahui informasi selengkapnya, lihat Ringkasan performa.
Manfaat
Penyimpanan bertingkat menawarkan manfaat berikut dengan memungkinkan Anda menggunakan penyimpanan SSD dan HDD:
- Pengurangan total biaya kepemilikan yang signifikan: Penyimpanan HDD memberikan opsi biaya yang lebih rendah untuk set data besar yang tidak sensitif terhadap latensi atau jarang diakses.
- Kemudahan pengelolaan: Menyediakan layanan pembuatan tingkat yang terkelola sepenuhnya tanpa kompleksitas pipeline tambahan dan logika terpisah.
- Pengalaman terpadu dan konsisten: Memberikan akses data terpadu dan satu set metrik di seluruh data aktif dan data pasif (yang dapat diubah)
- Performa yang ditingkatkan: Meningkatkan performa kueri dengan mengatur data Anda dalam grup lokalitas yang berbeda, yang memberikan lokalitas dan isolasi data di seluruh kolom. Data dalam grup lokalitas yang sama disimpan secara fisik berdekatan.
Cara kerja penyimpanan bertingkat
Secara default, saat Anda membuat instance baru, data hanya disimpan di penyimpanan SSD. Demikian pula, data dalam instance yang ada juga hanya disimpan di penyimpanan SSD.
Jika Anda memilih untuk menggunakan penyimpanan bertingkat guna menyimpan beberapa data di penyimpanan HDD, Anda harus membuat grup lokalitas, yang digunakan untuk menentukan kebijakan penyimpanan bertingkat untuk data dalam skema Anda. Saat
membuat grup lokalitas, Anda dapat menentukan jenis penyimpanan, baik ssd maupun
hdd. Secara opsional, Anda juga dapat menentukan jumlah waktu penyimpanan data di penyimpanan SSD sebelum dipindahkan ke penyimpanan HDD. Waktu ini relatif terhadap stempel waktu commit data. Setelah waktu yang ditentukan berlalu, Spanner
memigrasikan data ke penyimpanan HDD selama siklus pemadatan normal, yang
biasanya terjadi selama tujuh hari dari waktu yang ditentukan. Untuk
memigrasikan data antara SSD dan HDD lebih cepat daripada siklus pemadatan normal, Anda
dapat memicu pemadatan utama secara manual.
Hal ini dikenal sebagai kebijakan penyimpanan bertingkat berbasis usia. Saat menggunakan kebijakan penyimpanan bertingkat berbasis usia, jumlah waktu minimum data harus disimpan di SSD sebelum dipindahkan ke penyimpanan HDD adalah satu jam.
Setelah grup lokalitas ditentukan, saat membuat tabel, Anda dapat menetapkan kebijakan penyimpanan bertingkat di tingkat database, tabel, kolom, atau indeks sekunder. Kebijakan penyimpanan bertingkat menentukan cara dan tempat data disimpan. Untuk mengetahui petunjuknya, lihat Membuat dan mengelola grup lokalitas.
Detail perilaku kunci
Perilaku berikut berlaku saat menggunakan penyimpanan bertingkat:
- Tingkat penyimpanan diterapkan di level sel: Kebijakan penyimpanan bertingkat berbasis usia berlaku untuk setiap sel dalam baris, berdasarkan stempel waktu commit sel. Data dipindahkan ke penyimpanan HDD jika stempel waktu commit-nya lebih lama dari durasi yang ditentukan. Oleh karena itu, satu baris dapat memiliki beberapa data di SSD dan beberapa di HDD, bergantung pada kapan setiap sel terakhir diperbarui.
- Tabel yang disisipkan bersifat independen: Setelan grup lokalitas dan kebijakan penyimpanan bertingkat tidak diwarisi oleh tabel turunan yang disisipkan. Anda harus menerapkan setelan ini ke setiap tabel satu per satu.
- Operasi baca tidak memengaruhi penuaan data: Membaca data dari tabel tidak akan mereset usianya atau mencegahnya dipindahkan ke HDD. Hanya operasi tulis yang memperbarui data yang akan mereset stempel waktu commit-nya dan menyimpannya di penyimpanan SSD.
- Memindahkan data dari HDD kembali ke SSD: Saat Anda memperbarui data yang disimpan di HDD, Spanner akan menulis versi baru data tersebut langsung ke penyimpanan SSD. Versi data sebelumnya di HDD ditandai sebagai usang dan akan dibersihkan nanti oleh proses pemadatan latar belakang. Anda dapat memicu pemadatan utama secara manual untuk membersihkannya lebih cepat. Hal ini memastikan bahwa update pada data cold segera mendapatkan manfaat dari performa SSD untuk pembacaan berikutnya dari data baru.
Pencadangan dan pemulihan
Anda dapat mencadangkan dan memulihkan data menggunakan cadangan Spanner.
Cadangan berisi semua informasi skema penyimpanan, termasuk
INFORMATION_SCHEMA.LOCALITY_GROUP_OPTIONS, yang
menentukan jenis penyimpanan setiap grup lokalitas. Untuk memulihkan cadangan yang berisi grup lokalitas ke instance baru, instance tujuan harus berada dalam edisi Spanner Enterprise atau edisi Spanner Enterprise Plus.
Data Boost
Anda dapat menggunakan Spanner Data Boost untuk mengakses data di penyimpanan SSD atau HDD. Membuat kueri data di penyimpanan HDD menggunakan kapasitas pemuatan disk HDD terpisah dari instance Anda, mirip dengan cara penggunaan komputasi terpisah.
Indeks penelusuran
Penelusuran teks lengkap dan indeks vektor mewarisi grup lokalitas yang ditetapkan pada objek database.
Kemampuan observasi
Fitur kemampuan observasi berikut tersedia untuk penyimpanan bertingkat.
Metrik Cloud Monitoring
Spanner menyediakan metrik berikut untuk membantu Anda memantau penggunaan penyimpanan bertingkat dan data menggunakan Cloud Monitoring:
spanner.googleapis.com/instance/storage/used_bytes(Total storage): Menampilkan total byte data yang disimpan di penyimpanan SSD dan HDD.spanner.googleapis.com/instance/storage/combined/limit_bytes: Menampilkan batas penyimpanan SSD dan HDD gabungan.spanner.googleapis.com/instance/storage/combined/limit_bytes_per_processing_unit: Menampilkan batas penyimpanan SSD dan HDD gabungan untuk setiap unit pemrosesan.spanner.googleapis.com/instance/storage/combined/utilization: Menunjukkan gabungan pemakaian penyimpanan SSD dan HDD, dibandingkan dengan batas penyimpanan gabungan.spanner.googleapis.com/instance/disk_load: Menampilkan penggunaan HDD dalam persentase. Jika instance Anda mencapai beban disk HDD 100%, Anda akan mengalami peningkatan latensi yang signifikan.
Jika Anda memiliki kueri yang memfilter metrik yang ada berdasarkan storage_class:ssd, Anda harus menghapus filter tersebut untuk melihat penggunaan HDD.
Untuk mempelajari lebih lanjut cara memantau resource Spanner, lihat Memantau instance dengan insight sistem dan Memantau instance dengan Cloud Monitoring.
Skema informasi
INFORMATION_SCHEMA.LOCALITY_GROUP_OPTIONS berisi daftar grup lokalitas
dan opsi di database Spanner Anda. Tabel ini mencakup informasi
untuk grup lokalitas default. Kolom IS_INHERITED menunjukkan apakah jenis penyimpanan grup lokalitas ditetapkan secara eksplisit atau diwariskan. Untuk mengetahui informasi
selengkapnya, lihat locality_group_options untuk
database dialek GoogleSQL dan
locality_group_options untuk
database dialek PostgreSQL.
Untuk melihat grup lokalitas yang menyimpan setiap tabel, indeks, dan kolom, buat kueri tabel TABLE_OPTIONS, INDEX_OPTIONS, dan COLUMN_OPTIONS. Tabel dan indeks yang tidak memiliki baris locality_group di TABLE_OPTIONS atau INDEX_OPTIONS menggunakan grup lokalitas default. Di COLUMN_OPTIONS, kolom IS_INHERITED menunjukkan apakah grup lokalitas ditetapkan secara eksplisit pada kolom atau diwarisi dari tabel. Untuk informasi selengkapnya, lihat referensi
berikut:
- Database dialek GoogleSQL:
TABLE_OPTIONS,INDEX_OPTIONS, danCOLUMN_OPTIONS. - Database dialek PostgreSQL:
table_options,index_options, dancolumn_options.
Tabel statistik bawaan
Tabel statistik bawaan berikut tersedia untuk database yang menggunakan penyimpanan bertingkat:
SPANNER_SYS.TABLE_SIZES_STATS_1HOUR: Menampilkan penggunaan penyimpanan HDD dan SSD untuk setiap tabel di database Anda.SPANNER_SYS.TABLE_SIZES_STATS_PER_LOCALITY_GROUP_1HOUR: Menampilkan penggunaan penyimpanan HDD dan SSD untuk setiap grup lokalitas di database Anda.
Untuk mengetahui informasi selengkapnya, lihat Statistik ukuran tabel.
Tabel statistik kueri dan statistik baca memiliki kolom berikut yang terkait dengan penyimpanan bertingkat:
AVG_DISK_IO_COST: Biaya rata-rata kueri ini dalam hal beban disk HDD Spanner. Gunakan nilai ini untuk membuat perbandingan biaya I/O HDD relatif antara pembacaan yang Anda jalankan di database. Nilai yang lebih tinggi menunjukkan bahwa Anda menggunakan lebih banyak beban disk HDD dan kueri Anda mungkin lebih lambat daripada jika dijalankan di SSD. Selain itu, jika beban disk HDD Anda mencapai kapasitas, performa kueri Anda mungkin akan lebih terpengaruh.
Untuk mengetahui informasi selengkapnya, lihat Statistik kueri dan Statistik pembacaan.
Harga
Tidak ada biaya tambahan untuk menggunakan penyimpanan bertingkat. Anda akan dikenai biaya harga Spanner standar untuk jumlah kapasitas komputasi yang digunakan instance dan jumlah penyimpanan yang digunakan database. Data yang disimpan di SSD dan HDD ditagih sesuai tarif penyimpanan masing-masing. Anda tidak akan dikenai biaya untuk memindahkan data antara penyimpanan SSD dan HDD. Membuat kueri data di HDD menggunakan kapasitas pemuatan disk HDD instance, yang merupakan bagian dari harga kapasitas komputasi Anda. Untuk mengetahui informasi selengkapnya, lihat Harga Spanner.
Langkah berikutnya
- Pelajari grup lokalitas lebih lanjut.
- Pelajari cara membuat dan mengelola grup lokalitas.
- Pelajari lebih lanjut cara mengoptimalkan kueri dengan pushdown predikat stempel waktu.