Nesta página, descrevemos e explicamos como o armazenamento em níveis funciona no Spanner. Esse recurso é compatível com bancos de dados de dialeto GoogleSQL e PostgreSQL.
O armazenamento em níveis do Spanner é um recurso totalmente gerenciado que permite escolher se os dados serão armazenados em unidades de estado sólido (SSD) ou de disco rígido (HDD). Por padrão, quando você não usa o armazenamento em níveis, seus dados são armazenados em SSD. Dependendo da frequência com que você usa ou acessa os dados, é possível usar o armazenamento em camadas e armazenar dados em SSD e HDD.
- O armazenamento SSD é a opção mais eficiente (mais consultas por segundo) e econômica para a maioria dos casos de uso. Use-o para armazenar dados ativos com alta capacidade de gravação e leitura e dados que exigem acesso de baixa latência.
- O armazenamento em HDD às vezes é apropriado para grandes conjuntos de dados que não são sensíveis à latência, são acessados com pouca frequência ou se o custo do armazenamento é uma consideração importante.
Com o armazenamento em níveis, é possível aproveitar o armazenamento em SSD, que oferece alta performance para dados ativos, e o armazenamento em HDD, que oferece acesso menos frequente a dados por um custo menor.
Escolher entre armazenamento SSD e HDD
A tabela a seguir lista as diferenças e semelhanças entre o armazenamento em SSD e HDD. Os números de capacidade de processamento na tabela são por nó e escalonam linearmente com o número de nós na instância do Spanner. Na dúvida, recomendamos que você escolha o armazenamento SSD.
| Armazenamento SSD | Armazenamento HDD | |
|---|---|---|
| Principais casos de uso | Dados que exigem alta capacidade de processamento de gravação e leitura e acesso a dados de baixa latência | Conjuntos de dados grandes que não são sensíveis à latência ou são acessados com pouca frequência |
| Capacidade esperada por nó Configurações regionais |
Até 22.500 QPS de leitura Até 3.500 QPS de gravação |
Até 1.500 QPS de leitura Até 3.500 QPS de gravação |
| Capacidade esperada por nó Configurações birregionais e multirregionais |
Até 15.000 QPS de leitura por região Até 2.700 QPS de gravação |
Até 1.000 QPS de leitura por região Até 2.700 QPS de gravação |
| Operações compatíveis | Ler, gravar, atualizar e excluir | Ler, gravar, atualizar e excluir |
Use gravações otimizadas para capacidade de processamento para aumentar a capacidade de processamento de gravação além dos números na tabela. Para mais informações, consulte Visão geral do desempenho.
Vantagens
O armazenamento em níveis oferece os seguintes benefícios ao permitir o uso de armazenamento em SSD e HDD:
- Redução significativa do custo total de propriedade: o armazenamento em HDD oferece uma opção de menor custo para grandes conjuntos de dados que não são sensíveis à latência ou são acessados com pouca frequência.
- Facilidade de gerenciamento: oferece um serviço de níveis totalmente gerenciado sem a complexidade de pipelines adicionais e lógica de divisão.
- Experiência unificada e consistente: oferece acesso unificado aos dados e um único conjunto de métricas para dados quentes e frios (mutáveis)
- Melhor desempenho: melhora o desempenho da consulta organizando os dados em diferentes grupos de localidade, o que fornece localidade de dados e isolamento entre colunas. Os dados no mesmo grupo de localidade são armazenados fisicamente próximos uns dos outros.
Como funciona o armazenamento em níveis
Por padrão, quando você cria uma nova instância, os dados são armazenados apenas no armazenamento SSD. Da mesma forma, os dados em instâncias atuais também são armazenados apenas em SSD.
Se você optar por usar o armazenamento em níveis para armazenar alguns dados em HDD, será necessário
criar um grupo de localidade,
que é usado para definir a política de armazenamento em níveis para os dados no seu esquema. Ao
criar um grupo de localidade, é possível definir o tipo de armazenamento, ssd ou
hdd. Também é possível definir o tempo que os dados ficam armazenados no SSD antes de serem movidos para o HDD. Esse tempo é relativo ao carimbo de data/hora de confirmação dos dados. Depois que o tempo especificado passa, o Spanner
migra os dados para o armazenamento em HDD durante o ciclo de compactação normal, que
geralmente ocorre ao longo de sete dias a partir do tempo especificado. Para
migrar dados entre SSD e HDD mais rapidamente do que o ciclo de compactação normal,
acionar manualmente uma compactação principal.
Isso é conhecido como uma política de armazenamento em níveis com base na idade. Ao usar uma política de armazenamento em níveis baseada em idade, o tempo mínimo que os dados precisam ser armazenados no SSD antes de serem movidos para o armazenamento em HDD é de uma hora.
Com os grupos de localidade definidos, ao criar as tabelas, é possível definir a política de armazenamento em níveis no banco de dados, na tabela, na coluna ou no índice secundário. A política de armazenamento em níveis determina como e onde os dados são armazenados. Para instruções, consulte Criar e gerenciar grupos de localidade.
Detalhes do comportamento da chave
Os seguintes comportamentos se aplicam ao usar o armazenamento em níveis:
- Os níveis de armazenamento são aplicados no nível da célula: as políticas de armazenamento em níveis com base na idade se aplicam a células individuais em uma linha, com base no carimbo de data/hora de confirmação da célula. Os dados serão movidos para o armazenamento em HDD se o carimbo de data/hora de confirmação for mais antigo que a duração especificada. Portanto, uma única linha pode ter alguns dados em SSD e outros em HDD, dependendo de quando cada célula foi atualizada pela última vez.
- As tabelas intercaladas são independentes: as configurações do grupo de localidade e as políticas de armazenamento em níveis não são herdadas pelas tabelas filhas intercaladas. É necessário aplicar essas configurações a cada tabela individualmente.
- As operações de leitura não afetam o envelhecimento dos dados: ler dados de uma tabela não redefine a idade deles nem impede que sejam movidos para o HDD. Somente uma operação de gravação que atualiza os dados redefine o carimbo de data/hora de confirmação e os mantém no armazenamento SSD.
- Mover dados do HDD de volta para o SSD: quando você atualiza dados armazenados no HDD, o Spanner grava a nova versão dos dados diretamente no armazenamento SSD. A versão anterior dos dados no HDD é marcada como obsoleta e é limpa posteriormente por um processo de compactação em segundo plano. É possível acionar manualmente uma compactação principal para limpá-la mais rapidamente. Isso garante que as atualizações de dados frios se beneficiem imediatamente do desempenho do SSD para leituras subsequentes dos novos dados.
Backup e restauração
É possível fazer backup e restaurar seus dados usando os backups do Spanner.
O backup contém todas as informações do esquema de armazenamento, incluindo
INFORMATION_SCHEMA.LOCALITY_GROUP_OPTIONS, que
especifica o tipo de armazenamento de cada grupo de localidade. Para restaurar um backup que
contém grupos de localidade em uma nova instância, a instância de destino precisa estar na
edição Spanner Enterprise ou Spanner Enterprise Plus.
Data Boost
É possível usar o Data Boost do Spanner para acessar dados no armazenamento SSD ou HDD. A consulta de dados no armazenamento em HDD usa uma capacidade de carga de disco HDD separada da sua instância, de forma semelhante ao uso de computação separada.
Índices de pesquisa
A pesquisa de texto completo e os índices vetoriais herdam o grupo de localidade definido no objeto de banco de dados.
Observabilidade
Os seguintes recursos de observabilidade estão disponíveis para o armazenamento em níveis.
Métricas do Cloud Monitoring
O Spanner fornece as seguintes métricas para ajudar você a monitorar o uso do armazenamento em níveis e os dados usando o Cloud Monitoring:
spanner.googleapis.com/instance/storage/used_bytes(armazenamento total): mostra o total de bytes de dados armazenados em SSD e HDD.spanner.googleapis.com/instance/storage/combined/limit_bytes: mostra o limite de armazenamento combinado de SSD e HDD.spanner.googleapis.com/instance/storage/combined/limit_bytes_per_processing_unit: mostra o limite combinado de armazenamento em SSD e HDD para cada unidade de processamento.spanner.googleapis.com/instance/storage/combined/utilization: mostra o uso combinado de armazenamento SSD e HDD, em comparação com o limite de armazenamento combinado.spanner.googleapis.com/instance/disk_load: mostra o uso do HDD em porcentagem. Se a instância atingir 100% de carga de disco HDD, você terá um aumento significativo na latência.
Se você tiver consultas que filtram as métricas atuais por
storage_class:ssd, remova o filtro para ver o uso do HDD.
Para saber mais sobre como monitorar seus recursos do Spanner, consulte Monitorar instâncias com insights do sistema e Monitorar instâncias com o Cloud Monitoring.
Esquema de informações
INFORMATION_SCHEMA.LOCALITY_GROUP_OPTIONS contém a lista de grupos de localidade
e opções no banco de dados do Spanner. Ele inclui informações
para o grupo de localidades default. A coluna IS_INHERITED indica se o tipo de armazenamento de um grupo de localidade é definido explicitamente ou herdado. Para mais
informações, consulte locality_group_options para
bancos de dados de dialeto do GoogleSQL e
locality_group_options para
bancos de dados de dialeto do PostgreSQL.
Para ver qual grupo de localidade armazena cada tabela, índice e coluna, consulte as tabelas TABLE_OPTIONS, INDEX_OPTIONS e COLUMN_OPTIONS. As tabelas e
os índices que não têm uma linha locality_group em TABLE_OPTIONS ou
INDEX_OPTIONS usam o grupo de localidade default. Em COLUMN_OPTIONS, a coluna IS_INHERITED indica se o grupo de localidade está definido explicitamente na coluna ou se foi herdado da tabela. Saiba mais nos seguintes tópicos:
- Bancos de dados de dialeto do GoogleSQL:
TABLE_OPTIONS,INDEX_OPTIONSeCOLUMN_OPTIONS. - Bancos de dados do dialeto PostgreSQL:
table_options,index_optionsecolumn_options.
Tabelas de estatísticas integradas
As seguintes tabelas de estatísticas integradas estão disponíveis para bancos de dados que usam armazenamento em níveis:
SPANNER_SYS.TABLE_SIZES_STATS_1HOUR: mostra o uso do armazenamento em HDD e SSD para cada tabela no banco de dados.SPANNER_SYS.TABLE_SIZES_STATS_PER_LOCALITY_GROUP_1HOUR: mostra o uso do armazenamento em HDD e SSD para cada grupo de localidade no banco de dados.
Para mais informações, consulte Estatísticas de tamanhos de tabelas.
As tabelas de estatísticas de consulta e de leitura têm a seguinte coluna relacionada ao armazenamento em níveis:
AVG_DISK_IO_COST: o custo médio dessa consulta em termos de carga de disco HDD do Spanner. Use esse valor para fazer comparações relativas de custo de E/S de HDD entre as leituras que você executa no banco de dados. Um valor mais alto indica que você está usando mais carga de disco HDD e que sua consulta pode ser mais lenta do que se estivesse sendo executada em SSD. Além disso, se a carga do disco HDD estiver no limite, o desempenho das consultas poderá ser ainda mais afetado.
Para mais informações, consulte Estatísticas de consulta e Estatísticas de leitura.
Preços
Não há cobrança adicional pelo uso do armazenamento em níveis. Você vai receber a cobrança do preço padrão do Spanner pela quantidade de capacidade de computação que sua instância usa e pela quantidade de armazenamento que seu banco de dados usa. Os dados armazenados em SSD e HDD são faturados de acordo com as respectivas taxas de armazenamento. Não há cobrança pela transferência de dados entre o armazenamento SSD e HDD. A consulta de dados em HDD usa a capacidade de carga do disco HDD da instância, que faz parte do preço da capacidade de computação. Para mais informações, consulte os preços do Spanner.
A seguir
- Saiba mais sobre os grupos de localidade.
- Saiba como criar e gerenciar grupos de localidade.
- Saiba mais sobre como otimizar consultas com o pushdown de predicado de carimbo de data/hora.