Descripción general del almacenamiento por niveles

En esta página, se describe y explica cómo funciona el almacenamiento por niveles en Spanner. Esta función es compatible con las bases de datos de dialecto GoogleSQL y PostgreSQL.

El almacenamiento por niveles de Spanner es una función de almacenamiento completamente administrada que te permite elegir si quieres almacenar tus datos en unidades de estado sólido (SSD) o en unidades de disco duro (HDD). De forma predeterminada, cuando no usas el almacenamiento por niveles, tus datos se almacenan en el almacenamiento SSD. Según la frecuencia con la que uses los datos o accedas a ellos, puedes considerar usar el almacenamiento por niveles y almacenar datos en SSD y HDD.

  • El almacenamiento SSD es la opción más eficiente (más consultas por segundo) y rentable para la mayoría de los casos de uso. Debes usarlo para almacenar datos activos con una alta capacidad de procesamiento de lectura y escritura, y datos que requieran un acceso de baja latencia.
  • El almacenamiento en HDD a veces es adecuado para conjuntos de datos grandes que no son sensibles a la latencia, a los que se accede con poca frecuencia o si el costo del almacenamiento es una consideración importante.

El uso del almacenamiento por niveles te permite aprovechar el almacenamiento SSD, que admite el alto rendimiento de los datos activos, y el almacenamiento HDD, que admite el acceso poco frecuente a los datos a un costo menor.

Elige entre el almacenamiento SSD y HDD

En la siguiente tabla, se enumeran las diferencias y similitudes entre el almacenamiento en SSD y HDD. Las cifras de capacidad de procesamiento de la tabla son por nodo y escalan de forma lineal con la cantidad de nodos de tu instancia de Spanner. Si tienes dudas, te recomendamos que elijas el almacenamiento SSD.

Almacenamiento SSD Almacenamiento HDD
Casos de uso objetivo Datos que requieren una alta capacidad de procesamiento de escritura y lectura, y acceso a datos de baja latencia Conjuntos de datos grandes que no son sensibles a la latencia o a los que se accede con poca frecuencia
Capacidad de procesamiento esperada por nodo
Configuraciones regionales
Hasta 22,500 QPS de lectura
Hasta 3,500 QPS de escritura
Hasta 1,500 QPS de lectura
Hasta 3,500 QPS de escritura
Capacidad de procesamiento esperada por nodo
Configuraciones birregionales y multirregionales
Hasta 15,000 QPS de lectura por región
Hasta 2,700 QPS de escritura
Hasta 1,000 QPS de lectura por región
Hasta 2,700 QPS de escritura
Operaciones admitidas Leer, escribir, actualizar y borrar Leer, escribir, actualizar y borrar

Usa escrituras con capacidad de procesamiento optimizada para aumentar la capacidad de procesamiento de escritura más allá de los números de la tabla. Para obtener más información, consulta Descripción general del rendimiento.

Beneficios

El almacenamiento por niveles ofrece los siguientes beneficios, ya que te permite usar el almacenamiento SSD y HDD:

  • Reducción significativa del costo total de propiedad: El almacenamiento en HDD proporciona una opción de menor costo para conjuntos de datos grandes que no son sensibles a la latencia o a los que se accede con poca frecuencia.
  • Facilidad de administración: Proporciona un servicio de organización en niveles completamente administrado sin la complejidad de las canalizaciones adicionales y la lógica dividida.
  • Experiencia unificada y coherente: Proporciona acceso unificado a los datos y un único conjunto de métricas para los datos activos y en frío (mutables).
  • Rendimiento mejorado: Mejora el rendimiento de las consultas organizando tus datos en diferentes grupos de localidad, lo que proporciona localidad de los datos y aislamiento entre columnas. Los datos del mismo grupo de localidad se almacenan físicamente cerca.

Cómo funciona el almacenamiento por niveles

De forma predeterminada, cuando creas una instancia nueva, los datos solo se almacenan en el almacenamiento SSD. Del mismo modo, los datos de las instancias existentes también se almacenan solo en el almacenamiento SSD.

Si eliges usar el almacenamiento por niveles para almacenar algunos datos en el almacenamiento HDD, debes crear un grupo de localidad, que se usa para definir la política de almacenamiento por niveles para los datos de tu esquema. Cuando creas un grupo de localidad, puedes definir el tipo de almacenamiento, ya sea ssd o hdd. De manera opcional, también puedes definir la cantidad de tiempo que se almacenan los datos en el almacenamiento SSD antes de que se muevan al almacenamiento HDD. Este tiempo es relativo a la marca de tiempo de confirmación de los datos. Una vez que transcurre el tiempo especificado, Spanner migra los datos al almacenamiento en HDD durante su ciclo de compactación normal, que suele ocurrir en el transcurso de siete días a partir del tiempo especificado. Para migrar datos entre SSD y HDD más rápido que el ciclo de compactación normal, puedes activar de forma manual una compactación mayor. Esto se conoce como una política de almacenamiento por niveles basada en la antigüedad. Cuando se usa una política de almacenamiento por niveles basada en la antigüedad, la cantidad mínima de tiempo que los datos deben almacenarse en SSD antes de trasladarse al almacenamiento HDD es de una hora.

Una vez que definas los grupos de localidad, cuando crees las tablas, podrás establecer la política de almacenamiento por niveles en la base de datos, la tabla, la columna o el índice secundario. La política de almacenamiento por niveles determina cómo y dónde se almacenan los datos. Para obtener instrucciones, consulta Crea y administra grupos de localidad.

Detalles del comportamiento de la clave

Los siguientes comportamientos se aplican cuando se usa el almacenamiento por niveles:

  • Los niveles de almacenamiento se aplican a nivel de celda: Las políticas de almacenamiento por niveles basadas en la antigüedad se aplican a las celdas individuales dentro de una fila, según la marca de tiempo de confirmación de la celda. Los datos se mueven al almacenamiento en HDD si su marca de tiempo de confirmación es anterior a la duración especificada. Por lo tanto, una sola fila puede tener algunos datos en SSD y otros en HDD, según cuándo se actualizó por última vez cada celda.
  • Las tablas intercaladas son independientes: La configuración del grupo de localidad y las políticas de almacenamiento por niveles no se heredan de las tablas secundarias intercaladas. Debes aplicar estos parámetros de configuración a cada tabla de forma individual.
  • Las operaciones de lectura no afectan el envejecimiento de los datos: Leer datos de una tabla no restablece su antigüedad ni impide que se muevan a la HDD. Solo una operación de escritura que actualice los datos restablece su marca de tiempo de confirmación y los mantiene en el almacenamiento en SSD.
  • Mueve datos de HDD a SSD: Cuando actualizas los datos almacenados en HDD, Spanner escribe la versión nueva de los datos directamente en el almacenamiento SSD. La versión anterior de los datos en el HDD se marca como obsoleta y se limpia más adelante mediante un proceso de compactación en segundo plano. Puedes activar de forma manual una compactación mayor para limpiarla más rápido. Esto garantiza que las actualizaciones de los datos inactivos se beneficien de inmediato del rendimiento de SSD para las lecturas posteriores de los datos nuevos.
  • Mantén los metadatos de existencia de filas en SSD para las tablas con muchas inserciones: Spanner almacena los metadatos en el grupo de localidad de la tabla para hacer un seguimiento de si existe cada fila y lee estos metadatos durante las verificaciones de unicidad de la clave primaria. Configurar un grupo de localidad basado en la antigüedad o en HDD a nivel de la base de datos o de la tabla coloca estos metadatos en el almacenamiento en HDD, ya sea directamente o después del período de desbordamiento. Para mantener las verificaciones de unicidad en SSD, asigna la tabla a un grupo de localidad solo de SSD y asigna solo columnas grandes que no sean clave al grupo de localidad basado en la antigüedad o de HDD. Si la tabla usa el grupo de localidad default, verifica en INFORMATION_SCHEMA.LOCALITY_GROUP_OPTIONS que, para default, la opción storage tenga un OPTION_VALUE de ssd y la opción ssd_to_hdd_spill_timespan tenga un OPTION_VALUE de NULL. Después de mover una tabla a SSD, los metadatos de existencia de filas existentes se mueven durante la siguiente compactación principal, como se describe en la viñeta anterior.
  • Operaciones de escritura y verificaciones de unicidad en datos inactivos: Las operaciones de escritura que verifican si las claves ya existen leen desde el almacenamiento en HDD cuando las claves de destino no se almacenan en caché en la memoria. Estas lecturas pueden aumentar la latencia de confirmación y instance/disk_load. El impacto es mayor en las tablas secundarias intercaladas, en las que Spanner no mantiene filtros de existencia para omitir las lecturas de HDD de claves inexistentes.

    • Operaciones que verifican la existencia: sentencias INSERT y mutaciones Insert, sentencias INSERT OR IGNORE, sentencias ON CONFLICT DO NOTHING, sentencias ON CONFLICT DO UPDATE que no califican como escrituras de clave primaria de fila completa sin una operación de lectura y escrituras que mantienen índices secundarios por niveles basados en HDD o antigüedad. Por ejemplo, las declaraciones ON CONFLICT DO UPDATE verifican la existencia si se orientan a un índice UNIQUE, incluyen una cláusula WHERE, omiten columnas o establecen columnas en expresiones que no sean EXCLUDED.
    • Operaciones que omiten la verificación de existencia: Las declaraciones INSERT OR UPDATE de fila completa y las mutaciones InsertOrUpdate de fila completa escriben en la SSD sin verificar si la clave de destino ya existe. Lo mismo se aplica a las declaraciones ON CONFLICT DO UPDATE de clave primaria de fila completa en GoogleSQL y PostgreSQL que establecen cada columna, incluidas las columnas de clave primaria, en el valor EXCLUDED correspondiente sin una cláusula WHERE.
    • Otras lecturas de HDD durante las escrituras: Incluso las operaciones que omiten la verificación de existencia pueden leer datos o metadatos no almacenados en caché del almacenamiento en HDD cuando Spanner mantiene índices secundarios, claves externas o flujos de cambios, evalúa una cláusula THEN RETURN o RETURNING, o verifica si existe una fila superior para una tabla secundaria intercalada.

Copia de seguridad y restablecimiento

Puedes crear una copia de seguridad de tus datos y restablecerlos con las copias de seguridad de Spanner. La copia de seguridad contiene toda la información del esquema de almacenamiento, incluido INFORMATION_SCHEMA.LOCALITY_GROUP_OPTIONS, que especifica el tipo de almacenamiento de cada grupo de localidad. Para restablecer una copia de seguridad que contiene grupos de localidad en una instancia nueva, la instancia de destino debe estar en la edición Enterprise o Enterprise Plus de Spanner.

Data Boost

Puedes usar Spanner Data Boost para acceder a los datos en el almacenamiento SSD o HDD. La consulta de datos en el almacenamiento en HDD usa una capacidad de carga de disco HDD independiente de tu instancia, de manera similar a como usa un procesamiento independiente.

Índices de búsquedas

La búsqueda en el texto completo y los índices de vectores heredan el grupo de localidad que se establece en el objeto de la base de datos.

Observabilidad

Las siguientes funciones de observabilidad están disponibles para el almacenamiento por niveles.

Métricas de supervisión

Spanner proporciona las siguientes métricas para ayudarte a supervisar el uso y los datos del almacenamiento por niveles con Cloud Monitoring:

  • spanner.googleapis.com/instance/storage/used_bytes (Almacenamiento total): Muestra los bytes totales de datos almacenados en el almacenamiento SSD y HDD.
  • spanner.googleapis.com/instance/storage/combined/limit_bytes: Muestra el límite de almacenamiento combinado de SSD y HDD.
  • spanner.googleapis.com/instance/storage/combined/limit_bytes_per_processing_unit: Muestra el límite de almacenamiento combinado de SSD y HDD para cada unidad de procesamiento.
  • spanner.googleapis.com/instance/storage/combined/utilization: Muestra el uso combinado de almacenamiento SSD y HDD, en comparación con el límite de almacenamiento combinado.
  • spanner.googleapis.com/instance/disk_load: Muestra el uso del HDD en porcentaje. Si tu instancia alcanza el 100% de la carga del disco HDD, experimentarás un aumento significativo de la latencia.

Si tienes consultas existentes que filtran las métricas existentes por storage_class:ssd, debes quitar el filtro para ver el uso de HDD.

Para obtener más información sobre la supervisión de tus recursos de Spanner, consulta Supervisa instancias con estadísticas del sistema y Supervisa instancias con Monitoring.

Esquema de información

INFORMATION_SCHEMA.LOCALITY_GROUP_OPTIONS contiene la lista de grupos de localidad y opciones en tu base de datos de Spanner. Incluye información para el grupo de localidad default. La columna IS_INHERITED indica si el tipo de almacenamiento de un grupo de localidad se establece de forma explícita o se hereda. Para obtener más información, consulta locality_group_options para bases de datos con dialecto de GoogleSQL y locality_group_options para bases de datos con dialecto de PostgreSQL.

Para ver qué grupo de localidad almacena cada tabla, índice y columna, consulta las tablas TABLE_OPTIONS, INDEX_OPTIONS y COLUMN_OPTIONS. Las tablas y los índices que no tienen una fila locality_group en TABLE_OPTIONS o INDEX_OPTIONS usan el grupo de localidad default. En COLUMN_OPTIONS, la columna IS_INHERITED indica si el grupo de localidad se establece de forma explícita en la columna o se hereda de la tabla. Para obtener más información, consulta lo siguiente:

Tablas de estadísticas integradas

Las siguientes tablas de estadísticas integradas están disponibles para las bases de datos que usan el almacenamiento por niveles:

  • SPANNER_SYS.TABLE_SIZES_STATS_1HOUR: Muestra el uso del almacenamiento en HDD y SSD para cada tabla de tu base de datos.
  • SPANNER_SYS.TABLE_SIZES_STATS_PER_LOCALITY_GROUP_1HOUR: Muestra el uso del almacenamiento en HDD y SSD para cada grupo de localidad de tu base de datos.

Para obtener más información, consulta Estadísticas de tamaños de tablas.

Las tablas de estadísticas de consultas y de lectura tienen la siguiente columna relacionada con el almacenamiento por niveles:

  • AVG_DISK_IO_COST: Es el costo promedio de esta consulta en términos de la carga del disco HDD de Spanner. Usa este valor para realizar comparaciones relativas de costos de E/S de HDD entre las lecturas que ejecutas en la base de datos. Un valor más alto indica que estás usando más carga de disco HDD y que tu consulta podría ser más lenta que si se ejecutara en SSD. Además, si la carga del disco HDD está al máximo, el rendimiento de tus consultas podría verse aún más afectado.

Para obtener más información, consulta Estadísticas de consultas y Estadísticas de lectura.

Precios

No se aplican cargos adicionales por usar el almacenamiento por niveles. Se te cobra el precio estándar de Spanner por la cantidad de capacidad de procesamiento que usa tu instancia y la cantidad de almacenamiento que usa tu base de datos. Los datos que se almacenan en SSD y HDD se facturan según sus respectivas tarifas de almacenamiento. No se te cobrará por mover datos entre el almacenamiento SSD y HDD. La consulta de datos en HDD usa la capacidad de carga del disco HDD de la instancia, que forma parte de los precios de la capacidad de procesamiento. Para obtener más información, consulta Precios de Spanner.

¿Qué sigue?