Supervisar el motor de columnas te ayuda a confirmar que las consultas usen el almacén de columnas y a decidir si cambiar su contenido o tamaño de memoria. Puedes verificar
los planes de consulta con la sentencia EXPLAIN y ver las tablas,
columnas e índices del almacén de columnas, además de las estadísticas de ejecución y el uso de memoria. Para modificar
la configuración del motor de columnas, consulta
Ajusta el motor de columnas.
Verifica el uso del motor de columnas con EXPLAIN
Puedes verificar el uso del motor de columnas con la sentencia EXPLAIN para
observar los nuevos operadores de columnas que aparecen en el plan de consulta generado
de una consulta.
Cliente psql
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_returnflag, l_linestatus, l_quantity, l_extendedprice,
l_discount, l_tax
FROM lineitem
WHERE l_shipdate <= date '1992-08-06'
;
QUERY PLAN
-----------------------------------------------------------------------------
Append (actual rows=3941797 loops=1)
Buffers: shared hit=9
-> Custom Scan (columnar scan) on lineitem (actual rows=3941797 loops=1)
Filter: (l_shipdate <= '1992-08-06'::date)
Rows Removed by Columnar Filter: 56054083
Columnar cache search mode: columnar filter only
Buffers: shared hit=9
-> Seq Scan on lineitem (never executed)
Filter: (l_shipdate <= '1992-08-06'::date)
Custom Scan (columnar scan)indica que el análisis del motor de columnas se incluye en el plan de consulta.Rows Removed by Columnar Filterenumera la cantidad de filas que se filtraron por la ejecución vectorizada en columnas.Columnar cache search modepuede sercolumnar filter only,nativeorow store scan. El planificador elige el modo de búsqueda automáticamente según el costo y la capacidad de evaluación de reducción.
Cuando el planificador elige el modo native, envía algunos de los
operadores de columnas al análisis:
Rows Aggregated by Columnar Scanenumera la cantidad de filas que se agregan.Rows Sorted by Columnar Scanenumera la cantidad de filas que se ordenan.Rows Limited by Columnar Scanenumera la cantidad limitada de filas que se analizaron.
Con las uniones, los operadores de análisis en columnas también pueden usar el modo Late Materialization.
Cliente psql
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_shipmode, o_orderpriority
FROM orders, lineitem
WHERE o_orderkey = l_orderkey
AND l_shipmode in ('AIR', 'FOB')
AND l_receiptdate >= date '1995-01-01'
;
QUERY PLAN
-----------------------------------------------------------------------------
Hash Join (actual rows=9865288 loops=1)
Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
Buffers: temp read=127738 written=127738
-> Append (actual rows=9865288 loops=1)
-> Custom Scan (columnar scan) on lineitem (actual rows=9865288 loops=1)
Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
(l_receiptdate >= '1995-01-01'::date))
Rows Removed by Columnar Filter: 50130592
Columnar cache search mode: native
-> Index Scan using idx_lineitem_orderkey_fkidx on lineitem
(never executed)
Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
(l_receiptdate >= '1995-01-01'::date))
-> Hash (actual rows=15000000 loops=1)
Buckets: 1048576 Batches: 32 Memory Usage: 37006kB
Buffers: temp written=83357
-> Append (actual rows=15000000 loops=1)
-> Custom Scan (columnar scan) on orders (actual rows=15000000
loops=1)
Rows Removed by Columnar Filter: 0
Columnar projection mode: late materialization
Columnar cache search mode: native
-> Seq Scan on orders (never executed)
Columnar projection mode puede ser late materialization.
Los operadores de columnas eligen este modo automáticamente cuando el planificador optimiza
la proyección aplazando la materialización de algunos valores de columna.
Visualiza el uso de la unión vectorizada del motor de columnas
Puedes verificar el nuevo operador de unión vectorizada con la sentencia EXPLAIN para
observar el nuevo operador Vectorized Hash Join que aparece en el plan de consulta generado
de una consulta.
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_quantity, l_extendedprice, l_discount, l_tax
FROM lineitem, orders
WHERE l_shipdate <= date '2022-08-06'
AND l_orderkey = o_orderkey
AND o_orderdate <= date '2025-03-07';
QUERY PLAN
---------------------------------------------------------------------------------------
Vectorized Hash Join (actual rows=3934686 loops=1)
Vectorized partitioning, Partitions: 16 (Disk usage: 208MB)
(Peak Memory Usage: 27MB, Threads: 1)
Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
Rows Removed by Bloom Filter: 0
Buffers: temp read=26728 written=26728
-> Append (actual rows=3934686 loops=1)
-> Custom Scan (columnar scan) on lineitem (actual rows=3934686 loops=1)
Filter: (l_shipdate <= '2022-08-06'::date)
Rows Removed by Columnar Filter: 56051366
Columnar cache search mode: native
-> Seq Scan on lineitem (never executed)
Filter: (l_shipdate <= '2022-08-06'::date)
-> Vectorized Hash (actual rows=7245824 loops=1)
Build bloom filter, Memory Usage: 1024kB
-> Append (actual rows=7245824 loops=1)
-> Custom Scan (columnar scan) on orders (actual rows=7245824 loops=1)
Filter: (o_orderdate <= '2025-03-07'::date)
Rows Removed by Columnar Filter: 7754176
Columnar cache search mode: native
-> Seq Scan on orders (never executed)
Filter: (o_orderdate <= '2025-03-07'::date)
Vectorized Hash Joinindica que la unión entre las dos relaciones usó la unión hash vectorizada.Vectorized partitioning, Partitions:enumera la cantidad de particiones en las que se dividieron los datos.
Usa la opción COLUMNAR_ENGINE para EXPLAIN
El comando EXPLAIN admite la opción COLUMNAR_ENGINE. Cuando se especifica, el comando imprime mensajes Columnar Check en el plan EXPLAIN para mostrar qué podría haber llevado al planificador o ejecutor a tomar ciertas decisiones relacionadas con el motor de columnas para el plan. El comando también imprime detalles adicionales que son específicos del motor de columnas. El mensaje está asociado con el nodo de análisis no columnar. Por lo general, indica la primera causa que impide que se elija un análisis de columnas para un análisis. Algunos ejemplos de causas son the table is too small, a needed column of the table is not in the CE store o a needed column has a CE unsupported data type.
En el siguiente ejemplo de resultado del comando, se imprime un mensaje Columnar Check:
Cliente psql
EXPLAIN (COLUMNAR_ENGINE, COSTS OFF) SELECT * FROM sample_small_table WHERE col1 > 10000;
QUERY PLAN
--------------------------------------
Seq Scan on sample_small_table
Filter: (col1 > 10000)
Columnar Check: table is too small
Según el mensaje, el usuario puede realizar una de las siguientes acciones:
- Aborda la causa específica y, luego, vuelve a ejecutar el comando para confirmar el plan de columnas.
- Itera el mismo proceso. Puede haber más de una causa, y la cláusula solo intenta enumerar la primera.
En el siguiente ejemplo, se muestran detalles adicionales que se imprimen y que son específicos del motor de columnas:
Cliente psql
EXPLAIN (ANALYZE, COLUMNAR_ENGINE, COSTS OFF, TIMING OFF, SUMMARY OFF, VERBOSE) SELECT SUM(c1) FROM counter_table WHERE c2 > 0 and c2 < 80000;
QUERY PLAN
---------------------------------------------------------------------------------------------
Aggregate (actual rows=1 loops=1)
Output: sum(c1)
-> Append (actual rows=79999 loops=1)
-> Custom Scan (columnar scan) on public.counter_table (actual rows=79999 loops=1)
Output: c1
Filter: ((counter_table.c2 > 0) AND (counter_table.c2 < 80000))
Rows Removed by Columnar Filter: 1
Rows Aggregated by Columnar Scan: 79999
Bytes fetched from storage cache: 1392655
Columnar cache search mode: native
-> Seq Scan on public.counter_table (never executed)
Output: c1
Filter: ((counter_table.c2 > 0) AND (counter_table.c2 < 80000))
(13 rows)
Consulta información sobre las tablas con columnas en el almacén de columnas
Puedes ver información sobre las tablas o las vistas materializadas con columnas
en el almacén de columnas consultando la vista g_columnar_relations.
Cliente psql
SELECT * FROM g_columnar_relations;
-[ RECORD 1 ]------------------+--------------------- database_name | postgres schema_name | public relation_name | uuid_mod_test_stored status | Usable size | 700672237 invalid_block_count | 0 block_count_in_cc | 123907 total_block_count | 123907 auto_refresh_trigger_count | 0 auto_refresh_failure_count | 0 auto_refresh_trigger_timestamp | NULL auto_refresh_start_timestamp | NULL auto_refresh_end_timestamp | NULL auto_refresh_recent_status | NONE YET
Consulta información sobre las columnas en el almacén de columnas
Puedes ver información sobre las columnas en el almacén de columnas si consultas
la vista g_columnar_columns, incluido el tamaño de esas columnas y la
hora del último acceso.
Cliente psql
SELECT database_name, schema_name, relation_name, column_name, size_in_bytes, last_accessed_time FROM g_columnar_columns;
Visualiza las estadísticas de ejecución del motor de columnas para las consultas recientes
Puedes ver las estadísticas de ejecución del motor de columnas para las consultas recientes con la
vista g_columnar_stat_statements. Esta vista proporciona estadísticas específicas del motor de columnas y requiere que se habilite la extensión pg_stat_statements.
Cliente psql
Para ver estas estadísticas, sigue estos pasos:
- Habilita la extensión
pg_stat_statements:CREATE EXTENSION pg_stat_statements;
- Ejecuta las consultas para las que deseas ver estadísticas. Puedes hacerlo de forma manual o dejar que tus aplicaciones se ejecuten durante un tiempo para generar datos.
- Consulta la vista
g_columnar_stat_statementspara ver las estadísticas recopiladas.SELECT * FROM g_columnar_stat_statements WHERE page_read > 0;
El resultado es similar a lo siguiente:
-[ RECORD 1 ]--------------------------+-------------------- user_id | 16391 db_id | 1008530 query_id | 6672321263128921833 columnar_unit_read | 32 page_read | 128003 rows_filtered | 0 columnar_scan_time | 0 vectorized_join_time | 0 vectorized_aggregation_time | 0 vectorized_aggregation_vj_time | 0 -[ RECORD 2 ]--------------------------+-------------------- user_id | 16391 db_id | 1008530 query_id | -816808861243589285 columnar_unit_read | 30 page_read | 119811 rows_filtered | 0 columnar_scan_time | 0 vectorized_join_time | 0 vectorized_aggregation_time | 0 vectorized_aggregation_vj_time | 0
Visualiza el uso de memoria del almacén de columnas
Para ver la cantidad de RAM sin usar disponible para el motor de columnas, puedes
consultar la función google_columnar_engine_memory_available(). El
entero resultante muestra la memoria disponible en megabytes (MB).
SELECT google_columnar_engine_memory_available();
Ver información sobre los índices en el almacén de columnas
Puedes consultar la vista g_columnar_indexes para ver información sobre el estado, el tamaño y varias métricas relacionadas con el rendimiento de los índices de columnas.
Cliente psql
SELECT
database_name, schema_name, index_name, status, size,
total_partition_count, non_leaf_partition_count, leaf_partition_count,
invalid_block_count, block_count_in_cc, total_block_count,
creation_time, auto_refresh_trigger_count,
auto_refresh_failure_count, auto_refresh_trigger_timestamp,
auto_refresh_start_timestamp, auto_refresh_end_timestamp,
auto_refresh_recent_status
FROM g_columnar_indexes;
En la siguiente tabla, se describen los campos de la vista g_columnar_indexes.
| Campo | Tipo de datos | Descripción |
|---|---|---|
database_name |
NAME |
Es el nombre de la base de datos en la que reside el índice. |
schema_name |
NAME |
Nombre del esquema al que pertenece el índice |
index_name |
NAME |
Nombre del índice |
status |
NAME |
Estado del índice en el motor de columnas |
size |
BIGINT |
Tamaño del índice en el motor de columnas |
total_partition_count |
BIGINT |
Cantidad total de particiones del índice en el motor de columnas |
non_leaf_partition_count |
BIGINT |
Es la cantidad total de particiones que no son de hoja del índice en el motor de columnas. |
leaf_partition_count |
BIGINT |
Cantidad total de particiones de hoja del índice en el motor de columnas |
invalid_block_count |
BIGINT |
Cantidad total de bloques no válidos en el motor de columnas para el índice |
block_count_in_cc |
BIGINT |
Cantidad total de bloques del índice en el motor de columnas |
total_block_count |
BIGINT |
Cantidad total de bloques del índice |
creation_time |
BIGINT |
Tiempo de creación de índices en el motor de columnas |
auto_refresh_trigger_count |
BIGINT |
Cantidad total de actualizaciones automáticas activadas desde el inicio de PostgreSQL |
auto_refresh_failure_count |
BIGINT |
Cantidad total de fallas de actualización automática desde el inicio de PostgreSQL |
auto_refresh_trigger_timestamp |
BIGINT |
Marca de tiempo de la actualización automática más reciente que se activó |
auto_refresh_start_timestamp |
BIGINT |
Marca de tiempo de la actualización automática más reciente que se inició |
auto_refresh_end_timestamp |
BIGINT |
Marca de tiempo de la actualización automática más reciente que se completó |
auto_refresh_recent_status |
TEXT |
Estado de la actualización automática más reciente |