Administra recursos de datos con Knowledge Catalog

Knowledge Catalog cataloga automáticamente los metadatos de los recursos de Bigtable. Esta función te ayuda a buscar y administrar tus activos de datos de Bigtable.

Los metadatos se sincronizan automáticamente de Bigtable a Knowledge Catalog para los siguientes recursos de Bigtable:

  • Instancias
  • Clústeres
  • Tablas, incluidos los detalles de familia de columnas

  • Vistas:

    • Vistas autorizadas
    • Vistas materializadas continuas
    • Vistas lógicas

    Las vistas no tienen entradas de catálogo globales. Para acceder a los metadatos de la vista, debes consultar la región asignada a tu instancia. Para obtener más información, consulta la sección Accede a los metadatos de la vista de este documento.

Knowledge Catalog es un servicio de administración de metadatos completamente administrado. Proporciona una vista unificada y mecanismos de etiquetado para los metadatos técnicos y empresariales. Para obtener más información sobre Knowledge Catalog y por qué deberías usarlo, consulta la descripción general de Knowledge Catalog.

Beneficios de usar Knowledge Catalog con Bigtable

La información de Knowledge Catalog sobre tus datos ayuda a respaldar el análisis, la reutilización de datos, el desarrollo de aplicaciones y la administración de datos.

Puedes buscar entradas en Knowledge Catalog por detalles, como el nombre del recurso. Por ejemplo, busca el nombre de una instancia para encontrar la entrada de una instancia o busca una familia de columnas para encontrar la entrada de una tabla. También puedes usar la búsqueda por facetas y aplicar filtros para definir mejor tu búsqueda. Para obtener más información, consulta Busca recursos en Knowledge Catalog.

La transferencia y catalogación de vistas de Bigtable te permite hacer lo siguiente:

  • Encuentra recursos de datos detallados, como vistas materializadas autorizadas, lógicas y continuas, en un inventario central.
  • Obtener visibilidad de las vistas que existen y quién tiene acceso a ellas, lo que permite que los equipos de administración apliquen políticas y controles de acceso
  • Comprende cómo se conectan las vistas autorizadas a las tablas y cómo se conectan las vistas materializadas lógicas y continuas a las instancias para obtener un mejor contexto.

Enriquecer los metadatos con aspectos te ayuda a comprender y catalogar los datos de tus tablas de Bigtable. Los aspectos te permiten adjuntar metadatos empresariales y técnicos personalizados a las entradas catalogadas, lo que hace que los datos sean más detectables en todo tu patrimonio de datos y permite realizar búsquedas segmentadas. Para obtener más información, consulta Administra aspectos y enriquece los metadatos.

Primeros pasos con Knowledge Catalog

Para comenzar a usar Knowledge Catalog para administrar tus recursos de datos de Bigtable, completa las siguientes tareas:

  1. Opcional: Si es la primera vez que usas Knowledge Catalog, habilita la API de Dataplex.

  2. Otorga roles de IAM a las principales que necesitan acceso a las entradas de Bigtable en Knowledge Catalog.

  3. Obtén información para buscar recursos de datos.

  4. Revisa la sintaxis de búsqueda de Knowledge Catalog para comprender cómo encontrar tus metadatos.

  5. Lee los conceptos sobre la administración de metadatos con aspectos. Para obtener más información, consulta Acerca de los metadatos en Knowledge Catalog.

Consulta metadatos en Knowledge Catalog

Cada tipo de vista de Bigtable se representa como un tipo de entrada distinto en el catálogo. Knowledge Catalog almacena metadatos específicos (aspectos) para cada tipo:

Ver tipo Campos de metadatos
Vista autorizada Definición completa del subconjunto, estado de la protección contra eliminaciones. El ID de la tabla base es parte de la ruta del recurso de la entrada y de la entrada superior, en lugar de un campo de aspecto independiente.
Vista lógica Consulta en SQL, esquema y estado de protección contra eliminaciones. Se hace referencia a la tabla base en la consulta en SQL.
Vista materializada continua Consulta en SQL, esquema, estado de la protección contra eliminaciones y detalles del almacenamiento. Se hace referencia a la tabla base en la consulta en SQL. En el aspecto de almacenamiento, el campo sourceUri apunta al recurso de vista en sí, no a la tabla base.

Formas de buscar metadatos de Bigtable

Puedes buscar metadatos de Bigtable sincronizados con Knowledge Catalog.

Además de los predicados calificados, puedes buscar recursos de Bigtable con los siguientes campos de metadatos:

  • Instancia

    • Nombre de la instancia de Bigtable
    • ID de instancia de Bigtable
    • Ubicación del clúster
    • ID del clúster

  • Tabla

    • ID de la tabla
    • Nombre de la familia de columnas
    • Nombre de la instancia de Bigtable
    • ID de instancia de Bigtable

Puedes buscar vistas por las siguientes categorías:

  • Tipo de vista:
    • type=cloud-bigtable-authorized-view
    • type=cloud-bigtable-logical-view
    • type=cloud-bigtable-materialized-view
  • Alias de vista unificada: Usa el alias VIEW para encontrar todos los tipos de vistas de Bigtable de forma simultánea.
  • Detalles de los metadatos: Busca por texto de consulta, recurso superior, detalles de la definición del subconjunto o atributos específicos, como la protección contra eliminaciones.
  • Región: En la consola de Google Cloud , usa los filtros location=LOCATION o de región para buscar vistas o cualquier otro recurso en una región.

Cuando ves una instancia o entrada de tabla global de Bigtable en la consola deGoogle Cloud , su pestaña Lista de entradas no incluye vistas regionales. Del mismo modo, cuando ves una entrada de vista regional, su ruta de navegación no vincula a su instancia o tabla superior. Para encontrar estos recursos, búscalos directamente con las categorías de búsqueda anteriores.

Accede a los metadatos de la vista

A diferencia de las instancias y tablas de Bigtable, las vistas no tienen entradas de catálogo globales. Los metadatos de las vistas se almacenan exclusivamente en la región asignada a tu instancia en Knowledge Catalog (knowledgeCatalogRegion).

Cuando buscas recursos en Knowledge Catalog, puedes usar filtros de región para encontrar vistas o cualquier otro recurso en una región específica. Sin embargo, cuando usas la API de Dataplex o las bibliotecas cliente para buscar, recuperar o administrar aspectos en las vistas de Bigtable, debes especificar la región del catálogo de conocimiento de la instancia en el parámetro location de la URL de la solicitud. Si especificas la ubicación como global, el comando muestra un error NOT_FOUND.

En las siguientes secciones, se explica cómo acceder a los metadatos de la vista en la región de tu instancia.

Encuentra la región de Knowledge Catalog de una instancia

Para encontrar el knowledgeCatalogRegion de tu instancia de Bigtable, usa el comando gcloud bigtable instances describe:

gcloud bigtable instances describe INSTANCE_ID

Reemplaza INSTANCE_ID por el identificador único de tu instancia.

El resultado del comando incluye el campo knowledgeCatalogRegion, como se muestra en el siguiente ejemplo:

createTime: '2026-01-15T10:00:00.000000Z'
displayName: my-instance
edition: ENTERPRISE
knowledgeCatalogRegion: us-central1
name: projects/my-project/instances/my-instance
state: READY
type: PRODUCTION

En este ejemplo, la ubicación de las solicitudes a la API de Dataplex y los filtros de región para las vistas en esta instancia es us-central1.

Inspecciona una entrada de Knowledge Catalog de una vista

Console

Para inspeccionar la entrada de una vista en Knowledge Catalog, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página Búsqueda de Knowledge Catalog.

    Ir a Búsqueda

  2. En el campo de búsqueda, ingresa el nombre o el ID de la vista de Bigtable, o ingresa una consulta de búsqueda y, luego, presiona Intro.

    Puedes buscar vistas con los siguientes predicados:

    • Todas las vistas: VIEW
    • Vistas autorizadas: type=cloud-bigtable-authorized-view
    • Vistas lógicas: type=cloud-bigtable-logical-view
    • Vistas materializadas continuas: type=cloud-bigtable-materialized-view
    • Vistas por región: por ejemplo, location=us-central1

  3. Para definir mejor tu búsqueda, haz clic en Filtros.

  4. En los resultados de la búsqueda, haz clic en el nombre de la vista para abrir la página de detalles de la entrada.

    En la página de detalles de la entrada, se muestran todos los atributos de la entrada, incluida la información general, los aspectos del sistema, como la consulta en SQL, el esquema o la definición del subconjunto, y los aspectos personalizados adjuntos.

gcloud

Para inspeccionar la entrada de la vista en Knowledge Catalog, usa el comando gcloud dataplex entries lookup:

gcloud dataplex entries lookup "VIEW_RESOURCE_NAME" \
    --project="PROJECT_ID" \
    --location="LOCATION" \
    --entry-group="@bigtable" \
    --view="all"

Reemplaza lo siguiente:

  • VIEW_RESOURCE_NAME: Es la ruta de acceso del recurso de Bigtable para la vista (se omite el // inicial). Construye la ruta de acceso del recurso según el tipo de vista:
    • Vista autorizada: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/tables/TABLE_ID/authorizedViews/VIEW_ID
    • Vista lógica: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/logicalViews/VIEW_ID
    • Vista materializada continua: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/materializedViews/VIEW_ID
  • PROJECT_ID: Es el identificador único de tu proyecto de Google Cloud .
  • INSTANCE_ID: el identificador único de tu instancia de Bigtable.
  • TABLE_ID: En el caso de las vistas autorizadas, es el identificador único de la tabla base que contiene la vista.
  • VIEW_ID: Es el identificador asignado a la vista.
  • LOCATION: Es la región de Knowledge Catalog de la instancia de Bigtable (por ejemplo, us-central1).

El resultado devuelve todos los atributos de la entrada, incluidos los aspectos del sistema y los aspectos personalizados adjuntos. En el resultado, el campo parentEntry contiene una ruta de entrada regional para la tabla o instancia superior. Debido a que Bigtable almacena las entradas de tablas y de instancias solo en la ubicación global, no se puede acceder a esta entrada superior regional. Para buscar la tabla superior o la entrada de la instancia, especifica global como la ubicación.

REST

Para buscar una entrada de vista de forma programática con la API de Dataplex, envía una solicitud HTTP GET autenticada al método lookupEntry:

curl -X GET \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:lookupEntry?entry=projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigtable/entries/VIEW_RESOURCE_NAME&view=ALL"

Reemplaza lo siguiente:

  • VIEW_RESOURCE_NAME: Es la ruta de acceso del recurso de Bigtable para la vista (se omite el // inicial). Construye la ruta de acceso del recurso según el tipo de vista:
    • Vista autorizada: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/tables/TABLE_ID/authorizedViews/VIEW_ID
    • Vista lógica: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/logicalViews/VIEW_ID
    • Vista materializada continua: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/materializedViews/VIEW_ID
  • PROJECT_ID: Es el identificador único de tu proyecto de Google Cloud .
  • INSTANCE_ID: el identificador único de tu instancia de Bigtable.
  • TABLE_ID: En el caso de las vistas autorizadas, es el identificador único de la tabla base que contiene la vista.
  • VIEW_ID: Es el identificador asignado a la vista.
  • LOCATION: Es la región de Knowledge Catalog de la instancia de Bigtable (por ejemplo, us-central1).

El resultado devuelve todos los atributos de la entrada, incluidos los aspectos del sistema y los aspectos personalizados adjuntos. En el resultado, el campo parentEntry contiene una ruta de entrada regional para la tabla o instancia superior. Debido a que Bigtable almacena las entradas de tablas y de instancias solo en la ubicación global, no se puede acceder a esta entrada superior regional. Para buscar la tabla superior o la entrada de la instancia, especifica global como la ubicación.

Roles obligatorios

La visualización, el etiquetado y la búsqueda de recursos de Bigtable en Knowledge Catalog tienen requisitos de permisos diferentes. En general, otorga a las principales de tu organización el rol mínimo necesario para completar una tarea.

Permiso para ver los aspectos públicos y privados

Para obtener los permisos que necesitas para ver los aspectos públicos y privados en los recursos de Bigtable, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Estos roles predefinidos contienen los permisos necesarios para ver los aspectos públicos y privados. Los permisos exactos que se requieren son los siguientes:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • dataplex.aspectTypes.get

Las vistas requieren los siguientes permisos:

  • Vistas autorizadas: bigtable.authorizedViews.get
  • Vistas lógicas: bigtable.logicalViews.get
  • Vistas materializadas continuas: bigtable.materializedViews.get

Permiso para buscar recursos de Bigtable

Para obtener los permisos que necesitas para buscar recursos de Bigtable en Knowledge Catalog, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Estos roles predefinidos contienen los permisos necesarios para buscar recursos de Bigtable. Los permisos exactos que se requieren son los siguientes:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Las vistas requieren los siguientes permisos:

  • Vistas autorizadas: bigtable.authorizedViews.get
  • Vistas lógicas: bigtable.logicalViews.get
  • Vistas materializadas continuas: bigtable.materializedViews.get

Permiso para buscar y ver metadatos de Bigtable

Para buscar y ver metadatos de recursos de Bigtable, debes tener un rol que incluya los siguientes permisos:

  • Instancias y tablas: bigtable.instances.get, bigtable.clusters.get, bigtable.tables.get
  • Vistas autorizadas: bigtable.authorizedViews.get
  • Vistas lógicas: bigtable.logicalViews.get
  • Vistas materializadas continuas: bigtable.materializedViews.get

Los roles predefinidos, como roles/bigtable.viewer o roles/bigtable.admin, suelen contener estos permisos.

Permiso para adjuntar aspectos a los recursos de Bigtable

Para obtener los permisos que necesitas para adjuntar aspectos a los recursos de Bigtable en Knowledge Catalog, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Estos roles predefinidos contienen los permisos necesarios para agregar aspectos públicos y privados. Los permisos exactos que se requieren son los siguientes:

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • dataplex.aspectTypes.use
  • dataplex.entries.update

Las vistas requieren los siguientes permisos:

  • Vistas autorizadas: bigtable.authorizedViews.update
  • Vistas lógicas: bigtable.logicalViews.update
  • Vistas materializadas continuas: bigtable.materializedViews.update

Opcional: Crea un rol personalizado

Puedes crear un rol personalizado para otorgarlo a los usuarios que requieran acceso completo a todos los metadatos de Bigtable en Knowledge Catalog en tu proyecto u organización. Luego, puedes asignar cualquier usuario o cuenta de servicio que necesite acceso como principal del rol personalizado. Para obtener más información sobre los roles personalizados, consulta Roles y permisos.

Elige un nombre significativo para el rol, como Editor de Dataplex de Bigtable, y, luego, asigna solo las principales que necesitan acceso al rol. Para obtener instrucciones de configuración, consulta Crea y administra roles personalizados.

Otorga los siguientes permisos al rol personalizado:

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • bigtable.authorizedViews.get
  • bigtable.authorizedViews.update
  • bigtable.logicalViews.get
  • bigtable.logicalViews.update
  • bigtable.materializedViews.get
  • bigtable.materializedViews.update
  • dataplex.aspectTypes.get
  • dataplex.aspectTypes.use

Para obtener más información, consulta Permisos de IAM de Knowledge Catalog. Para obtener descripciones de los permisos de Bigtable, consulta Permisos.

Limitaciones

En las siguientes secciones, se enumeran las restricciones que debes tener en cuenta antes de usar Knowledge Catalog para administrar tus metadatos de Bigtable.

Restricciones de ubicación

Si tu organización aplica restricciones de ubicación, es posible que las entradas de metadatos de tus recursos de Bigtable no se sincronicen con Knowledge Catalog. Knowledge Catalog conserva las entradas creadas antes de aplicar las restricciones de ubicación.

Para permitir que Knowledge Catalog cargue recursos, asegúrate de que tu política de ubicación permita lo siguiente:

  • La multirregión global para instancias y tablas.
  • La región específica que coincide con el knowledgeCatalogRegion de tu instancia para las vistas.

Excepción de nombre de familia de columnas

La API de Dataplex rechaza las solicitudes en las que el nombre de la familia de columnas de tu solicitud incluye un punto (.). Por ejemplo, si el nombre de la familia de columnas es personal.info.

¿Qué sigue?