Traduce texto con la función AI.TRANSLATE

La función AI.TRANSLATE te permite traducir texto entre idiomas directamente en BigQuery. Por ejemplo, puedes localizar catálogos de productos, traducir los comentarios de los clientes para los equipos de asistencia global o estandarizar las respuestas de encuestas multilingües sin crear canalizaciones de datos independientes. La función conecta BigQuery con la API de Cloud Translation usando tus credenciales de usuario final, por lo que no necesitas crear una conexión ni un modelo remoto.

En este instructivo, crearás una tabla de muestra de comentarios de clientes multilingües, traducirás texto al inglés con la detección automática de idioma, inspeccionarás los metadatos de traducción y traducirás opiniones sobre películas al español con el modelo de LLM de Translation.

Objetivos

  • Crear un conjunto de datos y una tabla de muestra de texto multilingüe
  • Traduce texto multilingüe al inglés con la detección automática de idioma.
  • Devuelve los metadatos de traducción y los códigos de idioma de origen detectados.
  • Traduce texto con matices usando el modelo de LLM de Translation.

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

  • BigQuery. You incur costs for the data that you process in BigQuery.
  • Cloud Translation. You incur costs for calls to the Cloud Translation API.

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios.

Es posible que los usuarios nuevos de Google Cloud cumplan con los requisitos para acceder a una prueba gratuita.

Para obtener más información, consulta los precios de BigQuery y los precios de Translation.

Antes de comenzar

Console

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. Enable the BigQuery and Translation APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  4. Asegúrate de tener los siguientes roles en el proyecto: Editor de datos de BigQuery, Usuario de trabajos de BigQuery, Usuario de la API de Cloud Translation.

    Verifica los roles

    1. En la consola de Google Cloud , dirígete a la página IAM.

      Ir a IAM
    2. Selecciona el proyecto.
    3. En la columna Principal, busca todas las filas que te identifiquen a ti o a un grupo en el que se te incluya. Para saber en qué grupos estás incluido, comunícate con tu administrador.

    4. Para todas las filas en las que se te especifique o se te incluya, verifica la columna Rol para ver si la lista de roles incluye los roles necesarios.

    Otorga los roles

    1. En la consola de Google Cloud , dirígete a la página IAM.

      Ir a IAM
    2. Selecciona el proyecto.
    3. Haz clic en Otorgar acceso.
    4. En el campo Principales nuevas, ingresa tu identificador de usuario. Este suele ser el identificador de un usuario que pertenece a un grupo de identidades de personal. Para obtener más información, consulta Representa a los usuarios del grupo de personal en políticas de IAM o comunícate con el administrador.

    5. Haz clic en Selecciona un rol y, luego, busca el rol.
    6. Para otorgar roles adicionales, haz clic en Agregar otro rol y agrega uno más.
    7. Haz clic en Guardar.

gcloud

  1. Instala Google Cloud CLI.

  2. Configura gcloud CLI para usar tu identidad federada.

    Para obtener más información, consulta Accede a gcloud CLI con tu identidad federada.

  3. Para inicializar gcloud CLI, ejecuta el siguiente comando:

    gcloud init
  4. Crea o selecciona un proyecto de Google Cloud .

    Roles necesarios para seleccionar o crear un proyecto

    • Seleccionar un proyecto: Seleccionar un proyecto no requiere un rol de IAM específico; puedes seleccionar cualquier proyecto en el que se te haya otorgado un rol.
    • Crea un proyecto: Para crear un proyecto, necesitas el rol de Creador de proyectos (roles/resourcemanager.projectCreator), que contiene el permiso resourcemanager.projects.create. Obtén más información para otorgar roles.
    • Crea un proyecto de Google Cloud :

      gcloud projects create PROJECT_ID

      Reemplaza PROJECT_ID por un nombre para el proyecto de Google Cloud que estás creando.

    • Selecciona el proyecto de Google Cloud que creaste:

      gcloud config set project PROJECT_ID

      Reemplaza PROJECT_ID por el nombre de tu proyecto de Google Cloud .

  5. Verifica que la facturación esté habilitada para tu proyecto de Google Cloud .

  6. Habilita las APIs de BigQuery y Translation, si aún no están habilitadas:

    Roles necesarios para habilitar las APIs

    Para habilitar las APIs, necesitas el permiso serviceusage.services.enable. Si creaste el proyecto, es probable que ya tengas este permiso a través del rol de propietario (roles/owner). De lo contrario, puedes obtenerlo a través del rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin). Obtén más información para otorgar roles.

    gcloud services enable bigquery.googleapis.com translate.googleapis.com
  7. Otorga roles a tu cuenta de usuario. Ejecuta el siguiente comando una vez para cada uno de los siguientes roles de IAM: roles/bigquery.dataEditor, roles/bigquery.jobUser, roles/cloudtranslate.user

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

    Reemplaza lo siguiente:

Crea un conjunto de datos

Para crear un conjunto de datos de BigQuery, selecciona una de las siguientes opciones:

Console

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel de la izquierda, haz clic en Explorar:

    Botón destacado del panel Explorador.

    Si no ves el panel izquierdo, haz clic en Expandir panel izquierdo para abrirlo.

  3. En Explorador, expande tu proyecto y, luego, haz clic en Conjuntos de datos.

  4. En la página Conjuntos de datos, haz clic en Crear conjunto de datos.

  5. En el panel Crear conjunto de datos, haz lo siguiente:

    • En ID del conjunto de datos, ingresa bqml_tutorial.

    • En Ubicación de los datos, selecciona US.

    Deja el resto de la configuración predeterminada como está.

  6. Haz clic en Crear conjunto de datos.

bq

Para crear un conjunto de datos nuevo, usa el comando bq mk --dataset.

  1. Crea un conjunto de datos llamado bqml_tutorial con la ubicación de los datos establecida en US:

    bq mk --dataset \
      --location=US \
      --description "BigQuery ML tutorial dataset." \
      bqml_tutorial
  2. Confirma que se haya creado el conjunto de datos:

    bq ls

API

Llama al método datasets.insert con un recurso de conjunto de datos definido:

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Crea una tabla de muestra

Usa la declaración CREATE TABLE para crear una tabla de comentarios de clientes multilingües en el conjunto de datos bqml_tutorial:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el editor de consultas, ejecuta la siguiente declaración:

    CREATE OR REPLACE TABLE `bqml_tutorial.customer_feedback` AS (
      SELECT
        *
      FROM
        UNNEST(
          [
            STRUCT<feedback_id INT64, feedback_text STRING>(
              1, 'El servicio de entrega fue rápido y confiable.'),
            (2, 'Je suis très satisfait de la qualité de ce produit.'),
            (3, 'Die Benutzeroberfläche der App ist sehr übersichtlich.'),
            (4, 'O suporte ao cliente resolveu meu problema com rapidez.')
          ])
    );

Traduce texto multilingüe

Usa la función AI.TRANSLATE para traducir los comentarios de los clientes al inglés (en). Cuando omites el argumento source_language, la API de Cloud Translation detecta automáticamente el idioma de origen de cada fila y traduce el texto con el modelo predeterminado de traducción automática neuronal (NMT):

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el editor de consultas, ejecuta la siguiente sentencia para traducir los comentarios al inglés:

    SELECT
      feedback_id,
      feedback_text,
      AI.TRANSLATE(feedback_text, 'en') AS translated_text
    FROM
      `bqml_tutorial.customer_feedback`;

    Para obtener una lista de los códigos de idioma de destino válidos, consulta los idiomas admitidos.

    El resultado es similar a lo siguiente:

    +-------------+-----------------------------+-----------------------------+
    | feedback_id | feedback_text               | translated_text             |
    +-------------+-----------------------------+-----------------------------+
    | 1           | El servicio de entrega fue  | The delivery service was    |
    |             | rápido y confiable.         | fast and reliable.          |
    +-------------+-----------------------------+-----------------------------+
    | 2           | Je suis très satisfait de   | I am very satisfied with    |
    |             | la qualité de ce produit.   | the quality of this         |
    |             |                             | product.                    |
    +-------------+-----------------------------+-----------------------------+
    | 3           | Die Benutzeroberfläche der  | The app's user interface is |
    |             | App ist sehr übersichtlich. | very clear.                 |
    +-------------+-----------------------------+-----------------------------+
    | 4           | O suporte ao cliente        | Customer support resolved   |
    |             | resolveu meu problema com   | my issue quickly.           |
    |             | rapidez.                    |                             |
    +-------------+-----------------------------+-----------------------------+
    

Devuelve los detalles de la traducción y los idiomas detectados

Cuando procesas texto de varias regiones, es posible que quieras registrar el idioma de origen detectado junto con cada traducción o verificar si hay errores por fila. Establece return_details => TRUE en la función AI.TRANSLATE para que devuelva un valor STRUCT que incluya el texto traducido, el estado de ejecución y los metadatos de la respuesta de la API:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el editor de consultas, ejecuta la siguiente sentencia para extraer el código de idioma detectado, el texto traducido y el estado de cada fila:

    WITH
      translations AS (
        SELECT
          feedback_id,
          AI.TRANSLATE(
            feedback_text,
            'en',
            return_details => TRUE) AS translation
        FROM
          `bqml_tutorial.customer_feedback`
      )
    SELECT
      feedback_id,
      STRING(translation.details.detected_language_code) AS detected_language,
      translation.result AS translated_text,
      translation.status
    FROM
      translations;

    El resultado es similar a lo siguiente:

    +-------------+-------------------+-----------------------------+--------+
    | feedback_id | detected_language | translated_text             | status |
    +-------------+-------------------+-----------------------------+--------+
    | 1           | es                | The delivery service was    | OK     |
    |             |                   | fast and reliable.          |        |
    +-------------+-------------------+-----------------------------+--------+
    | 2           | fr                | I am very satisfied with    | OK     |
    |             |                   | the quality of this         |        |
    |             |                   | product.                    |        |
    +-------------+-------------------+-----------------------------+--------+
    | 3           | de                | The app's user interface is | OK     |
    |             |                   | very clear.                 |        |
    +-------------+-------------------+-----------------------------+--------+
    | 4           | pt                | Customer support resolved   | OK     |
    |             |                   | my issue quickly.           |        |
    +-------------+-------------------+-----------------------------+--------+
    

    Cuando return_details se establece en TRUE, el STRUCT que se devuelve contiene los siguientes campos:

    • result: un valor STRING que contiene el texto traducido o NULL si se produce un error.
    • status: un valor STRING que contiene OK cuando la operación se realiza correctamente o un mensaje de error si se produce un error.
    • details: un valor JSON que contiene la respuesta de la API de Cloud Translation para la fila, incluido detected_language_code cuando el idioma de origen se detecta automáticamente, o detalles del error si se produce un error.

Traduce texto con el LLM de Translation

Para el texto que contiene lenguaje informal, jerga o sentimientos complejos, como opiniones de clientes o películas, configura model => 'translation-llm' en la función AI.TRANSLATE para usar el modelo de LLM de Translation en lugar del modelo de NMT predeterminado. Cuando conoces el idioma de la columna de entrada, también puedes especificar el argumento source_language:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el editor de consultas, ejecuta la siguiente sentencia para traducir cinco opiniones de películas en inglés de un conjunto de datos público al español (es):

    SELECT
      review,
      AI.TRANSLATE(
        review,
        'es',
        source_language => 'en',
        model => 'translation-llm') AS translated_review
    FROM
      `bigquery-public-data.imdb.reviews`
    LIMIT 5;

    El resultado es similar a lo siguiente:

    +------------------------------------+------------------------------------+
    | review                             | translated_review                  |
    +------------------------------------+------------------------------------+
    | Once again Mr. Costner has dragged | Una vez más, el Sr. Costner ha     |
    | out a movie for far longer than... | alargado una película mucho más... |
    +------------------------------------+------------------------------------+
    | This movie is amazing because the  | Esta película es increíble porque  |
    | fact that real people portray...   | las personas reales se...          |
    +------------------------------------+------------------------------------+
    | ...                                | ...                                |
    +------------------------------------+------------------------------------+
    

Realiza una limpieza

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos usados en este instructivo, borra el proyecto que contiene los recursos o conserva el proyecto y borra los recursos individuales.

Borra el proyecto

    Borra un proyecto de Google Cloud :

    gcloud projects delete PROJECT_ID

Borra los recursos individuales

Si quieres volver a usar el proyecto, borra el conjunto de datos que creaste para este instructivo:

Console

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. Borra el conjunto de datos bqml_tutorial Si borras el conjunto de datos, también se borrará la tabla customer_feedback:

    1. En el panel Explorador, expande tu proyecto y, luego, haz clic en Conjuntos de datos.

    2. En la lista Conjuntos de datos, haz clic en el conjunto de datos bqml_tutorial.

    3. En el panel de detalles, haz clic en Borrar.

    4. En el cuadro de diálogo Borrar conjunto de datos, haz clic en Borrar.

gcloud

  • Borra el conjunto de datos bqml_tutorial y la tabla customer_feedback:
bq rm --dataset --recursive bqml_tutorial

¿Qué sigue?