Modello Pub/Sub to MongoDB

Il template Da Pub/Sub a MongoDB è una pipeline di streaming che legge i messaggi con codifica JSON da una sottoscrizione Pub/Sub e li scrive in MongoDB come documenti. Se necessario, questa pipeline supporta trasformazioni aggiuntive che possono essere incluse utilizzando una funzione definita dall'utente (UDF) JavaScript.

Se si verificano errori durante l'elaborazione dei record, il template li scrive in una tabella BigQuery, insieme al messaggio di input. Ad esempio, potrebbero verificarsi errori a causa di una mancata corrispondenza dello schema, di un JSON non valido o durante l'esecuzione delle trasformazioni. Specifica il nome della tabella nel parametro deadletterTable. Se la tabella non esiste, la pipeline la crea automaticamente.

Requisiti della pipeline

  • La sottoscrizione Pub/Sub deve esistere e i messaggi devono essere codificati in un formato JSON valido.
  • Il cluster MongoDB deve esistere e deve essere accessibile dalle macchine worker di Dataflow.

Parametri del modello

Parametri obbligatori

  • inputSubscription: il nome della sottoscrizione Pub/Sub. Ad esempio, projects/your-project-id/subscriptions/your-subscription-name.
  • mongoDBUri: elenco separato da virgole dei server MongoDB. Ad esempio, host1:port,host2:port,host3:port.
  • database: database in MongoDB in cui archiviare la raccolta. Ad esempio, my-db.
  • collection: il nome della raccolta nel database MongoDB. Ad esempio, my-collection.
  • deadletterTable: la tabella BigQuery che archivia i messaggi causati da errori, ad esempio schema non corrispondente, JSON non valido e così via. Ad esempio, your-project-id:your-dataset.your-table-name.

Parametri facoltativi

  • batchSize: dimensione del batch utilizzata per l'inserimento in batch dei documenti in MongoDB. Il valore predefinito è 1000.
  • batchSizeBytes: dimensioni del batch in byte. Il valore predefinito è 5242880.
  • maxConnectionIdleTime: tempo di inattività massimo consentito in secondi prima che si verifichi il timeout della connessione. Valore predefinito: 60000.
  • sslEnabled: valore booleano che indica se la connessione a MongoDB è abilitata per SSL. Valore predefinito: true.
  • ignoreSSLCertificate: valore booleano che indica se ignorare il certificato SSL. Valore predefinito: true.
  • withOrdered: valore booleano che attiva gli inserimenti collettivi ordinati in MongoDB. Valore predefinito: true.
  • withSSLInvalidHostNameAllowed: valore booleano che indica se è consentito un nome host non valido per la connessione SSL. Valore predefinito: true.
  • javascriptTextTransformGcsPath: l'URI Cloud Storage del file .js che definisce la funzione definita dall'utente (UDF) JavaScript da utilizzare. Ad esempio, gs://my-bucket/my-udfs/my_file.js.
  • javascriptTextTransformFunctionName: il nome della funzione definita dall'utente (UDF) JavaScript da utilizzare. Ad esempio, se il codice della funzione JavaScript è myTransform(inJson) { /*...do stuff...*/ }, il nome della funzione è myTransform. Per esempi di UDF JavaScript, consulta Esempi di UDF (https://github.com/GoogleCloudPlatform/DataflowTemplates#udf-examples).
  • javascriptTextTransformReloadIntervalMinutes: specifica la frequenza di ricaricamento della funzione definita dall'utente, in minuti. Se il valore è maggiore di 0, Dataflow controlla periodicamente il file della funzione definita dall'utente in Cloud Storage e ricarica la funzione definita dall'utente se il file viene modificato. Questo parametro consente di aggiornare la funzione definita dall'utente mentre la pipeline è in esecuzione, senza dover riavviare il job. Se il valore è 0, il ricaricamento delle UDF è disabilitato. Il valore predefinito è 0.

Funzione definita dall'utente

Se vuoi, puoi estendere questo modello scrivendo una funzione definita dall'utente (UDF). Il template chiama la funzione definita dall'utente per ogni elemento di input. I payload degli elementi vengono serializzati come stringhe JSON. Per saperne di più, consulta Crea funzioni definite dall'utente per i template Dataflow.

Specifica della funzione

La funzione definita dall'utente ha la seguente specifica:

  • Input: una singola riga di un file CSV di input.
  • Output: un documento JSON convertito in stringa da inserire in MongoDB.

Esegui il modello

Console

  1. Vai alla pagina Crea job da modello di Dataflow.
  2. Vai a Crea job da modello
  3. Nel campo Nome job, inserisci un nome job univoco.
  4. (Facoltativo) Per Endpoint a livello di regione, seleziona un valore dal menu a discesa. La regione predefinita è us-central1.

    Per un elenco delle regioni in cui puoi eseguire un job Dataflow, consulta Località di Dataflow.

  5. Dal menu a discesa Modello Dataflow, seleziona il modello Da Pub/Sub a MongoDB.
  6. Nei campi dei parametri forniti, inserisci i valori dei parametri.
  7. Fai clic su Esegui job.

gcloud

Nella shell o nel terminale, esegui il template:

gcloud dataflow flex-template run JOB_NAME \
    --project=PROJECT_ID \
    --region=REGION_NAME \
    --template-file-gcs-location=gs://dataflow-templates/VERSION/flex/Cloud_PubSub_to_MongoDB \
    --parameters \
inputSubscription=INPUT_SUBSCRIPTION,\
mongoDBUri=MONGODB_URI,\
database=DATABASE,
collection=COLLECTION,
deadletterTable=UNPROCESSED_TABLE
  

Sostituisci quanto segue:

  • PROJECT_ID: l'ID progetto Google Cloud in cui vuoi eseguire il job Dataflow
  • REGION_NAME: la regione in cui vuoi eseguire il deployment del job Dataflow, ad esempio us-central1
  • JOB_NAME: un nome job univoco di tua scelta
  • VERSION: la versione del template che vuoi utilizzare

    Puoi utilizzare i seguenti valori:

    • latest per utilizzare l'ultima versione del template, disponibile nella cartella padre senza data nel bucket: gs://dataflow-templates/latest/
    • il nome della versione, ad esempio 2023-09-12-00_RC00, per utilizzare una versione specifica del template, che si trova nidificata nella rispettiva cartella padre con data nel bucket: gs://dataflow-templates/
  • INPUT_SUBSCRIPTION: la sottoscrizione Pub/Sub (ad esempio, projects/my-project-id/subscriptions/my-subscription-id)
  • MONGODB_URI: gli indirizzi dei server MongoDB (ad esempio, 192.285.234.12:27017,192.287.123.11:27017)
  • DATABASE: il nome del database MongoDB (ad esempio, users)
  • COLLECTION: il nome della raccolta MongoDB (ad esempio, profiles)
  • UNPROCESSED_TABLE: il nome della tabella BigQuery (ad esempio your-project:your-dataset.your-table-name)

API

Per eseguire il template utilizzando l'API REST, invia una richiesta POST HTTP. Per saperne di più sull'API e sui relativi ambiti di autorizzazione, consulta projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch
{
   "launch_parameter": {
      "jobName": "JOB_NAME",
      "parameters": {
          "inputSubscription": "INPUT_SUBSCRIPTION",
          "mongoDBUri": "MONGODB_URI",
          "database": "DATABASE",
          "collection": "COLLECTION",
          "deadletterTable": "UNPROCESSED_TABLE"
      },
      "containerSpecGcsPath": "gs://dataflow-templates/VERSION/flex/Cloud_PubSub_to_MongoDB",
   }
}
  

Sostituisci quanto segue:

  • PROJECT_ID: l'ID progetto Google Cloud in cui vuoi eseguire il job Dataflow
  • LOCATION: la regione in cui vuoi eseguire il deployment del job Dataflow, ad esempio us-central1
  • JOB_NAME: un nome job univoco di tua scelta
  • VERSION: la versione del template che vuoi utilizzare

    Puoi utilizzare i seguenti valori:

    • latest per utilizzare l'ultima versione del template, disponibile nella cartella padre senza data nel bucket: gs://dataflow-templates/latest/
    • il nome della versione, ad esempio 2023-09-12-00_RC00, per utilizzare una versione specifica del template, che si trova nidificata nella rispettiva cartella padre con data nel bucket: gs://dataflow-templates/
  • INPUT_SUBSCRIPTION: la sottoscrizione Pub/Sub (ad esempio, projects/my-project-id/subscriptions/my-subscription-id)
  • MONGODB_URI: gli indirizzi dei server MongoDB (ad esempio, 192.285.234.12:27017,192.287.123.11:27017)
  • DATABASE: il nome del database MongoDB (ad esempio, users)
  • COLLECTION: il nome della raccolta MongoDB (ad esempio, profiles)
  • UNPROCESSED_TABLE: il nome della tabella BigQuery (ad esempio your-project:your-dataset.your-table-name)

Passaggi successivi