Crea una soluzione di analisi di visione ML con Dataflow e l'API Cloud Vision

Last reviewed 2024-05-23 UTC

In questa architettura di riferimento, scoprirai i casi d'uso, le alternative di progettazione e le considerazioni sulla progettazione durante il deployment di una pipeline Dataflow per elaborare i file immagine con Cloud Vision e archiviare i risultati elaborati in BigQuery. Puoi utilizzare i risultati archiviati per l'analisi dei dati su larga scala e per addestrare i modelli BigQuery ML.

Questo documento sull'architettura di riferimento è rivolto a data engineer e data scientist.

Architettura

Il seguente diagramma illustra il flusso di sistema per questa architettura di riferimento.

Un'architettura che mostra il flusso di informazioni per i processi di importazione e attivazione, elaborazione, archiviazione e analisi.

Come mostrato nel diagramma precedente, le informazioni fluiscono nel seguente modo:

  1. Importazione e attivazione: questa è la prima fase del flusso del sistema in cui le immagini entrano nel sistema. Durante questa fase, vengono eseguite le seguenti azioni:

    1. I client caricano i file immagine in un bucket Cloud Storage.
    2. Per ogni caricamento di file, Cloud Storage invia automaticamente una notifica di input pubblicando un messaggio in Pub/Sub.

  2. Elaborazione: questa fase segue immediatamente la fase di importazione e attivazione. Per ogni nuova notifica di input, vengono eseguite le seguenti azioni:

    1. La pipeline Dataflow rimane in ascolto di queste notifiche di input dei file, estrae i metadati dei file dal messaggio Pub/Sub e invia il riferimento al file all'API Vision per l'elaborazione.
    2. L'API Vision legge l'immagine e crea annotazioni.
    3. La pipeline Dataflow archivia le annotazioni prodotte dall'API Vision in tabelle BigQuery.

  3. Archiviazione e analisi: questa è la fase finale del flusso. In questa fase, puoi eseguire le seguenti operazioni con i risultati salvati:

    1. Eseguire query sulle tabelle BigQuery e analizzare le annotazioni archiviate.
    2. Utilizza BigQuery ML o Gemini Enterprise Agent Platform per creare modelli ed eseguire previsioni in base alle annotazioni archiviate.
    3. Eseguire ulteriori analisi nella pipeline Dataflow (non mostrata in questo diagramma).

Prodotti utilizzati

Questa architettura di riferimento utilizza i seguenti prodotti Google Cloud :

Casi d'uso

L'API Vision supporta diverse funzionalità di elaborazione, tra cui l'etichettatura delle immagini, il rilevamento di volti e punti di riferimento, il riconoscimento ottico dei caratteri, il tagging dei contenuti espliciti e altro ancora. Ognuna di queste funzionalità consente diversi casi d'uso applicabili a vari settori. Questo documento contiene alcuni semplici esempi di ciò che è possibile fare con l'API Vision, ma lo spettro delle possibili applicazioni è molto ampio.

L'API Vision offre anche modelli avanzati di machine learning preaddestrati tramite API REST e RPC. Puoi assegnare etichette alle immagini e classificarle in milioni di categorie predefinite. Ti aiuta a rilevare oggetti, leggere testo stampato o scritto a mano e inserire preziosi metadati nel tuo catalogo immagini.

Questa architettura non richiede l'addestramento del modello prima di poterlo utilizzare. Se hai bisogno di un modello personalizzato addestrato sui tuoi dati specifici, Agent Platform ti consente di addestrare un modello AutoML o un modello personalizzato per obiettivi di visione artificiale, come la classificazione delle immagini e il rilevamento di oggetti. In alternativa, puoi utilizzare Gemini Enterprise Agent Platform Vision per un ambiente di sviluppo delle applicazioni end-to-end che ti consente di creare, fare il deployment e gestire applicazioni di visione artificiale.

Alternative di progettazione

Anziché archiviare le immagini in un bucket Google Cloud Storage, il processo che le produce può pubblicarle direttamente in un sistema di messaggistica, ad esempio Pub/Sub, e la pipeline Dataflow può inviarle direttamente all'API Vision.

Questa alternativa di progettazione può essere una buona soluzione per i casi d'uso sensibili alla latenza in cui è necessario analizzare immagini di dimensioni relativamente ridotte. Pub/Sub limita la dimensione massima del messaggio a 10 MB.

Se devi elaborare in batch un numero elevato di immagini, puoi utilizzare un'API asyncBatchAnnotate appositamente progettata.

Considerazioni sulla progettazione

Questa sezione descrive le considerazioni di progettazione per questa architettura di riferimento:

Sicurezza, privacy e conformità

Le immagini ricevute da origini non attendibili possono contenere malware. Poiché l'API Vision non esegue alcuna operazione in base alle immagini che analizza, il malware basato su immagini non influisce sull'API. Se devi scansionare le immagini, modifica la pipeline Dataflow per aggiungere un passaggio di scansione. Per ottenere lo stesso risultato, puoi anche utilizzare una sottoscrizione separata all'argomento Pub/Sub ed eseguire la scansione delle immagini in un processo separato.

Per saperne di più, consulta Automatizza la scansione malware per i file caricati su Cloud Storage.

L'API Vision utilizza Identity and Access Management (IAM) per l'autenticazione. Per accedere all'API Vision, l'entità di sicurezza deve avere l'accesso Cloud Storage > Storage Object Viewer (roles/storage.objectViewer) al bucket che contiene i file che vuoi analizzare.

Per i principi e i suggerimenti di sicurezza specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: sicurezza nel Well-Architected Framework.

Ottimizzazione dei costi

Rispetto alle altre opzioni discusse, come l'elaborazione a bassa latenza e l'elaborazione batch asincrona, questa architettura di riferimento utilizza un modo conveniente per elaborare le immagini nelle pipeline di streaming raggruppando le richieste API in batch. Lo streaming diretto di immagini a bassa latenza menzionato nella sezione Alternative di progettazione potrebbe essere più costoso a causa dei costi aggiuntivi di Pub/Sub e Dataflow. Per l'elaborazione delle immagini che non deve avvenire entro pochi secondi o minuti, puoi eseguire la pipeline di Dataflow in modalità batch. L'esecuzione della pipeline in modalità batch può offrire alcuni risparmi rispetto ai costi di esecuzione della pipeline di streaming.

L'API Vision supporta l'annotazione di immagini in batch asincrono offline per tutte le funzionalità. La richiesta asincrona supporta fino a 2000 immagini per batch. In risposta, l'API Vision restituisce file JSON archiviati in un bucket Cloud Storage.

L'API Vision fornisce anche un insieme di funzionalità per l'analisi delle immagini. I prezzi sono per immagine e per funzionalità. Per ridurre i costi, richiedi solo le funzionalità specifiche di cui hai bisogno per la tua soluzione.

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il calcolatore prezzi.

Per i principi e i suggerimenti di ottimizzazione dei costi specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: ottimizzazione dei costi nel Well-Architected Framework.

Ottimizzazione delle prestazioni

L'API Vision è un'API che richiede molte risorse. Per questo motivo, l'elaborazione delle immagini su larga scala richiede un'orchestrazione attenta delle chiamate API. La pipeline Dataflow si occupa di raggruppare le richieste API, gestire correttamente le eccezioni relative al raggiungimento delle quote e produrre metriche personalizzate dell'utilizzo delle API. Queste metriche possono aiutarti a decidere se è necessario un aumento della quota dell'API o se i parametri della pipeline di Dataflow devono essere modificati per ridurre la frequenza delle richieste. Per saperne di più sull'aumento delle richieste di quota per l'API Vision, consulta Quote e limiti.

La pipeline Dataflow ha diversi parametri che possono influire sulle latenze di elaborazione. Per ulteriori informazioni su questi parametri, consulta Esegui il deployment di una soluzione di analisi visiva ML con Dataflow e l'API Vision.

Per i principi e i suggerimenti di ottimizzazione delle prestazioni specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: ottimizzazione delle prestazioni nel Well-Architected Framework.

Deployment

Per eseguire il deployment di questa architettura, consulta Esegui il deployment di una soluzione di analisi visiva ML con Dataflow e l'API Vision.

Passaggi successivi

Collaboratori

Autori:

Altri collaboratori: