Panoramica di Document AI Warehouse

Attenzione: Document AI Warehouse è deprecato e non sarà più disponibile su Google Cloud dopo il 16 gennaio 2025. Per salvaguardare i tuoi dati, esegui la migrazione di tutti i documenti attualmente salvati in Document AI Warehouse a un'alternativa come Cloud Storage. Verifica che la migrazione dei dati sia stata completata prima della data di ritiro per evitare la perdita di dati. Per informazioni dettagliate, vedi i ritiri.

Panoramica concettuale

Document AI Warehouse è una piattaforma integrata basata su cloud per archiviare, cercare, organizzare, gestire e analizzare documenti e relativi metadati strutturati (chiamati proprietà). I documenti includono documenti strutturati (ad es. moduli, fatture) e non strutturati (ad es. contratti, documenti di ricerca) e le relative proprietà (metadati) includono dati estratti dai documenti tramite AI e tag assegnati manualmente o tramite AI (ad es. numero di conto bancario, ID prestito, tipo di documento).

Funzionalità e vantaggi principali

Document AI Warehouse offre diversi vantaggi rispetto ai repository legacy. Di seguito sono riportate alcune funzionalità e vantaggi:

• API-first: un'unica API integrata per gestire i documenti e le relative proprietà (metadati estratti o taggati), che si integra nei tuoi flussi di lavoro e nelle tue applicazioni.
• Gestione dei metadati: per gestire i metadati estratti e con tag.
• Governance: integrazione con IAM e directory aziendali
  • Il controllo granulare dell'accesso (autorizzazioni) a livello di documento e cartella può essere assegnato a utenti e gruppi per visualizzare, modificare, gestire (condividere, eliminare) i documenti.
  • Document AI Warehouse è integrato con IAM (Cloud Identity), in modo che gli utenti e i gruppi possano essere sottoposti a provisioning in Cloud Identity
  • Gli utenti/gruppi possono anche essere federati/sincronizzati in Cloud Identity da un provider di identità / LDAP aziendale, ad esempio Azure AD, Active Directory e Keycloak.
• Ricerca: il prodotto supporta la ricerca semantica avanzata, incluse le seguenti funzionalità:
  • Ricerca a testo intero
  • Filtrare i risultati di ricerca per proprietà (data, numerico, enumerazione, testo). I filtri possono essere combinati con gli operatori AND e OR
  • Ricerca semantica: supporta sinonimi comuni, errori ortografici e stemming. Nella query è possibile utilizzare le virgolette (" ") per specificare parole chiave a corrispondenza esatta
  • Sinonimi personalizzati, ad esempio termini specifici di settore o specifici dell'azienda.
  • Eseguire ricerche all'interno di una gerarchia di cartelle principali
  • Operatori per le parole chiave per la rete di ricerca: "" corrispondenza esatta, | o, + e, - escludi
• Organizzazione: gestione flessibile delle cartelle
  • I documenti possono essere catalogati in una o più cartelle, in base all'applicazione (ad esempio, un documento d'identità viene inserito in una cartella KYC, una cartella di prestito o una cartella di conto bancario), senza replica del documento.
  • Queste cartelle hanno proprietà e controllo degli accessi propri, indipendenti dalle proprietà e controllo dell'accesso dei documenti.
  • Le cartelle possono essere nidificate in una o più gerarchie [ad esempio, AllLoans->State->Branch->Loans o LoanTypes->Loans].
  • Gli utenti possono cercare i documenti all'interno di una gerarchia di cartelle, ad esempio cercare all'interno di AllLoans->State
• UI^*: il prodotto include un'interfaccia utente accessibile dal web con le seguenti funzionalità:
  • Esplora documenti: cerca documenti, filtra i risultati di ricerca, seleziona documenti per aggiornare in blocco le proprietà o eliminarli
  • Visualizzatore di documenti: visualizza i documenti, visualizza/aggiorna le relative proprietà,assegna ACL, aggiungi alle cartelle
  • Carica: carica i documenti ed eseguili tramite un estrattore DocAI^** (OCR o un parser specializzato supportato come Invoice DocAI).
  • Esplora cartelle: aggiungi documenti a una o più cartelle, esplora la gerarchia delle cartelle.
  • UI incorporabile: i componenti Esplora documenti e Visualizzatore documenti (per i PDF) possono essere integrati nelle applicazioni del cliente
• Connettori^*** a repository on-premise e Cloud Repository comuni: forniamo un connettore da Cloud Storage a Document AI Warehouse (come modello separato basato su Google Workflows) che può essere personalizzato/esteso ad altri repository. Collaboriamo anche con partner per fornire connettori pronti all'uso per repository come Sharepoint, Amazon S3, IBM FileNet e altri, per importare e indicizzare i documenti.
• Flessibilità di migrazione e federazione: il prodotto supporta un'architettura flessibile che consente la migrazione dei contenuti dei documenti in Document AI Warehouse o l'utilizzo in loco se sono presenti vincoli nella migrazione dei contenuti (indichiamo semplicemente contenuti e metadati).
• Integrazione con i flussi di lavoro dei documenti: si integra con Google Workflows e altri flussi di lavoro di elaborazione dei documenti supportando:
  • Proprietà: rappresentano lo stato di un documento in un flusso di lavoro e le API che i flussi di lavoro possono utilizzare per aggiornare lo stato dei documenti
  • Interfaccia di Document Explorer: per monitorare l'avanzamento dei documenti attraverso una pipeline del flusso di lavoro, consentendo a un essere umano di ispezionare e gestire gli errori e i documenti bloccati nella pipeline del flusso di lavoro.
  • Notifiche condizionali: i documenti che soddisfano determinate condizioni possono attivare/notificare un workflow tramite un argomento Pub/Sub o una chiamata API web: ad esempio, Trigger: OnUpdate; Condizione: (DocType=Invoice and TotalAmount>$1000) -> invia notifica Pub/Sub
• Gestione delle policy e applicazione della conformità: le notifiche condizionali e le notifiche pianificate possono essere utilizzate per attivare workflow che applicano le policy (ad esempio, gestione dei record, conservazione e disposizione, blocchi legali) su documenti specifici in Document AI Warehouse.
• File supportati: PDF di testo, immagini (PDF scansionati, file TIFF, file JPEG), file di Office (DOCX, PPTX, XLSX) sottoposti a OCR e indicizzati.
  • Nota: sebbene il prodotto sia incentrato sui documenti, viene utilizzato anche per gestire le immagini associate (ad esempio in verticali come assicurazioni, ingegneria, edilizia, ricerca e così via).

• Integrazione con DocAI: Document AI Warehouse è integrato con i processori di Document AI a diversi livelli:

  • Elaborazione con l'AI dei documenti nell'interfaccia utente: l'interfaccia utente di Document AI Warehouse consente agli utenti di caricare file PDF/TIFF scansionati o tipi di documenti speciali, entrambi estratti automaticamente dalla funzionalità OCR di Document AI o da processori specializzati rispettivamente prima che il documento venga indicizzato in Document AI Warehouse.
  • Gestione delle pipeline di Document AI in modalità batch^***: Document AI Warehouse si integra con Workflows per fornire modelli che elaborano pipeline di documenti in modalità batch tramite l'estrazione e la classificazione di Document AI. Questo non è un compito semplice, perché comporta operazioni a lunga esecuzione (LRO) e chiamate API asincrone che devono essere gestite in caso di errori e nuovi tentativi. Il template Workflows orchestra queste pipeline. L'interfaccia utente di Document AI Warehouse può essere utilizzata per cercare e monitorare il flusso dei documenti attraverso queste pipeline, visualizzare l'output di Document AI per gli errori in ogni passaggio della pipeline e intervenire sui documenti bloccati o con errori.

^*L'interfaccia utente è in anteprima e dovrebbe essere disponibile a breve.

^**Le funzionalità OCR e altri estrattori di documenti sono disponibili nei prodotti Document AI, ma non sono inclusi in Document AI Warehouse.

^***Queste funzionalità non fanno parte di Document AI Warehouse. Queste funzionalità sono abilitate da script e componenti open source esterni che i clienti possono personalizzare o di cui possono eseguire il deployment e che non sono implementati in Document AI Warehouse.

Disclaimer e limitazioni note

Per saperne di più su disclaimer e limitazioni note, consulta Disclaimer e limitazioni note

Terminologia

Di seguito sono riportati i termini utilizzati in Document AI Warehouse.

Termini, concetti	Definizione, esempi
Documento	Un record in Document AI Warehouse in cui gli utenti possono cercare, gestire e applicare controllo dell'accesso. È composto dal documento non elaborato e da alcuni metadati associati. [Le immagini archiviate in Document AI Warehouse sono chiamate anche "Documenti"]
Documento non elaborato [Contenuto]	Il file di contenuti non elaborati (PDF/immagine/binario/blob) del documento.
Schema [Document Type]	Ogni documento è di un determinato tipo ed è specificato da uno schema. Ad esempio, una fattura contiene il seguente schema: nome del fornitore, nome del venditore, importo della fattura e così via.
Proprietà [Metadati]	Campi dello schema del documento che possono essere estratti dal documento o arricchiti (etichettati) dagli utenti. Attualmente i metadati includono i seguenti tipi: valori di testo libero, enum, numerici, data, mappa (una gerarchia JSON di coppie chiave-valore). In futuro prevediamo di supportare i tipi booleano, monetario e altri.
Estrattori di documenti (DocAI e altri)	I documenti possono essere estratti da una pipeline AI, in modo che le estrazioni possano essere importate e gestite in Document AI Warehouse (come metadati) insieme al documento non elaborato. L'estrazione può essere eseguita da Parser specializzati di Document AI (per moduli di approvvigionamento, moduli di prestito e altri) OCR, AutoML, analizzatore di moduli (per immagini come TIFF/PNG/ecc.) Altri modelli personalizzati Strumenti di estrazione del testo per formati di documenti specializzati come PDF, documenti Office e altri. Tieni presente che Document AI Warehouse può funzionare con qualsiasi pipeline di estrazione che chiama le API Document AI Warehouse per importare/aggiornare i documenti.
Cartelle	Una cartella è una raccolta virtuale di documenti (virtuale perché lo stesso documento può essere contenuto in una o più cartelle). Ha un "Tipo di documento/schema" e contiene metadati ed elenchi di controllo dell'accesso proprio come i documenti. Per aggiungere un documento a una cartella, un utente deve disporre dell'autorizzazione di modifica per la cartella e dell'autorizzazione di visualizzazione per il documento.
Link	I link vengono utilizzati per aggiungere documenti alle cartelle o per collegare documenti correlati tra loro. I link non hanno un "Tipo di link"
Documenti correlati	I documenti possono essere correlati tramite link direzionali da un documento all'altro.
Autorizzazioni per i link	Un utente deve disporre dell'autorizzazione di modifica per l'oggetto di origine del link (ad es. una cartella) e dell'autorizzazione di visualizzazione per l'oggetto di destinazione del link (ad es. un documento) per poter aggiungere un documento a una cartella
Policy	Una policy valutata quando un documento o una cartella viene creato o aggiornato e utilizzata per convalidare o aggiornare i metadati del documento, gli ACL o per aggiungere, spostare o rimuovere documenti dalle cartelle. Una policy comprende: Un trigger, ad esempio, su DocUpdate/DocCreate Condizione, ad esempio Invoice.Amount <$1000 Azione, ad esempio Aggiorna metadati documento, Restituisci valutazione condizione, Aggiungi documento alla cartella e così via. In genere, una policy è associata a un tipo di documento. È espresso in un Common Expression Language low-code (formato JSON, specificato di seguito)
Policy di notifica	È un tipo speciale di policy in cui l'azione consiste nel pubblicare un messaggio in un argomento Pub/Sub quando viene soddisfatta una determinata condizione. Le applicazioni / i workflow di consumo possono utilizzare il messaggio per attivare azioni sui documenti o su altre parti di un workflow aziendale.
Policy Engine, API Policy	Motore: il server che valuta le policy e intraprende azioni API: API Admin utilizzata per creare/aggiornare/leggere/eliminare le policy.
Ricerca con facet	Un facet è un filtro dei metadati utilizzato in una query di ricerca. Ad esempio, la ricerca di estratti conto bancari con i filtri "Mese = marzo 2021" e "Stato della filiale = CA" filtra i risultati di ricerca in base a questi due aspetti. La categoria è in genere un campo enumerato. In futuro supporteremo i facet di tipo data e numerici. I facet per un tipo di documento vengono specificati nello schema del documento dagli amministratori (tramite l'API Admin)
Ricerca semantica	La ricerca semantica supporta sinonimi o termini "semanticamente correlati" nella query di ricerca. Ad esempio, "patente di guida" restituisce "permesso di guida".
Istogramma di ricerca	L'istogramma è una funzionalità dell'API di ricerca che restituisce la distribuzione (conteggi) dei risultati di ricerca per facet. Ad esempio, i risultati di ricerca per Patente di guida restituiscono l'istogramma "CA 500, NV 150…"
Accesso universale e controllo dell'accesso a livello di documento	In Document AI Warehouse sono supportate due modalità di accesso per ogni progetto Accesso universale: qualsiasi utente può accedere a qualsiasi documento del progetto. L'accesso all'API è controllato per gli account utente o i service account, ma non sono presenti autorizzazioni a livello di documento ACL a livello di documento: agli utenti vengono concesse autorizzazioni a livello di documento. Ogni documento ha autorizzazioni di lettura/aggiornamento/eliminazione assegnate a utenti/gruppi.