Présentation du concept
Document AI Warehouse est une plate-forme intégrée dans le cloud permettant de stocker, de rechercher, d'organiser, de gérer et d'analyser des documents et leurs métadonnées structurées (appelées propriétés). Les documents incluent des données structurées (par exemple, des formulaires, des factures) et non structurées (par exemple, des contrats, des articles de recherche). Leurs propriétés (métadonnées) incluent des données extraites des documents par l'IA et des tags attribués manuellement ou par l'IA (par exemple, numéro de compte, ID de prêt, type de document).
Principaux avantages et fonctionnalités
Document AI Warehouse offre plusieurs avantages par rapport aux anciens dépôts. Voici quelques-unes de ses fonctionnalités et de ses avantages :
- Orienté API : une seule API intégrée pour gérer les documents et leurs propriétés (métadonnées extraites ou taguées), qui s'intègre à vos workflows et applications.
- Gestion des métadonnées : pour gérer les métadonnées extraites et taguées.
- Gouvernance : intégration à IAM et aux annuaires d'entreprise
- Un contrôle d'accès précis (autorisations) au niveau des documents et des dossiers peut être attribué aux utilisateurs et aux groupes pour consulter, modifier et gérer (partager et supprimer) les documents.
- Document AI Warehouse est intégré à IAM (Cloud Identity), ce qui permet de provisionner des utilisateurs et des groupes dans Cloud Identity.
- Les utilisateurs/groupes peuvent également être fédérés/synchronisés dans Cloud Identity à partir d'un fournisseur d'identité / LDAP d'entreprise, tel qu'Azure AD, Active Directory ou Keycloak.
- Recherche : le produit est compatible avec la recherche sémantique enrichie, y compris les fonctionnalités suivantes :
- Recherche en texte intégral
- Filtrer les résultats de recherche par propriété (date, valeur numérique, énumération, texte)
Les filtres peuvent être combinés avec les opérateurs
ANDetOR. - Recherche sémantique : prise en charge des synonymes et des fautes d'orthographe courants, ainsi que de la racinisation. Vous pouvez utiliser des guillemets (" ") dans la requête pour spécifier des mots clés exacts.
- Synonymes personnalisés : termes spécifiques à un secteur ou à une entreprise, par exemple.
- Rechercher dans une hiérarchie de dossiers racine
- Opérateurs pour les mots clés de recherche :
""mot clé exact,|ou,+et,-exclure
- Organisation : gestion flexible des dossiers
- Les documents peuvent être classés dans un ou plusieurs dossiers, en fonction de l'application (par exemple, une carte d'identité est placée dans un dossier KYC, un dossier de prêt ou un dossier de compte bancaire) sans répliquer les documents.
- Ces dossiers disposent de propriétés et de contrôles d'accès indépendants de ceux des documents.
- Les dossiers peuvent être imbriqués dans une ou plusieurs hiérarchies (par exemple, TousLesPrêts -> État -> Agence -> Prêts ou TypesDePrêts -> Prêts).
- Les utilisateurs peuvent rechercher des documents dans une hiérarchie de dossiers (par exemple, rechercher dans AllLoans -> State).
- UI* : le produit inclut une UI accessible sur le Web avec les fonctionnalités suivantes :
- Explorateur de documents : recherchez des documents, filtrez les résultats de recherche, sélectionnez des documents pour mettre à jour leurs propriétés de manière groupée ou les supprimer
- Lecteur de documents : afficher des documents, afficher/modifier leurs propriétés,attribuer des LCA, ajouter des documents à des dossiers
- Importer : importez des documents et exécutez-les via un extracteur DocAI** (OCR ou analyseur spécialisé compatible tel que Invoice DocAI).
- Explorateur de dossiers : ajoutez des documents à un ou plusieurs dossiers, et explorez la hiérarchie des dossiers.
- UI intégrable : les composants Explorateur de documents et Lecteur de documents (pour les PDF) peuvent être intégrés aux applications du client
- Connecteurs*** vers des dépôts cloud et sur site courants : nous fournissons un connecteur Cloud Storage vers Document AI Warehouse (sous la forme d'un modèle distinct basé sur Google Workflows) qui peut être personnalisé/étendu à d'autres dépôts. Nous collaborons également avec des partenaires pour fournir des connecteurs prêts à l'emploi vers des dépôts tels que Sharepoint, Amazon S3, IBM FileNet et d'autres, afin d'ingérer et d'indexer des documents.
- Flexibilité de la migration et de la fédération : le produit présente une architecture flexible qui permet de migrer le contenu de vos documents vers Document AI Warehouse ou de le conserver si la migration du contenu présente des contraintes (nous indexons simplement le contenu et les métadonnées).
- Intégration aux workflows de documents : s'intègre à Google Workflows et à d'autres workflows de traitement de documents en prenant en charge les éléments suivants :
- Propriétés : représentent l'état d'un document dans un workflow et les API que les workflows peuvent utiliser pour mettre à jour l'état des documents.
- Interface de l'explorateur de documents : permet de suivre la progression des documents via un pipeline de workflow. Vous pouvez ainsi inspecter et gérer les échecs et les documents bloqués dans le pipeline de workflow.
- Notifications conditionnelles : les documents répondant à certaines conditions peuvent déclencher/notifier un workflow via un sujet Pub/Sub ou un appel d'API Web. Par exemple, Déclencheur : OnUpdate ; Condition : (DocType=Invoice et TotalAmount>$1000) -> envoyer une notification Pub/Sub
- Gestion des règles et application de la conformité : les notifications conditionnelles et planifiées peuvent être utilisées pour déclencher des workflows qui appliquent des règles (par exemple, gestion des enregistrements, conservation et disposition, obligations de conservation) sur des documents spécifiques dans Document AI Warehouse.
- Fichiers compatibles : fichiers PDF textuels, images (fichiers PDF numérisés, fichiers TIFF, fichiers JPEG), fichiers Office (DOCX, PPTX, XLSX) traités par reconnaissance optique des caractères et indexés.
- Remarque : Bien que le produit soit axé sur les documents, il est également utilisé pour gérer les images associées (par exemple, dans des secteurs tels que l'assurance, l'ingénierie, la construction, la recherche, etc.).
Intégration à DocAI : Document AI Warehouse est intégré aux processeurs Document AI à plusieurs niveaux :
- Traitement Document AI dans l'interface utilisateur : l'interface utilisateur de Document AI Warehouse permet aux utilisateurs d'importer des fichiers PDF/TIFF numérisés ou des types de documents spéciaux, qui sont automatiquement extraits par la reconnaissance optique des caractères (OCR) de Document AI ou par des processeurs spécialisés, avant l'indexation du document dans Document AI Warehouse.
- Gérer les pipelines Document AI par lot*** : Document AI Warehouse s'intègre à Workflows et fournit des modèles de pipelines de traitement de documents par lot grâce à l'extraction et à la classification Document AI. Cette opération n'est pas anodine, car elle implique des opérations de longue durée (LRO) et des appels d'API asynchrones qui doivent être gérés en cas d'échec et de nouvelle tentative. Le modèle Workflows orchestre ces pipelines. L'UI de Document AI Warehouse peut être utilisée pour rechercher et suivre le flux de documents via ces pipelines, visualiser le résultat de Document AI pour les échecs à chaque étape du pipeline et prendre des mesures pour les documents bloqués/en échec.
* L'interface utilisateur est en version preview et devrait bientôt être en disponibilité générale.
**La reconnaissance optique des caractères (OCR) et d'autres extracteurs de documents sont disponibles dans les produits Document AI, mais ne sont pas inclus dans Document AI Warehouse.
***Ces fonctionnalités ne font pas partie de Document AI Warehouse. Ces fonctionnalités sont activées par des composants et des scripts Open Source externes que les clients peuvent déployer ou personnaliser. Elles ne sont pas implémentées dans Document AI Warehouse.
Clauses de non-responsabilité et limites connues
Pour en savoir plus sur les clauses de non-responsabilité et les limites connues, consultez Clauses de non-responsabilité et limites connues.
Terminologie
Voici les termes utilisés dans Document AI Warehouse.
| Termes et concepts | Définition, exemples |
| Document | Enregistrement dans Document AI Warehouse que les utilisateurs peuvent rechercher, gérer et sur lequel ils peuvent appliquer un contrôle des accès. Il comprend le document brut et certaines métadonnées associées.
[Les images stockées dans Document AI Warehouse sont également appelées "documents"] |
| Document brut [Contenu] | Fichier de contenu brut (pdf/image/binaire/blob) du document. |
| Schéma [Type de document] | Chaque document est d'un certain type et est spécifié par un schéma. Par exemple, une facture contient le schéma suivant : nom du fournisseur, nom du vendeur, montant de la facture, etc. |
| Propriété [Métadonnées] | Champs du schéma de document qui peuvent être extraits du document ou enrichis (étiquetés) par les utilisateurs. Actuellement, les métadonnées incluent les types suivants : valeurs de texte libre, énumération, numérique, date, carte (une hiérarchie JSON de paires clé-valeur). Nous prévoyons de prendre en charge les types booléens, monétaires et autres à l'avenir. |
| Extracteurs de documents (DocAI et autres) | Les documents peuvent être extraits par un pipeline d'IA, de sorte que les extractions puissent être ingérées et gérées dans Document AI Warehouse (en tant que métadonnées) avec le document brut. L'extraction peut être effectuée par
|
| Dossiers | Un dossier est une collection virtuelle de documents (virtuelle, car un même document peut être contenu dans un ou plusieurs dossiers). Il possède un "Type/Schéma de document" et contient des métadonnées et des listes de contrôle d'accès, tout comme les documents.
Un utilisateur doit disposer de l'autorisation de modification pour le dossier et de l'autorisation d'affichage pour le document afin d'ajouter un document à un dossier. |
| Liens | Les liens permettent d'ajouter des documents à des dossiers ou d'associer des documents connexes entre eux. Les liens n'ont pas de "Type de lien" |
| Documents associés | Les documents peuvent être liés par des liens directionnels d'un document à un autre. |
| Autorisations d'association | Un utilisateur doit disposer de l'autorisation de modification pour l'objet source (par exemple, un dossier) et de l'autorisation d'affichage pour l'objet cible (par exemple, un document) afin d'ajouter un document à un dossier. |
| Règle | Règle évaluée lorsqu'un document ou un dossier est créé ou mis à jour, et utilisée pour valider ou mettre à jour les métadonnées du document, les LCA ou pour ajouter, déplacer ou supprimer des documents dans des dossiers. Une règle comprend :
|
| Règle de notification | Il s'agit d'un type de règle spécial dans lequel l'action consiste à publier un message dans un sujet Pub/Sub lorsqu'une certaine condition est remplie. Les applications / workflows d'utilisation peuvent utiliser le message pour déclencher des actions sur les documents ou d'autres parties d'un workflow d'entreprise. |
| Moteur de stratégies, API de stratégie | Moteur : serveur qui évalue les règles et prend des mesures
API : API Admin utilisée pour créer, mettre à jour, lire et supprimer des règles. |
| Recherche par attribut | Un attribut est un filtre de métadonnées utilisé dans une requête de recherche. Par exemple, si vous recherchez des relevés bancaires avec les filtres "Mois = mars 2021" et "État de l'agence = CA", les résultats de recherche sont filtrés en fonction de ces deux facettes.
|
| Recherche sémantique | La recherche sémantique accepte les synonymes ou les termes "sémantiquement liés" dans la requête de recherche. Par exemple, "permis de conduire" renvoie "permis de conduire". |
| Rechercher dans l'histogramme | L'histogramme est une fonctionnalité de l'API Search qui renvoie la distribution (le nombre) des résultats de recherche par attribut. Par exemple, les résultats de recherche pour "Permis de conduire" renvoient l'histogramme "CA 500, NV 150, …". |
| Accès universel ou contrôle des accès au niveau des documents | Deux modes d'accès sont acceptés dans Document AI Warehouse pour chaque projet
|