Vous pouvez afficher et récupérer les entrées de journal acheminées de Cloud Logging vers des buckets Cloud Storage pour faciliter les audits de sécurité, l'archivage de conformité ou l'analyse externe. Les entrées de journal sont enregistrées dans des buckets Cloud Storage par lots toutes les heures et apparaissent généralement dans un délai de deux à trois heures après l'exportation.
Les récepteurs de journaux ne peuvent pas acheminer les entrées de journal vers des buckets Cloud Storage configurés pour Rapid Storage.
Avant de commencer
Pour une discussion conceptuelle sur les récepteurs, consultez Présentation des modèles de routage et de stockage : récepteurs.
Pour savoir comment acheminer vos journaux, consultez Acheminer les journaux vers les destinations compatibles.
Afficher les journaux
Pour afficher les journaux acheminés vers Cloud Storage, procédez comme suit :
-
Dans la console Google Cloud , accédez à la page Buckets :
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Cloud Storage.
Sélectionnez le bucket Cloud Storage que vous utilisez comme destination de routage.
Organisation des journaux
Lorsque vous acheminez des journaux vers un bucket Cloud Storage, Logging crée un ensemble de fichiers au sein du bucket.
Les fichiers sont organisés en hiérarchies de répertoires classées par type de journal et par date. Le type de journal, appelé [LOG_ID] dans la documentation de référence LogEntry, peut être un nom tel que syslog ou un nom composé tel que appengine.googleapis.com/request_log. Si ces journaux étaient stockés dans un bucket nommé my-gcs-bucket, les répertoires seraient nommés comme dans l'exemple suivant :
my-gcs-bucket/syslog/YYYY/MM/DD/
my-gcs-bucket/appengine.googleapis.com/request_log/YYYY/MM/DD/
Un seul bucket Cloud Storage peut contenir des journaux provenant de plusieurs types de ressources. La taille maximale des fichiers est de 3,5 Gio.
Logging ne garantit pas la déduplication des entrées de journal des récepteurs contenant des requêtes identiques ou se chevauchant. Les entrées de journal de ces récepteurs peuvent être écrites plusieurs fois dans un bucket Cloud Storage.
Les répertoires feuilles (DD/) contiennent plusieurs fichiers, chacun contenant les entrées de journal acheminées pour une période spécifiée dans le nom du fichier. Les fichiers sont segmentés et leurs noms se terminent par un numéro de segment, Sn ou An (n=0, 1, 2, etc.). Par exemple, voici deux fichiers qui peuvent être stockés dans le répertoire my-gcs-bucket/syslog/2015/01/13/ :
08:00:00_08:59:59_S0.json 08:00:00_08:59:59_S1.json
Ces deux fichiers contiennent les entrées de journal de syslog pour toutes les instances entre 08:00:00 UTC et 08:59:59 UTC. Les horodatages d'entrée de journal utilisent l'heure UTC (temps universel coordonné).
Les entrées de journal qui arrivent avec un receiveTimestamp dans la fenêtre alignée de 60 minutes de leur timestamp sont écrites dans les fichiers de segment principal. Par exemple, une entrée de journal avec un timestamp de 08:00:00 et un receiveTimestamp de 08:10:00 est stockée dans le fichier de segment principal.
Ces fichiers incluent un segment principal numéroté dans le suffixe : _Sn.json.
Les entrées de journal qui arrivent avec un timestamp dans une fenêtre alignée de 60 minutes différente de leur receiveTimestamp sont écrites dans des fichiers de partitions supplémentaires. Par exemple, une entrée de journal avec un timestamp de 08:00:00 et un receiveTimestamp de 09:10:00 est stockée dans un fichier de partition supplémentaire.
Ces fichiers incluent une partition supplémentaire numérotée avec le suffixe : _An:Unix_timestamp.json.
Par exemple, une entrée de journal ayant un timestamp entre 08:00:00 et 08:59:59 mais un receiveTimestamp dans une fenêtre alignée de 60 minutes différente est écrite dans un fichier avec le suffixe _An:Unix_timestamp.json, où l'horodatage Unix identifie l'heure à laquelle le fichier a été acheminé vers Cloud Storage. Si une entrée de journal avait un timestamp de 08:50:00 et un receiveTimestamp de 09:10:00, et qu'elle était acheminée à 09:15:00 le 25 mars 2021, le fichier d'addendum serait écrit comme suit :
08:00:00_08:59:59_A0:1616681700.json
Pour obtenir toutes les entrées de journal, vous devez consulter l'ensemble des partitions pour chaque période (dans le cas présent, les partitions de fichiers 0 et 1). Le nombre de segments de fichiers écrits peut changer pour chaque période.
Dans les fichiers partitionnés individuels, les entrées de journal sont stockées sous la forme d'une liste d'objets LogEntry. Pour obtenir un exemple d'entrée syslog, consultez Organisation des entrées de journal.
Notez que l'ordre de tri des entrées de journal dans les fichiers n'est ni uniforme, ni garanti.
Limite
Le champ LogEntry.errorGroups n'est pas disponible pour cette destination.
Les récepteurs de journaux acheminent les entrées de journal envoyées à votre projet, mais ces entrées de journal ne contiennent pas de groupes d'erreurs.
Entrées de journal tardives
Les entrées de journal acheminées sont enregistrées toutes les heures et sous forme de lots dans des buckets Cloud Storage.
L'affichage des premières entrées peut prendre 2 à 3 heures. Les partitions de fichiers journaux acheminées qui possèdent le suffixe An ("Append", ajout) contiennent les entrées de journal arrivées en retard.
Si l'exportation cesse de fonctionner, Cloud Logging conserve les données en mémoire tampon jusqu'à la fin de l'interruption.
Si la destination de votre récepteur ne comporte aucun journal, vérifiez les métriques système liées à l'exportation. Les métriques système liées à l'exportation indiquent le nombre d'entrées de journal acheminées et supprimées en raison d'erreurs. Si les métriques du système d'exportation indiquent qu'aucune entrée de journal n'a été acheminée vers la destination, vérifiez votre [filtre][export-query] pour vous assurer que les entrées de journal correspondant à votre filtre sont récemment arrivées dans Logging.
Dans la console Google Cloud , accédez à la page Routeur de journaux :
Accéder à la page routeur de journaux
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.
Entrées de journal App Engine
App Engine combine plusieurs sous-entrées de type google.appengine.logging.v1.LogLine (également appelées AppLog ou AppLogLine) sous une entrée de journal principale de type google.appengine.logging.v1.RequestLog pour la requête qui entraîne l'activité de journalisation. Chaque ligne de journal comporte un "ID de requête" qui identifie l'entrée principale. L'explorateur de journaux affiche les lignes de journal avec l'entrée de journal de requêtes. Logging tente de placer toutes les lignes de journal dans le lot avec la requête d'origine, même si leurs codes temporels les placent dans le lot suivant. Si ce n'est pas possible, il se peut que certaines lignes de journal soient manquantes dans l'entrée de journal de la requête et qu'il y ait des lignes de journal "orphelines" sans requête dans le lot suivant. Si vous souhaitez éviter ceci, préparez-vous à reconstituer les éléments de la requête lorsque vous traitez vos journaux.
Dépannage
Si des journaux semblent manquer dans la destination de votre récepteur ou si vous pensez que votre récepteur n'achemine pas correctement les journaux, consultez la page Résoudre les problèmes liés aux journaux de routage.