GcsSource

Cloud Storage-Speicherort für Eingabeinhalte.

JSON-Darstellung 
{
  "inputUris": [
    string
  ],
  "dataSchema": string
}
Felder
inputUris[]

string

Erforderlich. Cloud Storage-URIs für Eingabedateien. Jeder URI kann bis zu 2.000 Zeichen lang sein. URIs können dem vollständigen Objektpfad (zum Beispiel gs://bucket/directory/object.json) oder einem Muster entsprechen, das mit einer oder mehreren Dateien übereinstimmt, beispielsweise gs://bucket/directory/*.json.

Eine Anfrage kann maximal 100 Dateien enthalten (oder 100.000 Dateien, wenn dataSchema den Wert content hat). Jede Datei darf maximal 2 GB groß sein (oder 100 MB, wenn dataSchema den Wert content hat).
dataSchema

string

Das Schema, das beim Parsen der Daten aus der Quelle verwendet werden soll.

Unterstützte Werte für den Import von Dokumenten:

  • document (Standard): ein JSON-Document pro Zeile. Jedes Dokument muss eine gültige Document.id haben.
  • content: unstrukturierte Daten (zum Beispiel PDF, HTML). Jede Datei, die mit inputUris übereinstimmt, wird zu einem Dokument. Die ID wird auf die ersten 128 Bit von SHA256(URI) festgelegt, die als Hexadezimalstring codiert sind.
  • custom: ein benutzerdefiniertes JSON-Datenobjekt pro Zeile in einem beliebigen Format, das dem definierten Schema des Datenspeichers entspricht. Diese Option kann nur für den Datenspeicher für die Branche GENERIC verwendet werden.
  • csv: eine CSV-Datei mit einem Header, der dem definierten Schema des Datenspeichers entspricht. Jeder Eintrag nach dem Header wird als Dokument importiert. Diese Option kann nur für den Datenspeicher für die Branche GENERIC verwendet werden.

Unterstützte Werte für den Import von Nutzerereignissen:

  • user_event (Standard): ein JSON-UserEvent pro Zeile.