Vision 仓库概览

Vision Warehouse 是一项 API,可让开发者将非结构化媒体内容(流式视频、图片和批量视频)的存储和基于 AI 的搜索功能集成到现有工具和应用中。

Vision Warehouse 是 Gemini Enterprise Agent Platform Vision 的一个主要组件。它充当存储库,并为多种数据类型和应用场景提供高级搜索功能。具体而言:

  • 流式视频:您可以使用 Gemini Enterprise Agent Platform Vision 平台应用或 Vision Warehouse API 导入实时视频流和实时视频分析数据,并使用 Vision Warehouse API 或 Google Cloud 控制台搜索图片。
  • 图片:您可以使用 Vision Warehouse API 导入图片和元数据,使用 Vision Warehouse API 分析图片,以及使用 Vision Warehouse API 或 Google Cloud 控制台搜索图片。
  • 批量视频:您可以使用 Vision Warehouse API 导入批量视频和元数据,使用 Vision Warehouse API 分析批量视频,以及使用 Vision Warehouse API 或 Google Cloud 控制台搜索批量视频。

API 资源概览

Vision Warehouse 的 API 资源层次结构图。

Storage API 资源

语料库:用于存放特定类型媒体素材资源的容器。您可以创建多个语料库,以便整理不同类型的媒体资源。

资源:存储在语料库中的媒体对象。素材资源可以是图片、批量视频或视频流。 一个语料库通常包含许多相同类型的素材资源。您可以指定与资产相关联的注释。您还可以将素材资源分组到合集中以便于管理。

集合:语料库中的一种资源,用作指向资产的引用的容器。

注释:用户提供的元数据或从 Gemini Enterprise Agent Platform Vision 派生的与素材资源相关联的数据。一项资产可以有多个注释。

  • 示例 1:为批量视频素材资源指定名为“video-title”的文本注解。
  • 示例 2:将 Gemini Enterprise Agent Platform Vision 模型分析的数据存储为注释。例如,不同视频时间帧中的对象识别标签可以存储为注释。

数据架构:定义如何在语料库中解读注解。数据架构定义了一种注解类型及其搜索策略。每个注解都必须与一个数据架构相关联。

搜索 API 资源

索引(适用于图片和批量视频垂直行业):一种语料库级资源,是经过分析的素材资源和注释的受管理表示形式。索引可以看作是一个包含嵌入向量和语义限制的数据集,用于表示媒体内容的含义。索引可以部署到索引端点以供搜索。

索引端点(适用于图片和批量视频垂直行业):用于提供 Vision Warehouse 索引的受管理环境。索引端点提供了一个用于发送搜索请求的单一接入点。

搜索配置:存储影响搜索行为和搜索结果的各种属性。

  • 分面属性(适用于流式视频垂直行业):创建配置以启用基于分面的直方图搜索结果。
  • 搜索条件属性(适用于流式视频和批量视频垂直行业):在自定义搜索条件与一个或多个数据架构键之间创建映射。

搜索上位概念:一种特殊的搜索配置,可用于自定义搜索服务识别字词上位概念的能力。例如,用户可以将“动物”指定为“猫”和“狗”的上义词。搜索“animal”也会返回索引数据中包含“cat”和“dog”的结果。

支持的语言

批量视频仓库和图片仓库支持以下语言的语义搜索:

  • 英语
  • 西班牙语
  • 葡萄牙语
  • 法语
  • 日语
  • 中文

Streaming Warehouse 没有语言限制。

后续步骤