Vision Warehouse 是一项 API,可让开发者将非结构化媒体内容(流式视频、图片和批量视频)的存储和基于 AI 的搜索功能集成到现有工具和应用中。
Vision Warehouse 是 Gemini Enterprise Agent Platform Vision 的一个主要组件。它充当存储库,并为多种数据类型和应用场景提供高级搜索功能。具体而言:
- 流式视频:您可以使用 Gemini Enterprise Agent Platform Vision 平台应用或 Vision Warehouse API 导入实时视频流和实时视频分析数据,并使用 Vision Warehouse API 或 Google Cloud 控制台搜索图片。
- 图片:您可以使用 Vision Warehouse API 导入图片和元数据,使用 Vision Warehouse API 分析图片,以及使用 Vision Warehouse API 或 Google Cloud 控制台搜索图片。
- 批量视频:您可以使用 Vision Warehouse API 导入批量视频和元数据,使用 Vision Warehouse API 分析批量视频,以及使用 Vision Warehouse API 或 Google Cloud 控制台搜索批量视频。
API 资源概览

Storage API 资源
语料库:用于存放特定类型媒体素材资源的容器。您可以创建多个语料库,以便整理不同类型的媒体资源。
资源:存储在语料库中的媒体对象。素材资源可以是图片、批量视频或视频流。 一个语料库通常包含许多相同类型的素材资源。您可以指定与资产相关联的注释。您还可以将素材资源分组到合集中以便于管理。
集合:语料库中的一种资源,用作指向资产的引用的容器。
注释:用户提供的元数据或从 Gemini Enterprise Agent Platform Vision 派生的与素材资源相关联的数据。一项资产可以有多个注释。
- 示例 1:为批量视频素材资源指定名为“video-title”的文本注解。
- 示例 2:将 Gemini Enterprise Agent Platform Vision 模型分析的数据存储为注释。例如,不同视频时间帧中的对象识别标签可以存储为注释。
数据架构:定义如何在语料库中解读注解。数据架构定义了一种注解类型及其搜索策略。每个注解都必须与一个数据架构相关联。
搜索 API 资源
索引(适用于图片和批量视频垂直行业):一种语料库级资源,是经过分析的素材资源和注释的受管理表示形式。索引可以看作是一个包含嵌入向量和语义限制的数据集,用于表示媒体内容的含义。索引可以部署到索引端点以供搜索。
索引端点(适用于图片和批量视频垂直行业):用于提供 Vision Warehouse 索引的受管理环境。索引端点提供了一个用于发送搜索请求的单一接入点。
搜索配置:存储影响搜索行为和搜索结果的各种属性。
- 分面属性(适用于流式视频垂直行业):创建配置以启用基于分面的直方图搜索结果。
- 搜索条件属性(适用于流式视频和批量视频垂直行业):在自定义搜索条件与一个或多个数据架构键之间创建映射。
搜索上位概念:一种特殊的搜索配置,可用于自定义搜索服务识别字词上位概念的能力。例如,用户可以将“动物”指定为“猫”和“狗”的上义词。搜索“animal”也会返回索引数据中包含“cat”和“dog”的结果。
支持的语言
批量视频仓库和图片仓库支持以下语言的语义搜索:
- 英语
- 西班牙语
- 葡萄牙语
- 法语
- 日语
- 中文
Streaming Warehouse 没有语言限制。