Vertex AI 概览

借助 Vertex AI on Google Distributed Cloud (GDC) 网闸隔离配置设备,您可以在安全的便携式设备上运行机器学习 (ML) 和人工智能 (AI) 工作负载。该设备提供对一组精选预训练 API 的访问权限,因此您可以将语音、翻译和文本识别功能集成到私有云解决方案中。

主要特性

GDC 网闸隔离配置上的 Vertex AI 为您提供以下功能:

  • 经过网闸隔离的部署:完全在便携式设备中运行 Vertex AI 服务,确保数据主权和合规性。
  • 熟悉的 Vertex AI 体验:利用 Google Cloud中的相同工具和 API,简化开发和管理。
  • 预构建的模型和算法:访问一系列针对常见机器学习任务的预训练模型,从而加快实现价值。

可获得的服务

GDC 网闸隔离配置上的 Vertex AI 提供以下预训练服务:

容量规划和计算要求

每项 Vertex AI 服务都需要不同的计算资源。下表列出了每个预训练模型的要求:

预训练 API 计算资源 GPU 数量要求 GPU 内存要求
光学字符识别 (OCR) GPU 单个 A100 80 GB GPU 40 GB
Speech-to-Text CPU 不适用(仅限 CPU) 不适用(仅限 CPU)
Vertex AI Translation GPU 单个 A100 80 GB GPU 50 GB

GDC 网闸隔离配置设备包含一个 NVIDIA A100 80 GB GPU。这会将设备限制为一次只能运行一个依赖于 GPU 的 Vertex AI 预训练 API。如果您尝试同时启用 Vertex AI Translation 和 OCR,则第二个 API 将无法启用,并显示错误消息,指出 GPU 资源不足。不过,您可以将 Speech-to-Text 与 Vertex AI Translation 或 OCR 一起运行,因为 Speech-to-Text 只需要 CPU 资源。

为了帮助您确定 AI/机器学习工作负载所需的设备单元数量,请查看每个 Vertex AI 预训练 API 的以下容量限制:

预训练 API 每个设备单元的容量
光学字符识别 (OCR) 每分钟最多 30 张图片(每两秒一张图片)。
Speech-to-Text 每分钟最多可转写 7 分钟的音频(每秒最多可转写 7 秒的音频)。
Vertex AI Translation 每分钟最多 61,000 个字符(每秒 1,024 个字符)。

在规划部署时,请考虑以下指导原则:

  • 容量限制为近似值,不保证一定准确。实际容量可能会因以下因素而异:

    • 输入数据的复杂性(例如,翻译语言、OCR 的图片质量以及 Speech-to-Text 的音频清晰度)。
    • 设备的具体配置。
    • 设备上其他服务的并发使用情况。
  • 由于 GDC 网闸隔离配置设备仅限于单个 A100 80 GB GPU,因此一次只能有一个 GPU 密集型 API(Vertex AI Translation 或 OCR)处于活跃状态。

  • 估算您的峰值用量和未来潜在增长。

  • 对于需要更高吞吐量的严苛工作负载,请考虑部署多个设备单元。

下表概述了 GDC 网闸隔离配置上每项 Vertex AI 服务的存储要求:

组件 存储空间要求
OCR 前端 0.1 GB
OCR 后端 5 GB
OCR 提取器 0.1 GB
Speech-to-Text 前端 0.1 GB
Speech-to-Text 后端 1.5 GB
Vertex AI Translation 前端 0.7 GB
Vertex AI Translation 后端 61.4 GB

确保您的设备有足够的存储容量来容纳您打算使用的 Vertex AI 服务。

优势

Vertex AI on GDC 网闸隔离配置具有以下优势:

  • 无缝开发体验:在 Google Cloud上使用 Vertex AI 的相同工具、API 和工作流,让开发和管理变得直观高效。
  • 增强的安全性和隐私保护:完全掌控您的数据,并遵守法规要求。
  • 更快实现价值:使用预训练模型执行常见的机器学习任务。
  • 简化的 MLOps:受益于强大的机器学习运维功能,在经过网闸隔离的环境中实现无缝 AI 集成。

使用入门

如需开始在 GDC 网闸隔离配置设备上使用 Vertex AI,请执行以下操作: