借助 Vertex AI on Google Distributed Cloud (GDC) 网闸隔离配置设备,您可以在安全的便携式设备上运行机器学习 (ML) 和人工智能 (AI) 工作负载。该设备提供对一组精选预训练 API 的访问权限,因此您可以将语音、翻译和文本识别功能集成到私有云解决方案中。
主要特性
GDC 网闸隔离配置上的 Vertex AI 为您提供以下功能:
- 经过网闸隔离的部署:完全在便携式设备中运行 Vertex AI 服务,确保数据主权和合规性。
- 熟悉的 Vertex AI 体验:利用 Google Cloud中的相同工具和 API,简化开发和管理。
- 预构建的模型和算法:访问一系列针对常见机器学习任务的预训练模型,从而加快实现价值。
可获得的服务
GDC 网闸隔离配置上的 Vertex AI 提供以下预训练服务:
- 光学字符识别 (OCR):从图片和文件中提取文本。
- Speech-to-Text:将语音转换为文字。
- Vertex AI Translation:在多种语言之间翻译文本。
容量规划和计算要求
每项 Vertex AI 服务都需要不同的计算资源。下表列出了每个预训练模型的要求:
| 预训练 API | 计算资源 | GPU 数量要求 | GPU 内存要求 |
|---|---|---|---|
| 光学字符识别 (OCR) | GPU | 单个 A100 80 GB GPU | 40 GB |
| Speech-to-Text | CPU | 不适用(仅限 CPU) | 不适用(仅限 CPU) |
| Vertex AI Translation | GPU | 单个 A100 80 GB GPU | 50 GB |
GDC 网闸隔离配置设备包含一个 NVIDIA A100 80 GB GPU。这会将设备限制为一次只能运行一个依赖于 GPU 的 Vertex AI 预训练 API。如果您尝试同时启用 Vertex AI Translation 和 OCR,则第二个 API 将无法启用,并显示错误消息,指出 GPU 资源不足。不过,您可以将 Speech-to-Text 与 Vertex AI Translation 或 OCR 一起运行,因为 Speech-to-Text 只需要 CPU 资源。
为了帮助您确定 AI/机器学习工作负载所需的设备单元数量,请查看每个 Vertex AI 预训练 API 的以下容量限制:
| 预训练 API | 每个设备单元的容量 |
|---|---|
| 光学字符识别 (OCR) | 每分钟最多 30 张图片(每两秒一张图片)。 |
| Speech-to-Text | 每分钟最多可转写 7 分钟的音频(每秒最多可转写 7 秒的音频)。 |
| Vertex AI Translation | 每分钟最多 61,000 个字符(每秒 1,024 个字符)。 |
在规划部署时,请考虑以下指导原则:
容量限制为近似值,不保证一定准确。实际容量可能会因以下因素而异:
- 输入数据的复杂性(例如,翻译语言、OCR 的图片质量以及 Speech-to-Text 的音频清晰度)。
- 设备的具体配置。
- 设备上其他服务的并发使用情况。
由于 GDC 网闸隔离配置设备仅限于单个 A100 80 GB GPU,因此一次只能有一个 GPU 密集型 API(Vertex AI Translation 或 OCR)处于活跃状态。
估算您的峰值用量和未来潜在增长。
对于需要更高吞吐量的严苛工作负载,请考虑部署多个设备单元。
下表概述了 GDC 网闸隔离配置上每项 Vertex AI 服务的存储要求:
| 组件 | 存储空间要求 |
|---|---|
| OCR 前端 | 0.1 GB |
| OCR 后端 | 5 GB |
| OCR 提取器 | 0.1 GB |
| Speech-to-Text 前端 | 0.1 GB |
| Speech-to-Text 后端 | 1.5 GB |
| Vertex AI Translation 前端 | 0.7 GB |
| Vertex AI Translation 后端 | 61.4 GB |
确保您的设备有足够的存储容量来容纳您打算使用的 Vertex AI 服务。
优势
Vertex AI on GDC 网闸隔离配置具有以下优势:
- 无缝开发体验:在 Google Cloud上使用 Vertex AI 的相同工具、API 和工作流,让开发和管理变得直观高效。
- 增强的安全性和隐私保护:完全掌控您的数据,并遵守法规要求。
- 更快实现价值:使用预训练模型执行常见的机器学习任务。
- 简化的 MLOps:受益于强大的机器学习运维功能,在经过网闸隔离的环境中实现无缝 AI 集成。
使用入门
如需开始在 GDC 网闸隔离配置设备上使用 Vertex AI,请执行以下操作: