Agent Platform 神经架构搜索没有描述如何设计训练程序的要求。因此,选择任何训练框架均可构建训练程序。
对于使用大量数据的 PyTorch 训练,最佳做法是使用分布式训练范例并从 Cloud Storage 中读取数据。
查看使用 Agent Platform 神经架构搜索进行高效 PyTorch 训练这篇博文
Efficient PyTorch training with Agent Platform Neural Architecture Search,了解如何提高训练
性能。使用 WebDataset 和选择 DistributedDataParallel 或
FullyShardedDataParallel 分布式训练策略时,利用 Cloud Storage 上的数据可实现 6 倍的总体性能提升。使用 Cloud Storage 上的数据的训练性能类似于使用本地磁盘上的数据的训练性能。
预构建的 MNasNet 分类示例已将这些方法整合到其训练流水线中。